💬 NLP

IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference

IndexMem adresseert de KV-cache-bottleneck bij inferentie van LLM's met lange context door een leerbare indexer voor nauwkeurige token-evictie te combineren met een lichtgewicht latente geheugenmodule die verworpen informatie behoudt, waardoor de prestaties en stabiliteit aanzienlijk worden verbeterd bij diverse modellen en benchmarks.

Oorspronkelijke auteurs: Xintong Yang, Hao Gu, Binxing Xu, Lujun Li, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Sirui Han, Yike Guo

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xintong Yang, Hao Gu, Binxing Xu, Lujun Li, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Sirui Han, Yike Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, 1.000 pagina's tellende roman te lezen om één vraag te beantwoorden over de aller eerste pagina. Terwijl je leest, probeert je hersenen op natuurlijke wijze elk woord dat je hebt gezien te onthouden. Maar hier zit het probleem: je hersenen hebben een beperkte hoeveelheid "werkgeheugen". Als je probeert elk enkel woord van pagina 1 tot en met pagina 1.000 tegelijk in je hoofd te houden, raak je overweldigd, vertraag je, of raak je de ruimte volledig op.

Dit is precies het probleem waarmee Large Language Models (LLM's) geconfronteerd worden bij het verwerken van lange documenten. Ze gebruiken een "geheugenbank" genaamd de KV Cache om te onthouden wat ze tot nu toe hebben gelezen. Naarmate de tekst langer wordt, groeit deze geheugenbank tot hij het geheugen van de computer vult, waardoor het systeem crasht of tot stilstand komt.

Het paper "IndexMem" stelt een slimme tweeledige oplossing voor dit probleem voor, die fungeert als een slimme bibliothecaris en een back-upkluis.

Het Probleem: De "Houd Alles" Valstrik

Momenteel proberen de meeste AI-modellen een record bij te houden van elk enkel woord (token) dat ze verwerken. Dit is als proberen elke bon van elke winkel die je ooit hebt bezocht in je portemonnee te houden. Uiteindelijk is de portemonnee te zwaar om te dragen.

Om dit op te lossen, probeerden eerdere methoden "onbelangrijke" bonnen weg te gooien op basis van simpele regels, zoals "houd de meest recente vast" of "houd die met de grootste aantallen vast". Maar deze regels zijn vaak onhandig. Ze kunnen een cruciaal detail uit het begin van het verhaal weggooien, alleen omdat het oud was, of ze kunnen een saai zinnetje behouden, alleen omdat het recent was. Eenmaal weggegooid, is die informatie voorgoed verdwenen.

De Oplossing: IndexMem

De auteurs stellen een systeem voor met twee hoofdonderdelen: een Slimme Indexer en een Latent Memory Vault.

1. De Slimme Indexer (De "Bibliothecaris")

In plaats van een starre regel te gebruiken om te beslissen wat bewaard moet worden, maakt IndexMem gebruik van een leerbare indexer. Denk hierbij aan een hoogopgeleide bibliothecaris die miljoenen boeken heeft gelezen en precies weet wat voor soort details later meestal belangrijk zijn voor het beantwoorden van vragen.

Hoe het werkt: Terwijl de AI leest, kijkt deze bibliothecaris naar de huidige vraag (of het volgende woord dat de AI gaat voorspellen) en voorspelt welke delen van de tekst eigenlijk belangrijk zijn.
Het Voordeel: Het raadt niet alleen op basis van "recentheid". Het begrijpt de context. Het kan zeggen: "Hoewel dit woord van pagina 50 komt, is het cruciaal voor de vraag op pagina 100, dus we moeten het bewaren." Het leert veel accurater te beslissen wat in het hoofdgeheugen blijft en wat eruit wordt gegooid.

2. De Latent Memory Vault (De "Back-upkluis")

Hier is het meest innovatieve idee van het paper. In het verleden was een woord, als het uit het hoofdgeheugen werd gegooid, voorgoed verdwenen. Als de AI dat woord later nodig had, was het een ramp.

IndexMem introduceert een Latent Memory module. Denk hierbij aan een high-tech, gecomprimeerde back-upkluis.

Het Proces: Wanneer de Slimme Indexer besluit een woord uit het hoofdgeheugen te gooien, verwijdert het die informatie niet zomaar. In plaats daarvan, knijpt het die informatie samen tot een klein, gecomprimeerd "samenvatting" en slaat het dit op in deze speciale kluis.
Het Ophalen: Als de AI later die informatie moet terugroepen, gaat het niet terug naar het hoofdgeheugen (dat leeg is). In plaats daarvan opent het de kluis, haalt het de gecomprimeerde samenvatting eruit en gebruikt het die om de gaten op te vullen.
De Analogie: Stel je voor dat je inpakt voor een reis. Je kunt maar een paar kleren in je koffer passen (het hoofdgeheugen). Je laat je favoriete trui achter. In plaats van hem weg te gooien, maak je een hoogwaardige foto ervan en sla je die op op je telefoon (de Latent Memory). Als je de trui later mist, kijk je naar de foto om te herinneren hoe hij eruitzag en hoe hij aanvoelde, in plaats van de hele trui mee te moeten nemen.

Waarom Dit Belangrijk Is

Het paper testte dit systeem op verschillende modellen (zoals Qwen, Mistral en Llama) met zeer lange contexten.

Betere Nauwkeurigheid: Zelfs toen ze agressief 75% tot 90% van het geheugen weggooiden om ruimte te besparen, presteerde de AI nog steeds ongelooflijk goed. Het vergat de "naald in de hooiberg" niet (het specifieke detail dat nodig was om een vraag te beantwoorden).
Stabiliteit: In tegenstelling tot oudere methoden die plotseling zouden falen als het belangrijke detail op een "moeilijke" plek in de tekst zat, bleef IndexMem stabiel.
Efficiëntie: Het stelde de AI in staat om te draaien op standaard computerchips zonder dat er enorme, dure supercomputers nodig waren, omdat het niet probeerde elk enkel stukje data te verzamelen.

Samenvatting

Kortom, IndexMem leert de AI om een slimmere redacteur te zijn. Het gebruikt een geleerd systeem om te beslissen wat in zijn directe geheugen bewaard moet worden en een speciale "gecomprimeerde kluis" om de rest op te slaan. Op deze manier kan de AI een hele bibliotheek lezen zonder zijn denkvermogen op te maken, en het vergeet nooit echt de details die het nodig heeft om een probleem op te lossen.

Technische Samenvatting: IndexMem - Geraakte KV-Cache Evictie met Latente Geheugen

1. Probleemstelling

Grote Taalmodellen (LLM's) ondervinden een kritieke bottleneck bij het verwerken van lange contexten: de Key-Value (KV)-cache die vereist is voor autoregressieve generatie groeit lineair met de sequentielengte, wat snel de GPU-geheugencapaciteit overschrijdt en de geheugenbandbreedte verzadigt. Hoewel standaard KV-caching het herberekenen van aandacht voorkomt, creëert het een "geheugenmuur" die de inzetbare contextlengten beperkt (bijvoorbeeld vereist een model met 70B parameters ongeveer 320 GB voor een context van 1 miljoen tokens).

Bestaande oplossingen vallen in twee categorieën, beide met beperkingen:

Representatiecompressie: Technieken zoals kwantisatie en benadering met lage rang verkleinen de footprint per token, maar lossen de inherente lineaire groei van de cache met de contextlengte niet op.
Token-evictie: Methoden die minder belangrijke tokens verwijderen om het geheugen te begrenzen. Echter, huidige evictiebeleid is grotendeels heuristisch (afhankelijk van statische statistieken zoals de grootte van de sleutel of lokale aandachtvensters) en vrij van training. Ze slagen er vaak niet in complexe, invoer-afhankelijke patronen van tokenbelang te vangen. Bovendien worden bij standaard evictie informatie permanent verwijderd, wat leidt tot onherroepelijk vergeten en verslechterde prestaties bij taken die het ophalen van verre tokens vereisen (bijvoorbeeld "Naald in een Hooiberg").

2. Methodologie

De auteurs stellen IndexMem voor, een raamwerk dat een leerbare indexer combineert voor nauwkeurige tokenselectie en een module voor latent geheugen om informatie van verwijderde tokens te herstellen.

A. Leerbare Indexer voor Tokenbelang

In plaats van heuristische scores te gebruiken, maakt IndexMem gebruik van een lichtgewicht, leerbare indexer om de belangrijkheid van KV-tokens te voorspellen.

Architectuur: De indexer is een module in de stijl van Multi-Query Attention (MQA). Het projecteert multi-head queries naar een lager dimensionale ruimte en gebruikt een enkele gedeelde sleutel afgeleid van verborgen staten. Het omvat QK-Norm voor stabiliteit en een leerbare gatingsmechanisme om de bijdragen van de koppen te moduleren.
Functie: Gegeven verborgen staten $X$ en queries $Q$ , geeft de indexer een dichte matrix van query-naar-sleutelscores $A$ uit, waarbij $A_{s,t}$ de belangrijkheid van sleuteltoken $t$ voor query $s$ meet.
Training: De backbone-LLM is bevroren. De indexer wordt getraind via Kennisdistillatie om het aandachtsgedrag van de backbone te matchen. Het doel minimaliseert de KL-divergentie tussen de gepoolde per-sleutel belangrijkheidsverdelingen van de leraar (attention-logits van de backbone) en de student (indexerscores). Om geheugenbottlenecks door $O(L^2)$ -matrices te vermijden, gebruikt de training een streaming, FlashAttention-achtige aanpak om lopende-max-aggregaties te berekenen.
Pre-evictie: In tegenstelling tot methoden die alle KV-paren materialiseren voordat er evictie plaatsvindt, maakt de indexer pre-evictie mogelijk, waarbij wordt voorspeld welke invoer te behouden zijn voordat de volledige prefill-berekening plaatsvindt, waardoor geheugen en rekenkracht worden bespaard.

B. Latent Geheugen voor Verwijderde Tokens

Om het onherroepelijke informatieverlies veroorzaakt door het verwijderen van tokens aan te pakken, introduceert IndexMem een module voor latent geheugen.

Ontwerp: In plaats van verwijderde tokens in te brengen als extra KV-paren (wat aandacht-zinkproblemen kan veroorzaken), fungeert het geheugen als expliciete residuele compensatie voor de attentiestroom.
Mechanisme:
- Snelle Gewichten (Online Update): Verwijderde tokens updaten een matrix $M$ met vaste grootte en een stabilisatorvector $b$ online tijdens inferentie. Dit maakt gebruik van accumulatie van uitwendige producten met verval, waardoor het geheugen zich kan aanpassen aan de specifieke context.
- Trage Gewichten (Geraard): Een projectielaag en een gatingsfunctie $g(q)$ worden getraind om uit de geheugenstaat $M$ te lezen en te bepalen hoeveel er voor een gegeven query op moet worden vertrouwd.
Output: De uiteindelijke attentie-uitvoer wordt uitgebreid: $o = o_{attn} + g(q) \cdot m(q)$ , waarbij $o_{attn}$ de standaardaandacht over behouden tokens is, en $m(q)$ de geheugenuitlezing is die het verloren informatie compenseert.

C. Trainingsprotocol

Het systeem maakt gebruik van een tweestaps trainingschema:

Indexertraining: Train de indexer alleen om betrouwbare schattingen van tokenbelang te leren.
Gecombineerde Training: Train de indexer en de geheugenmodule gezamenlijk. Het geheugen wordt geoptimaliseerd om de Gemiddelde Kwadratische Fout (MSE) te minimaliseren tussen de volledige attentie-uitvoer en de gecomprimeerde uitvoer plus het residu van het geheugen.

3. Belangrijkste Bijdragen

Leerbare Indexer: Een op training gebaseerde aanpak die heuristische evictiebeleid overtreft door de belangrijkheid van tokens nauwkeurig te voorspellen op basis van context-afhankelijke patronen.
Module voor Latent Geheugen: Een mechanisme om verwijderde tokens te comprimeren tot een compacte, online-updatende staat, waardoor residuele uitlezingen worden geboden om tijdens evictie verloren informatie te herstellen en onherroepelijk vergeten te mitigeren.
Uitgebreide Evaluatie: Toont consistente verbeteringen over meerdere model families (Qwen, Mistral, Llama) en benchmarks (RULER, LongBench, Needle-in-a-Haystack).

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-8B, Mistral-7B en Llama-3.1-8B met behulp van de RULER- en LongBench-suites.

RULER-prestaties: IndexMem presteert aanzienlijk beter dan baselines (SnapKV, PyramidKV, TOVA, Expected Attention). Bij agressieve evictie (90% compressie) behoudt IndexMem aanzienlijk hogere scores. Bijvoorbeeld, op Llama-3.1-8B met 90% evictie scoort IndexMem 56,0 op RULER-16K, terwijl PyramidKV daalt naar 24,1.
Needle-in-a-Haystack (NIAH): IndexMem toont superieure stabiliteit over contextlengten (1K–12,5K) en naalddieptes. Waar heuristische methoden positie-afhankelijke fouten vertonen (bias naar recente tokens), haalt IndexMem naalden betrouwbaar op ongeacht de locatie. Het latente geheugen reduceert specifiek "catastrofale missers" die worden gezien in de variant alleen met indexer.
LongBench: IndexMem bereikt de meest robuuste prestaties over diverse taken (HotpotQA, MultiFieldQA, TriviaQA). Het degradeert minder snel naarmate de compressie toeneemt in vergelijking met heuristieken. Opmerkelijk is dat bij sommige taken matige compressie zelfs de prestaties verbetert door afleidende tokens te verwijderen.
Efficiëntie: De methode introduceert minimale parameter-overhead (~20M voor de indexer, ~0,5M voor het geheugen op een 8B-model). Hoewel de geheugenmodule een kleine update-overhead toevoegt, blijft de totale decodertijd concurrerend met de baseline met volledige cache, en het geheugengebruik schaalt lineair met het compressiepercentage.

5. Betekenis en Beweringen

Het artikel beweert dat IndexMem een gunstige afweging tussen nauwkeurigheid en geheugen biedt voor inferentie met lange contexten. Door over te stappen van heuristische naar gelaarde evictie en een mechanisme te introduceren om verwijderde informatie te herstellen, maakt de methode nauwkeurige inferentie met lange contexten mogelijk binnen begrensde KV-budgetten.

De auteurs positioneren dit werk als een stap richting leerbare architecturen voor efficiënte aandacht. Zij merken op dat hoewel de huidige aanpak de evictie- en geheugenmodules behandelt als add-ons voor een bevroren backbone, toekomstig werk end-to-end training kan verkennen waarbij de backbone native evictie- en geheugencapaciteiten leert. Het artikel benadrukt dat dit een algemene efficiëntietechniek is die bedoeld is om hardwarekosten te verlagen en de toegankelijkheid voor modellen met lange contexten te verbeteren, terwijl wordt erkend dat voorzichtigheid geboden is in gebieden met hoge risico's waar het missen van kritieke details schadelijke gevolgen kan hebben.