💬 NLP

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference

KV-Fold is een eenvoudig, trainingsvrij protocol voor inferentie met lange context dat de KV-cache behandelt als een linkerfold-accumulator om stabiele, geheugenefficiënte sequentieverwerking over diepe ketens mogelijk te maken zonder dat modelhertraining of architecturale wijzigingen vereist zijn.

Oorspronkelijke auteurs: Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante, super-slimme bibliothecaris (het AI-model) voor die een boek kan lezen en vragen daarover kan beantwoorden. Maar er is een addertje onder het gras: deze bibliothecaris heeft een zeer klein bureau. Ze kan slechts een paar pagina's van het boek tegelijk open houden. Als je haar een roman van 1.000 pagina's geeft, kan ze het niet in één keer lezen zonder dat haar bureau overloopt.

Meestal lossen we dit op door de bibliothecaris te vertellen om het volgende te doen:

Het begin vergeten: Kijk alleen naar de laatste paar pagina's (zoals een schuifvenster).
Het verleden samenvatten: Probeer het hele verhaal te comprimeren tot een klein briefje (wat vaak details verliest).
Een groter bureau bouwen: Wat duur is en vaak onmogelijk voor enorme boeken.

KV-Fold is een nieuwe, slimme truc die de bibliothecaris in staat stelt het hele boek te lezen zonder een groter bureau nodig te hebben, zonder te samenvatten en zonder het begin te vergeten.

Het Kernidee: De "Vouw"-Truc

Stel je het boek voor als een lange strook papier. In plaats van te proberen de hele strook in één keer te lezen, knip je hem in kleine, hanteerbare stukken.

Het Eerste Stuk: De bibliothecaris leest het eerste stuk. Terwijl ze leest, maakt ze aantekeningen op een speciale "plakbrief" (dit is de KV Cache). Deze notitie bevat de essentie van wat ze zojuist heeft gelezen, maar op een manier die het haar later mogelijk maakt om terug te kijken naar specifieke details.
Het Volgende Stuk: Wanneer ze naar het tweede stuk gaat, gooit ze de eerste plakbrief niet weg. In plaats daarvan plakt ze de nieuwe notities van het tweede stuk direct naast de eerste. Nu hebben ze een langere strook notities.
De Recurrentie: Ze blijft dit doen. Lees een stuk, voeg de notities toe aan de groeiende strook en ga naar het volgende stuk.

Het paper noemt dit een "Left Fold" (Linker Vouw). Stel je voor dat je een lang stuk papier steeds weer over elkaar vouwt. Elke vouw voegt een nieuwe laag toe, maar de vorige lagen zijn er nog steeds onder, toegankelijk. De bibliothecaris draagt deze groeiende stapel notities stap voor stap met zich mee.

De Grote Verrassing: Het Raakt Niet "Onoverzichtelijk"

Je zou kunnen denken: "Als ik blijft notities toevoegen aan een stapel, raakt de bibliothecaris uiteindelijk in de war. De notities van pagina 1 kunnen verloren gaan in het lawaai van pagina 500."

Het paper ontdekte iets verbazingwekkends: De bibliothecaris raakt niet in de war.

Het "Drift"-Plateau: In het begin, wanneer de bibliothecaris overschakelt van het eerste stuk naar het tweede, verschuift haar denkstijl iets (zoals wennen aan een nieuwe kamer). Maar na slechts een paar stappen stopt deze verschuiving. Het raakt een "vlak plateau".
Stabiele Toestand: Zelfs na het lezen van honderden stukken (tot 511 stappen in hun tests), verslechtert de prestatie van de bibliothecaris niet. Het blijft stabiel. Het is alsof de bibliothecaris een comfortabel ritme heeft gevonden en zich daaraan houdt.
Precisie Maakt Niet Uit: Zelfs als je de "liniaal" verandert die de bibliothecaris gebruikt om dingen te meten (van rekenen met hoge precisie naar rekenen met lage precisie), blijft het resultaat hetzelfde. De stabiliteit zit ingebouwd in de logica, niet alleen in de wiskunde.

De "Nadeldraad in een Hooiberg"-Test

Om te bewijzen dat dit werkt, speelden de onderzoekers een spelletje genaamd "Nadeldraad in een Hooiberg".

Het Spel: Ze verstoppen een specifieke zin (de "nadeldraad") diep in een enorm document (de "hooiberg").
De Test: Ze vragen de bibliothecaris om die zin te vinden nadat ze het hele document heeft gelezen.
Het Resultaat:
- Oude Methoden (Streaming): Als de nadeldraad in de eerste paar pagina's zat, vond de bibliothecaris hem. Als de nadeldraad in het midden of einde zat, vergat ze hem omdat het "bureau" te klein was.
- KV-Fold: De bibliothecaris vond de nadeldraad 100% van de tijd, zelfs als deze begraven lag aan het begin van een document van 128.000 woorden. Ze kon de exacte details van het allereerste stuk herinneren, zelfs nadat ze sindsdien honderden stukken had gelezen.

Waarom Dit Belangrijk Is (Zonder Jargon)

Geen Her-training: Je hoeft de bibliothecaris geen nieuwe manier van denken aan te leren. Je verandert alleen hoe je haar het boek geeft. De bibliothecaris is al slim genoeg om dit te doen; we hebben haar gewoon een betere workflow gegeven.
Geheugen Ruil: De bibliothecaris moet nog steeds alle notities (de KV cache) op haar bureau houden. Dus, het bureau groeit naarmate het boek langer wordt. Dit is echter veel beter dan proberen het hele boek in je hoofd te houden, wat onmogelijk is voor huidige computers.
Exact Herinneren: In tegenstelling tot methoden die samenvatten of oude pagina's weggooien, houdt KV-Fold elke detail toegankelijk. Als je iets vraagt over de allereerste zin, kan de bibliothecaris het nog steeds vinden.

Samenvattende Analogie

Stel je voor dat je een lang verhaal vertelt aan een vriend.

Oude Manier: Je herinnert je alleen de laatste 5 minuten van het verhaal. Als ik vraag naar het begin, zeg je: "Ik weet het niet."
KV-Fold Manier: Je houdt een lopende lijst bij van elke karakter en plotpunt die je tot nu toe hebt genoemd. Terwijl je het volgende deel van het verhaal vertelt, kijk je naar je lijst om te onthouden wie iedereen is. Zelfs al wordt de lijst langer, je raakt er niet in de war door. Je kunt nog steeds antwoorden: "Wat was de naam van de hond uit de allereerste zin?" omdat die naam nog steeds op je lijst staat, perfect bewaard.

Het paper toont aan dat AI-modellen deze "lijst"-capaciteit al ingebouwd hebben. We moesten alleen beseffen dat we het konden gebruiken als een herhalende lus om boeken met oneindige lengte te lezen zonder het geheugen van de computer te laten crashen.

Technische Samenvatting: KV-Fold

Probleemstelling

Grote vooraf getrainde transformers worden beperkt door de kwadratische geheugenkost van volledige aandacht en het vaste contextvenster van een enkele forward pass. Hoewel recente modellen contextvensters van honderdduizenden tokens ondersteunen, overschrijden real-world workloads (bijvoorbeeld code op repository-niveau, longitudinale medische dossiers) deze grenzen vaak. Bestaande oplossingen staan voor een aanhoudende afweging:

Streaming-methoden (bijvoorbeeld StreamingLLM) houden het geheugen gebonden door alleen recente tokens en "attention sinks" te behouden, maar ze verliezen de mogelijkheid om informatie op te halen zodra deze buiten het schuifvenster valt.
KV-cache compressie en recurrente geheugen-methoden vereisen vaak modelwijzigingen, fine-tuning, of introduceren verliesvolle benaderingen die de betrouwbaarheid van opzoekingen verminderen.
Volledige aandacht is op standaard hardware computationeel onuitvoerbaar voor extreem lange sequenties vanwege de enorme omvang van de attentiescorematrix (bijvoorbeeld ~1 TB voor een 128K-sequentie op een 40GB GPU).

Het artikel vraagt zich af of een bevroren, vooraf getrainde transformer zijn interne toestand over opeenvolgende chunks kan dragen om lange-context inferentie uit te voeren als een recurrentie, zonder architecturale wijzigingen of training.

Methodologie: KV-Fold

De auteurs stellen KV-Fold voor, een trainingsvrij inferentieprotocol dat de Key-Value (KV) cache behandelt als de accumulator in een linkervouw (foldl) over sequentie-chunks.

Mechanisme: Een lange sequentie van lengte $T$ $T$ wordt verdeeld in chunks van lengte $C$ $C$ . Bij het verwerken van chunk $t$ $t$ voert het model een forward pass uit waarbij:
1. De queries ( $Q$ ) worden gegenereerd uit de tokens van de huidige chunk.
2. De keys ( $K$ ) en values ( $V$ ) worden gevormd door de KV-cache die is opgebouwd uit alle vorige chunks ($0$ tot $t-1$ ) te concateneren met de KV-toestanden van de huidige chunk.
3. Positieve embeddingen (RoPE) worden continu toegepast over chunkgrenzen heen om de absolute sequentie-uitlijning te behouden.
4. De vergrote KV-cache wordt doorgegeven aan chunk $t+1$ .
Toestand: De modelparameters blijven bevroren. Er worden geen speciale geheugentokens of fine-tuning geïntroduceerd. De KV-cache groeit lineair met de sequentielengte en fungeert als een gestructureerd, ongecomprimeerd record van de eerdere berekening van het model.
Analogie: Het proces is analoog aan een functioneel programmeren linkervouw, waarbij de KV-cache dient als de acculatortoestand die bij elke chunkgrens wordt bijgewerkt door een een-staps recurrentiefunctie $F_\theta$ .

Belangrijkste Bijdragen

KV-Fold Protocol: Een eenvoudige, operationele verschuiving die een standaard transformer omzet in een recurrente lange-context model door de opgebouwde KV-cache over chunks te dragen.
Stabiliteit van Recurrentie: Empirisch bewijs dat de geïnduceerde recurrentie niet lijdt onder onbeperkte foutaccumulatie. In plaats daarvan stijgt de "drift" (verschil in Negatieve Log-Likelihood vergeleken met volledige aandacht) kortstondig en verzadigt vervolgens tot een vlak plateau dat blijft bestaan over diepe ketens.
Structurele versus Numerieke Drift: Het plateau blijkt een structurele eigenschap van de aandachtdynamiek te zijn en geen numeriek artefact. Het blijft stabiel onder een 10.000-voudige toename van de numerieke precisie (van bf16 naar fp32) en is robuust over verschillende modelfamilies (OLMoE, Qwen, Llama) en chunkgroottes.
Exacte Lange-afstand Opzoeking: De methode behoudt exacte feitelijke informatie over lange afstanden. Op "needle-in-a-haystack"-benchmarks bereikt KV-Fold 100% exact-match opzoeking over contexten tot 128K tokens en ketendieptes tot 511, wat overeenkomt met de prestaties van volledige aandacht.
Praktische Afwegingen: Het artikel karakteriseert de positie van de methode op het spectrum van geheugen versus opzoeking. Hoewel het lineaire geheugengroei vereist (in tegenstelling tot gebonden-geheugen streaming), maakt het opzoeken op willekeurige dieptes mogelijk waar streaming-methoden falen, waardoor het haalbaar wordt om volledige-aandacht-equivalente opzoeking uit te voeren op hardware die geen enkele monolithische forward pass kan ondersteunen.

Belangrijkste Resultaten

Drift Verzadiging: Op Qwen2.5-7B-Instruct verzadigt de drift bij diepte 7 en blijft vlak tot diepte 63, met een totale verandering van slechts -0,0003 nats tussen dieptes 15 en 60.
Opzoekprestaties:
- Enkele Naald: 100% opzoeknauwkeurigheid over 152 proeven die contexten van 16K tot 128K tokens en ketendieptes tot 511 bestrijken op Llama-3.1-8B.
- Meerdere Naalden: 99,4% opzoeknauwkeurigheid (175/176) bij het gelijktijdig opzoeken van meerdere verschillende feiten.
Hardware Haalbaarheid: Op een 40GB A100 GPU is een enkele volledige-aandacht forward pass voor een 128K-sequentie onuitvoerbaar (vereist ~1 TB voor attentiescores). KV-Fold verwerkt dezelfde sequentie in 171 seconden met een piekgeheugengebruik van 35,6 GB, binnen de hardwarelimieten blijvend.
Vergelijking met StreamingLLM: Bij 128K context behoudt StreamingLLM gebonden geheugen (16,6 GB) en een snellere runtime (22s), maar daalt het opzoekresultaat naar 0% zodra de "naald" zijn 1024-token venster verlaat. KV-Fold behoudt 100% opzoeken op alle geteste afstanden, maar vereist meer geheugen (35,6 GB) en een langere runtime.

Betekenis en Beweringen

Het artikel beweert dat bevroren vooraf getrainde transformers al een stabiele vorm van KV-cache recurrentie ondersteunen. De primaire betekenis ligt in het aantonen dat lange-context inferentie niet strikt architecturale wijzigingen, training of verliesvolle compressie vereist om hoge-nauwkeurige opzoeking te bereiken.

De auteurs stellen dat KV-Fold een "licht verschoven maar stabiel aandachtsregime" onthult waarin het model informatie recursief kan verwerken zonder zijn vermogen om specifieke vorige tokens te benaderen te verslechteren. Dit biedt een praktische route om contextvensters op bestaande hardware uit te breiden door lineaire geheugengroei in te wisselen voor de mogelijkheid om exacte opzoeking uit te voeren over sequenties die anders zouden worden afgekapt of benaderd. Het artikel concludeert dat hoewel de methode de totale FLOPs of het geheugen niet onder volledige aandacht reduceert, het de berekening herbouwt in hanteerbare stappen, waardoor lange-context inferentie haalbaar wordt waar het eerder onmogelijk was. Voorgesteld toekomstig werk omvat bescheiden fine-tuning om residuale drift te verminderen en het combineren van de methode met positie-extensietechnieken om voorbij de native contextlimieten te gaan.