🤖 machine learning

Models Take Notes at Prefill: KV Cache Can Be Editable and Composable

Dit artikel onthult dat modellen tijdens de prefill-fase voornamelijk veld-geconditioneerde conclusies opslaan in downstream KV-cache-notities in plaats van te vertrouwen op de vectoren van het veld zelf, wat een nieuwe aanpak mogelijk maakt waarbij caches efficiënt bewerkt kunnen worden via chain-of-thought en samengesteld kunnen worden over contexten heen om een bijna perfecte nauwkeurigheid te bereiken met aanzienlijk verminderde latentie vergeleken met volledige herberekening.

Oorspronkelijke auteurs: Bojie Li

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bojie Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Notitieboekje" van het Model

Stel je voor dat een groot taalmodel (zoals een zeer slimme robotassistent) een lang document leest om een vraag te beantwoorden. Normaal gesproken, wanneer de robot een zin leest, "denkt" hij erover na en gaat hij dan verder. Als de zin later verandert, moet de robot het hele document opnieuw lezen om de nieuwe context te begrijpen. Dit is traag en duur.

Dit paper ontdekt iets verrassends: de robot leest niet alleen het document; hij maakt aantekeningen in een apart "notitieboekje" (de KV Cache) terwijl hij leest.

Cruciaal is dat de robot zijn conclusies in dit notitieboekje schrijft, en niet alleen de ruwe woorden. Zodra hij begrijpt: "Oh, de status van de bestelling is 'verzonden', dus ik moet de terugbetaling weigeren," schrijft hij die conclusie in het notitieboekje. Later, wanneer hij een beslissing moet nemen, kijkt hij niet terug naar de oorspronkelijke zin; hij leest alleen zijn eigen aantekeningen.

Het Probleem: De "Verouderde Notitie"-val

De onderzoekers probeerden een eenvoudige oplossing toen een stuk informatie veranderde (bijvoorbeeld de status van een bestelling veranderde van "verzonden" naar "in behandeling"). Ze dachten: "Als ik alleen het specifieke woord in de tekst aanpas, zal de robot de verandering zien en zijn antwoord bijwerken."

Ze hadden het mis.

Omdat de robot zijn conclusie ("Weiger de terugbetaling") al in het notitieboekje had geschreven op basis van de oude informatie, werkte het simpelweg aanpassen van het oorspronkelijke woord niet. De robot negeerde de verandering en bleef zijn oude aantekening lezen. Het was alsozien dat je een wiskundige som probeert te veranderen van $2+2=4$ naar $2+2=5$ op een blaadje papier, maar de student had al "Het antwoord is 4" in zijn schrift geschreven en kopieert dat gewoon over. De student zou de verandering in de som niet opmerken, tenzij je hem dwong de hele pagina opnieuw te lezen.

Oplossing 1: De "Errata" (Het Post-it briefje)

Omdat de robot op zijn aantekeningen vertrouwt, vonden de onderzoekers een manier om de fout te herstellen zonder het hele boek opnieuw te hoeven lezen.

In plaats van te proberen de oude aantekening chirurgisch uit te wissen en te herschrijven (wat niet werkt), voegden ze simpelweg een nieuwe, luide aantekening toe aan het einde van het document.

De Analogie: Stel je voor dat de robot een contract leest. Je kunt niet gemakkelijk een clausule in het midden van het contract doorhalen zonder de paginanummers te verstoren. In plaats daarvan plak je een felgeel "ERRATUM"-briefje aan het einde van het contract met de tekst: "Negeer de vorige aantekening. De status is nu 'In behandeling'. Het antwoord is 'Goedkeuren'."
Het Resultaat: De robot ziet deze nieuwe, luide aantekening, werkt zijn beslissing bij en negeert de oude aantekening. Dit is ongelooflijk snel en werkt bijna perfect.

Oplossing 2: "Composing" Skills (De Lego-steen)

De tweede ontdekking gaat over het hergebruiken van werk.

Stel je voor dat je een lange, complexe instructiehandleiding hebt voor een specifieke taak (zoals "Hoe een vlucht te boeken"). Normaal gesproken moet de robot elke keer dat je hem vraagt een vlucht te boeken, die hele handleiding vanaf nul lezen.

De onderzoekers ontdekten dat omdat de robot zijn conclusies in het notitieboekje schrijft, je de aantekeningen voor die handleiding één keer vooraf kunt schrijven, kunt opslaan en vervolgens in een nieuw gesprek kunt "plakken".

De Analogie: In plaats van elke keer een handleiding van 50 pagina's te lezen als je een stoel wilt bouwen, heb je een vooraf samengestelde "Stoel-kit" (de aantekeningen). Je pakt de kit gewoon en plaatst deze in je werkruimte.
De Magie: Je kunt deze kit naar een andere plek in het gesprek verplaatsen (repositioneren) en het werkt nog steeds perfect. De robot hoeft de handleiding niet opnieuw te lezen; hij pakt gewoon de vooraf geschreven aantekeningen op en gaat verder. Dit maakt het proces 14 keer sneller voor lange documenten.

Waarom dit belangrijk is

Het is Bewerkbaar: Als een gebruiker een detail verandert (zoals hun naam of een bestelstatus), hoef je het hele gesprek niet opnieuw te starten. Je voegt gewoon een "correctie-notitie" toe aan het einde, en de robot past zijn gedrag direct aan.
Het is Composable (Samenstelbaar): Je kunt een bibliotheek van "vaardigheden" bouwen (zo zoals een recept voor het boeken van vluchten of een gids voor het afhandelen van retourzendingen). Je kunt deze vaardigheden vooraf berekenen en ze direct in elk gesprek plakken, wat enorme hoeveelheden tijd en rekenkracht bespaart.
Het Werkt Overal: De onderzoekers hebben dit getest op veel verschillende soorten AI-modellen (van kleine tot enorme modellen, en zelfs modellen die naar afbeeldingen kijken), en het werkte voor al deze modellen.

Samenvatting in één zin

Het paper onthult dat AI-modellen tijdens het lezen conclusies opschrijven in een verborgen notitieboekje; door dit te beseffen, kunnen we fouten herstellen door een "correctie-notitie" aan het einde toe te voegen en taken versnellen door vooraf geschreven "vaardigheids-notities" te plakken, in plaats van de AI alles opnieuw te laten lezen vanaf het begin.

Technische Samenvatting: Modellen maken aantekeningen tijdens de Prefill: De KV-cache kan bewerkbaar en composabel zijn

1. Probleemstelling

Moderne Large Language Model (LLM) agenten lezen frequent lange, grotendeels statische instructies (systeembeleid, tool-specificaties, opgehaalde documenten) opnieuw over meerdere beurten heen. Hoewel Key/Value (KV) caching de hergebruik van prefill-berekeningen mogelijk maakt, vertrouwen huidige productiesystemen (bijv. vLLM, SGLang) op exacte prefix-matching.

Het kernprobleem ontstaat wanneer een mutabel veld binnen een hergebruikte prefix verandert (bijv. een gebruikers-ID, orderstatus of tijdstempel). Omdat elke daaropvolgende token in de context aandacht besteedt aan de gewijzigde token, worden de keys en values van de gehele downstream-regio ongeldig. De de-facto workaround—het verplaatsen van alle mutabele inhoud naar het einde van de prompt—dwingt applicatielaag-beperkingen af, wat het schone hergebruik van geneste sub-agent prompts of dynamisch samgestelde contexten verhindert.

Een naïeve poging om alleen de KV-vectoren van het gewijzigde veld chirurgisch te verversen terwijl de rest van de cache wordt hergebruikt, faalt volledig: het model keert terug naar de oude beslissing en negeert de wijziging. Dit paper onderzoekt waarom deze mislukking optreedt en stelt een mechanisme voor om de KV-cache zowel bewerkbaar als composabel te maken.

2. Kernontdekking: Gememoriseerd Inferentieproces

Het paper stelt een causaal mechanisme vast dat verklaart waarom naïfel KV-bewerken faalt. Door middel van vier causale probes (locality patching, suffix concentration, linear probing en circuit knockout) over vier modelfamilies (Qwen3, Llama-3.1, Gemma-2, Mistral), demonstreren de auteurs dat:

Prefill-tijd Memoïsatie: Tijdens de prefill-fase cachet het model niet enkel ruwe token-representaties. In plaats daarvan berekent het de veld-geconditioneerde conclusie (bijv. "status is verzonden $\to$ actie is weigeren") en schrijft deze conclusie naar de KV-vectoren van specifieke downstream aggregator-tokens (zoals leesttekens, nieuwe regels of sectie-scheidingen).
Beslissing Aflezen: Tijdens de decode-fase leest het beslissingstoken de conclusie niet opnieuw af uit het veld zelf. In plaats daarvan besteedt het aandacht aan deze downstream "notitie"-posities.
Causale Bijdrage: De eigen KV-vectoren van het veld drijven minder dan 1% van de uiteindelijke beslissing aan. De beslissing wordt bijna volledig gedreven door de "notities" die downstream zijn geschreven.

Consequent wordt het verversen van enkel het veld-KV (de "field-only" edit) genegeerd omdat de beslissing afhankelijk is van de verouderde notities downstream. De KV-cache wordt geherformuleerd van een bevroren bijproduct naar een notitieblok van gememoriseerde conclusies.

3. Methodologie en Mogelijkheden

Op basis van het "notitieblok"-mechanisme stelt het paper twee mogelijkheden voor: Bewerkbare en Composabele KV-caches.

A. Bewerkbare KV-cache

Om een beslissing bij te werken wanneer een veld verandert, moet men de "notities" aanpassen in plaats van enkel het veld. Het paper evalueert verschillende strategieën:

Naïeve Field-Only Edit: Faalt (herstel $\approx$ 0), tenzij het model Chain-of-Thought (CoT) gebruikt. Met CoT leest het model het veld opnieuw, waardoor de field-only edit voldoende is (herstel $\approx$ 1.0). Zonder CoT wordt het genegeerd.
Selectieve Herberekening (Field + Top-K): Het herberekenen van het veld plus de top- $K$ downstream tokens met de hoogste causale effect op de beslissing. Dit is betrouwbaar maar vereist model-specifieke afstemming van $K$ en is minder robuust.
De Erratum (Append-Only): De meest robuuste en goedkope oplossing. Het toevoegen van een saillante correctielijn (bijv. [STATE UPDATE] veld $\to$ nieuw; overschrijft eerdere waarde) fungeert als een nieuwe, gezaghebbende notitie. Dit komt overeen met de prestaties van een volledige herberekening (Oracle) zonder de prompt te herschrijven. Het componeert met bestaande prefix-caching systemen omdat het de statische prefix niet invalideert.

B. Composabele KV-cache

Als notities gelokaliseerd en positie-portabel zijn, kunnen vooraf gecompileerde "skills" (lange beleidsblokken of tool-specificaties) worden hergebruikt over contexten heen zonder opnieuw te prefillen.

Mechanisme: Bereken de KV-cache van een skill in isolatie. Bij het invoegen ervan in een nieuwe context, wordt de KV-cache via RoPE-repositioning (het roteren van de keys naar de nieuwe absolute posities) in de doelcontext geplaatst en worden de values (die positievrij zijn) ingesplest.
Naad-reparatie (Seam Repair): Een klein aantal boundary-tokens aan het begin van het ingespleten blok moet mogelijk opnieuw worden berekend om rekening te houden met de ontbrekende prefix-aandacht, maar dit is een constante kostenpost.
Complexiteit: Dit vermindert de Time-to-First-Token (TTFT) van $O(L^2)$ (volledige prefill) naar $O(L)$ (re-rotatie + splicing).

4. Belangrijkste Resultaten

Bewerkingsprestaties

Nauwkeurigheid: De "Erratum"-methode bereikt een 1.00 beslissingsherstel (overeenkomend met volledige herberekening) over verschillende modellen, terwijl naïeve field-only edits 0.00 bereiken zonder CoT.
Efficiëntie: De Erratum-aanpak vereist slechts het toevoegen van één regel tekst, wat een verwaarloosbare rekenlast met zich meebrengt vergeleken met een volledige herberekening.
Vergelijking met Gewicht-bewerking: In tegenstelling tot methoden voor gewicht-bewerking (ROME, LoRA), die globaal zijn, traag (seconden) en zorgen voor cross-request contaminatie, is KV-bewerking lokaal, snel (~100ms) en aanvraag-specifiek.

Compositieprestaties

Getrouwheid (Fidelity): Getransplanteerde skills komen overeen met een volledige herberekening met een logit cosine similarity van 0.90–0.999 over 12 modellen (variërend van 1.7B tot 70B parameters, inclusief MoE en gekwantiseerde varianten).
Versnelling: De TTFT-versnellingen schalen met de lengte van de skill en bereiken 13.9× bij 32k tokens op een 8B model.
Generaliteit: De methode werkt voor regels, RAG-passages en agentic tool-calling. Het werkt ook voor multimodale inputs (afbeeldingen), waarbij afbeelding-KV kan worden ingesplest met M-RoPE re-rotatie.

Systeembenchmarks (vLLM)

Prefix Cache Alignment: In een online vLLM-benchmark met een Poisson-belasting houdt de append-only erratum de prefix cache-alignment aan, met een 98.5% prefix cache hit rate (tegenover 1% voor in-prefix edities).
Latentie & Doorvoer: De p90 TTFF wordt met 53–398× verminderd. Winsten in doorvoer groeien met de belasting en bereiken 14.5× bij verzadiging vergeleken met een baseline die bij elke wijziging opnieuw prefilled.

Toepassing van Gebruikersgeheugen

Het paper past deze concepten toe op gebruikersgeheugen (grote, mutabele profielen).

Plaatsing: Het plaatsen van geheugen aan het einde van de prompt (na de trajectorie) maakt $O(L)$ bewerking en transplantatie mogelijk.
Afweging: Hoewel late plaatsing een kleine nauwkeurigheidskost met zich meebrengt door het gebrek aan "pre-digestie" (prefill-tijd integratie), wordt dit gecompenseerd door de enorme efficiëntiewinst.
Validatie: Op de LoCoMo benchmark (echte lange conversatie QA) is het transplanteren van geheugen statistisch gelijk aan een volledige herberekening in termen van QA-nauwkeurigheid.

5. Betekenis en Claims

Het paper claimt de eerste causale verklaring te bieden voor waarom in-place KV-veld bewerking faalt en biedt een verenigd framework voor programmeerbare KV-caches.

Mechanisme: Het identificeert dat transformers tijdens de prefill conclusies naar downstream tokens schrijven, waardoor de cache een gestructureerd verslag wordt van tussenliggende redeneringen in plaats van enkel ruwe data.
Programmeerbaarheid: Het demonstreert dat systemen deze "notities" kunnen lezen, schrijven en herrangschikken zonder het model te hertrainen.
Praktische Impact: De aanpak maakt bewerkbare en composabele caching mogelijk die compatibel is met bestaande productie-infrastructuur (vLLM, SGLang) en aandachtsmecanismen (FlashAttention, GQA, MLA, M-RoPE).
Toekomstige Visie: De auteurs stellen dat hoewel huidige modellen dit mechanisme "gratis" exploiteren, toekomstige modellen getraind zouden kunnen worden om deze notities expliciet te maken, waardoor de KV-cache verandert van een lineair logboek in een programmeerbaar geheugen voor agenten.

Het werk wordt gevalideerd over schaal (0.6B tot 70B), kwantisatie (FP8, 4-bit), architectuurfamilies (MoE, standaard) en modaliteiten (tekst, visie), waarmee een robuuste fundering wordt gelegd voor efficiënte, staat-bewuste (stateful) LLM-agenten.