🤖 machine learning

IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference

IntentKV is een geleerde, over meerdere beurten heen intent-bewuste KV-cache-pruningmethode die een bevroren basis-LLM behoudt terwijl het sessie-niveau geheugen en een met nul geïnitialiseerd residu-hoofd gebruikt om tokens dynamisch te scoren en om te leiden, waardoor significante reducties in piekgeheugen en KV-leesbandbreedte worden bereikt voor agent-inferentie met een lange horizon met minimaal verlies aan nauwkeurigheid.

Oorspronkelijke auteurs: Junjie Li, Jiong Lou, Jie Li

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junjie Li, Jiong Lou, Jie Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer bekwame detective bent (de AI-agent) die probeert een complexe mysteries op te lossen. Je stelt niet alleen één vraag en krijgt een antwoord; je maakt een lange reis. Je doorzoekt de bibliotheek, ondervraagt getuigen, controleert oude dossiers en maakt aantekeningen. Elke stap voegt meer papier toe aan je bureau.

Uiteindelijk wordt je bureau zo vol met papier dat je niets meer kunt vinden en je geen ruimte meer hebt om nieuwe aantekeningen te maken. Dit is precies het probleem dat IntentKV voor AI-agenten oplost.

Hier is de uitsplitsing van het artikel met eenvoudige analogieën:

Het Probleem: Het "Rommelige Bureau"

Wanneer een AI-agent werkt aan een taak met meerdere stappen (zoals het onderzoeken van een vlucht en vervolgens het boeken ervan), genereert hij een enorme sporen van informatie:

Het verzoek van de gebruiker: "Zoek een vlucht voor mij."
De zoekopdracht: De AI zoekt naar vluchten.
De resultaten: De AI leest een lijst van 50 vluchten.
De vervolgvraag: "Welke is het goedkoopst?"
De nieuwe zoekopdracht: De AI zoekt opnieuw.

Elke keer als de AI nadenkt, moet hij terugkijken naar alle eerdere papieren op zijn bureau om de context te begrijpen. Naarmate het gesprek langer wordt, wordt het "bureau" (het geheugen) enorm. Het artikel stelt dat de grootste flessenhals niet de denkkracht van de AI is (rekenkracht); het is de geheugenruimte en de snelheid van het lezen van dat bureau. Als het bureau te vol is, vertraagt de AI of crasht hij.

De Oude Oplossingen: "Het Schudden van de Papieren"

Eerdere methoden probeerden dit op te lossen door oude papieren weg te gooien.

Het Probleem: Ze keken meestal naar de huidige vraag en besloten wat er weggegooid moest worden.
De Fout: In een lang detectieverhaal kan een aanwijzing van pagina 1 cruciaal zijn op pagina 50. Oude methoden gooiden die aanwijzing van pagina 1 vaak weg omdat deze op dat moment niet belangrijk leek.
De Tweede Fout: Sommige methoden verplaatsten de resterende papieren fysiek naar een nieuwe, kleinere stapel. Dit verbrak de "index" of "kaart" die het systeem gebruikt om snel gedeelde informatie tussen verschillende gebruikers te vinden. Het is alsof je een bibliotheek reorganiseert zodat "Harry Potter" nu op een andere plank staat dan voorheen; de bibliothecaris (het systeem) raakt in de war en kan de boeken niet efficiënt hergebruiken.

De Nieuwe Oplossing: IntentKV

De auteurs creëerden IntentKV, dat werkt als een slimme, georganiseerde assistent die het bureau beheert zonder de boeken te verplaatsen.

1. Het "Sessiegeheugen" (Het Notitieblok van de Detective)

In plaats van alleen naar de huidige vraag te kijken, houdt IntentKV een lopende samenvatting bij van het hele onderzoek.

Hoe het werkt: Het onderhoudt een "QueryMemory" die wordt bijgewerkt naarmate het gesprek vordert. Het weet dat zelfs als de gebruiker momenteel vraat naar "prijzen", ze misschien de "vluchtschema's" van 10 minuten geleden nodig hebben om een beslissing te nemen.
De Analogie: Stel je een detective voor die een post-it op de muur heeft geplakt met: "Onthoud: De verdachte droeg een rode hoed." Zelfs als het huidige gesprek over het weer gaat, weet de detective dat de rode hoed nog steeds relevant is. IntentKV houdt de "rode hoed"-papieren op het bureau, zelfs als ze op dit moment niet worden bekeken.

2. De "Zero-Init Residual" (Het Veiligheidsnet)

Het systeem gebruikt een eenvoudige regel om te beslissen wat het behoudt (gebaseerd op het Sessiegeheugen). Maar soms mist de regel iets subtiels.

De Fix: Ze hebben een kleine, leerbare "residual head" toegevoegd. Denk aan dit als een junior stagiair die de lijst van de senior detective controleert.
De Magie: Deze stagiair begint met nul kennis (zero-initialized) en leert alleen om de fouten van de senior te corrigeren. Het verandert de hersenen van de detective (het hoofd AI-model) niet; het voegt alleen een kleine laag slimme correctie toe.

3. De "Dead Slot" Truc (De Magische Kaart)

Dit is het meest slimme deel. Wanneer het bureau vol is, moet IntentKV enkele papieren verwijderen.

De Oude Manier: Pak de papieren eruit, stapel de resterende papieren strak op en nummer ze opnieuw. (Dit verbreekt de index van de bibliotheek).
De IntentKV Manier: Het haalt het papier eruit, maar in plaats van de anderen te verplaatsen, plaatst het een "Niet Lezen"-bordje (een sentinel dead slot) op de lege plek.
Het Resultaat: De papieren blijven precies waar ze waren. De "kaart" van het bureau blijft perfect. Als een andere detective binnenkomt met een soortgelijke zaak, kan het systeem de gedeelde papieren direct herkennen omdat ze niet zijn verplaatst. Dit stelt het systeem in staat om geheugen efficiënt te hergebruiken, wat enorme hoeveelheden tijd en ruimte bespaart.

De Resultaten: Wat Hebben Ze Gevonden?

Het artikel testte dit op twee specifieke AI-modellen (Qwen3-8B en Qwen2.5-14B) met behulp van een moeilijke "diep onderzoek" benchmark genaamd BrowseComp-Plus.

Nauwkeurigheid: IntentKV hield de AI net zo slim als wanneer deze over oneindig geheugen zou beschikken. Het verloor geen enkele "detectieve vaardigheid".
Efficiëntie:
- Het verminderde de benodigde hoeveelheid geheugen met ongeveer 24% tot 31% voor standaard taken.
- Voor de moeilijkste, langere taken verminderde het het geheugengebruik met wel 78% en de vereisten voor de leessnelheid met wel 92%.
Vergelijking: Het versloeg alle andere "opruimmethoden". Terwijl andere methoden crashten of foutieve antwoorden gaven wanneer het geheugen krap werd, bleef IntentKV soepel werken.

Belangrijke Beperkingen (Wat het Artikel Niet Zegt)

Het is geen toverstaf voor alle AI: Het artikel merkt op dat ze dit alleen op specifieke "Qwen"-modellen hebben getest. Andere populaire open-source modellen (zoals Llama of Mistral) slaagden er in hun tests niet eens in om de taken met meerdere stappen correct uit te voeren, dus kon IntentKV niet op hen worden getest. Het probleem was niet het geheugen; de modellen konden simpelweg niet als agenten "handelen" in die specifieke testomgeving.
Het kiest zijn eigen budget niet: Het systeem heeft een mens nodig om een vaste limiet in te stellen (bijv. "houd 8.000 tokens vast"). Het besluit niet automatisch: "Oh, deze vraag is kort, ik zal minder geheugen gebruiken."
Het is voor Agents, niet voor Chatbots: Dit is specifisch ontworpen voor AI die tools gebruikt (zoeken, code, etc.) over vele rondes, niet voor een eenvoudige eenmalige chat.

Samenvatting

IntentKV is een slim geheugenbeheer voor AI-agenten. Het houdt de belangrijkste aanwijzingen uit het verleden vast door de intentie van het hele gesprek te volgen, en niet alleen de huidige zin. Het verwijdert oude informatie zonder de resterende papieren te verschuiven, waardoor de AI snel, nauwkeurig en efficiënt blijft, zelfs tijdens zeer lange, complexe onderzoeken.

Technische Samenvatting: IntentKV

Probleemstelling

Moderne Large Language Model (LLM) agents voeren steeds vaker multi-turn workflows uit die browsen, diepgaand onderzoek en tool-gebruik omvatten. In deze scenario's breidt een korte initiële gebruikersquery zich uit tot een lang traject van opgehaalde documenten, tool-outputs, tussenbeslissingen en gegenereerde argumenten. Dit creëert een asymmetrisch serving-profiel waarbij de agent-toestand groeit naar tienduizenden tokens, terwijl de oorspronkelijke query kort blijft. Gevolgelijk worden de KV-geheugencapaciteit en de KV-leesbandbreedte, in plaats van de parametrische berekening, de dominante knelpunten voor langdurige agent-sessies.

Bestaande methoden voor KV-cache pruning (bijv. StreamingLLM, SnapKV, H2O) zijn primair ontworpen voor single-prompt compressie. Wanneer ze worden toegepast op multi-turn agents, kampen ze met twee kritieke faalmodi:

Verouderde Retentie-signalen: De belangrijkheid van tokens verschuift over verschillende turns heen. Bewijs dat nuttig is voor een latere turn (bijv. een specifere zoekresultaat) kan worden weggegooid door een scorer die alleen getraind is op de initiële prompt, aangezien de "belangrijkheid" van tokens niet statisch is maar evolueert met nieuwe intents.
Verlies van Prefix Identiteit: Standaard pruning comprimeert de cache vaak door overlevende KV-rijen naar opeenvolgende slots te verplaatsen. Dit verandert de logische posities en RoPE-fasen van de tokens, wat de prefix identiteit ongeldig maakt die systemen zoals SGLang en vLLM nodig hebben om gecachte toestanden via radix-trees te hergebruiken over verschillende turns heen.

Methodologie: IntentKV

IntentKV adresseert deze problemen door de retentiebeleid (welke tokens behouden blijven) te ontkoppelen van het layoutbeleid (hoe de cache wordt gerepresenteerd). De methode houdt de basis-LLM bevroren en introduceert een geleerd, sessie-bewust pruning-mechanisme.

1. Cross-Turn Intent-Bewuste Retentie

In plaats van tokens te scoren tegenover een enkele prompt, onderhoudt IntentKV een QueryMemory ( $M_t$ ) die query-achtige signalen over de gehele sessie aggregeert.

QueryMemory Update: $M_t$ wordt bijgewerkt via een geometrische recursie: $M_t = e^{-\lambda} M_{t-1} + \text{Enc}(q_t)$ , waarbij $\text{Enc}(q_t)$ de actiegerichte query-span van de huidige turn representeert. Dit stelt het systeem in staat om evoluerende intents te volgen (bijv. verschuiven van "vluchten zoeken" naar "de goedkoopste optie vinden").
Rule Scoring: Tokens worden gescoord op basis van hun aandacht-alignment met de geaggregeerde $M_t$ , wat de window-gebaseerde tail-attention van methoden zoals SnapKV vervangt.
Geleerd Residu: Om gevallen af te handelen waarin de rule-scorer bewijs voor toekomstig gebruik mist, wordt een met nul geïnitialiseerd residu-hoofd toegevoegd. Dit hoofd gebruikt cross-attention over de huidige query K-vectoren en per-token features (inclusclusief de rule score en de QueryMemory-toestand) om een correctie te voorspellen. De uiteindelijke score is een combinatie van de rule score en het geleerde residu.

2. Layout-Preserverende Evictie

Om compatibiliteit met prefix-caching te behouden, hanteert IntentKV een slot-map redirectie strategie in plaats van compactie.

Sentinel Dead Slot: Wanneer een token wordt geëvict, wordt de positie in de slot-map omgeleid naar een vooraf toegewezen "sentinel" dead slot. De K/V-waarden voor dit slot worden ingesteld op specifieke constanten (bijv. $K=-10^4$ , $V=0$ ) die effectief de aandacht-bijdrage elimineren zonder de fysieke layout van overlevende tokens te wijzigen.
Behouden Identiteit: Overlevende K/V-rijen, hun RoPE-fasen en hun logische slot-identiteiten blijven ongewijzigd. Dit stelt de radix-tree in staat om prefixes over turns heen te blijven matchen, wat efficiënt hergebruik van gecachte toestanden mogelijk maakt, zelfs na pruning.

Belangrijkste Bijdragen

Multi-Query Retentie Formulering: Het paper formuleert agent KV pruning als een multi-query retentieprobleem, geïnstantieerd met QueryMemory, een per-sessie toestand die queries, tool calls en zoek-intents over verschillende turns aggregeert.
Frozen-Model Residual Pruner: Een geleerd residu-pruner die de sessie-bewuste heuristiek als het primaire signaal behoudt en een correctie toevoegt die gegrond is in toekomstige acties, alles zonder de gewichten van de basis-LLM aan te passen.
Composabele Evictie Receptuur: Een strategie voor het evicten van paged KV-caches (SGLang/vLLM) die gedropte posities naar een sentinel slot redirecteert. Dit behoudt radix-prefix hergebruik, waarbij een prefix-hit rate van 20,7% wordt behaald bij een budget van 8k, waar compactie-baselines zakken naar 0–3%.
Prestatiewinst: Op de BrowseComp-Plus (BCP) benchmark matcht IntentKV de full-cache baseline met minimale nauwkeurigheidsverlies terwijl het de middelen aanzienlijk vermindert.

Experimentele Resultaten

De methode werd geëvalueerd op Qwen3-8B en Qwen2.5-14B met behulp van de BrowseComp-Plus (BCP) benchmark (830 deep-research queries).

Nauwkeurigheid: Bij een 8k KV-budget bereikt IntentKV-Phase-2 een True Accuracy van 14.10 op Qwen3-8B (superieur aan de sterkste heuristiek, StreamingLLM, met 2.29 punten) en 18.55 op Qwen2.5-14B (superieur aan StreamingLLM met 10.36 punten). Bij een 16k budget matcht het de full-cache plafond binnen 0.96 punten op Qwen3-8B.
Efficiëntie: IntentKV reduceert de worst-case piek request tokens met 77.8%–81.7% en de worst-case ruwe KV-reads met 36.9%–92.6% vergeleken met de ongecomprimeerde plafond op de 100 meest veeleisende queries.
Systeem Overhead: Het bereikt tot wel 43% reductie in wall-clock latency en 59% reductie in ruwe KV-reads vergeleken met compactie-baselines, grotendeels dankzij behouden prefix-hergebruik.
Ablatie: De cross-turn memory component wordt geïdentificeerd als het dominante signaal; het verwijderen ervan veroorzaakt een significante daling in nauwkeurigheid. Het geleerde residu levert marginale winst bij krappe budgetten, maar verbetert de prestaties wanneer de capaciteit groter is.

Betekenis en Claims

Het paper claimt dat IntentKV erin slaagt de spanning tussen KV-compressie en multi-turn agent serving op te lossen door de retentie-logica te scheiden van de cache-layout. Door een sessie-niveau geheugen van intentie te behouden en een niet-compacterende evictie-strategie te gebruiken, stelt het agents in staat om onder strikte geheugenbudgetten te opereren zonder het vermogen te verliezen om gecachte prefixes te hergebruiken.

De auteurs merken op dat hun evaluatie beperkt is tot Qwen-modellen omdat andere open-source backbones (zo.als Llama-3.1, Mistral) niet betrouwbaar autonoom multi-step tool-calling gedrag vertoonden op de BCP-benchmark onder hun serving-harnas, wat een eerlijke vergelijking van compressie-effecten verhinderde. De methode is ontworpen om composabel te zijn met bestaande serving stacks (SGLang, vLLM) en toekomstige prompt-lokale scorers, hoewel per-query dynamische budgetselectie een richting is voor toekomstig werk.