SideQuest: Model-Driven KV Cache Management for Long-Horizon Agentic Reasoning

SideQuest is een nieuwe methode die het redeneervermogen van een groot taalmodel zelf gebruikt om de KV-cache te comprimeren tijdens complexe, langdurige taken, waardoor het geheugengebruik met tot 65% wordt verlaagd zonder de nauwkeurigheid significant te beïnvloeden.

De kern

Stel je voor dat je een slimme, autonome assistent hebt die een heel complexe opdracht moet uitvoeren, zoals het vinden van de perfecte vakantiebestemming door duizenden websites te doorzoeken, e-mails te lezen en verschillende bronnen te vergelijken.

Dit is precies wat SideQuest doet, maar dan voor kunstmatige intelligentie (AI). Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: De "Geheugen-Overload"

Stel je voor dat je een onderzoek doet. Je opent 50 tabbladen in je browser, leest elk document, maakt notities en schakelt tussen tabbladen. Na een tijdje is je computer traag, je geheugen zit vol, en je kunt de belangrijke informatie niet meer snel vinden tussen al die open vensters.

Voor een AI is dit hetzelfde. Als een AI-agent langdurig redeneert, verzamelt hij een enorme hoeveelheid informatie (de "KV-cache").

• Huidige oplossing: Bestaande methoden werken als een strenge bibliothecaris die willekeurig boeken uit de kast gooit als de kast vol raakt. Ze houden de "populairste" boeken (woorden die vaak worden genoemd) vast en gooien de rest weg.
• Het nadeel: In een dynamisch onderzoek kan een boek dat nu saai lijkt, over 10 stappen cruciaal blijken te zijn. De bibliothecaris gooit het weg, en de AI raakt in de war.

De Oplossing: SideQuest (De Slimme Assistent)

SideQuest is een nieuwe manier om dit geheugen te beheren. In plaats van een vaste regel of een bibliothecaris, geeft het de AI een tweede, parallelle brein dat specifiek is getraind om te kijken wat er echt nodig is.

Hier is de analogie:

1. De Hoofdtaak (De Reisplanner):
   De AI is bezig met het beantwoorden van je vraag ("Wanneer is het eerste lange weekend na GTC 2026?"). Hij zoekt, leest en redeneert. Dit is de "Hoofdthread".

2. De Zijtaak (De Opruimer):
   Terwijl de planner werkt, start SideQuest een parallelle "Opruimer" (de Auxiliary Thread). Deze Opruimer kijkt niet naar de vraag zelf, maar naar de geschiedenis van de zoektocht.

   • Hij denkt: "Oké, we hebben de datum van de conferentie gevonden in document A. We hebben document B (de zoekresultatenpagina) al gebruikt om daarheen te komen. We hebben document B nu niet meer nodig."
   • De Opruimer zegt dan tegen het systeem: "Gooi document B weg, het is oud nieuws."

3. Het Magische Trucje:
   Normaal gesproken zou het praten over het "weggooien" van informatie de AI afleiden van zijn eigen taak. SideQuest lost dit op door de Opruimer in een aparte, parallelle ruimte te laten werken.

   • Het is alsof je een assistent hebt die naast je zit. Jij blijft rustig je verslag schrijven, terwijl hij in een apart notitieblok schrijft: "Dit stuk papier kunnen we verbranden." Hij gooit het papier weg zonder dat jij je schrijfstijl verstoort.

Waarom is dit zo slim?

• Geen willekeur: De AI begrijpt de context. Hij weet dat een zoekresultaat nu nutteloos is, maar dat de datum die hij daaruit haalde nog steeds belangrijk is. Hij gooit alleen het "ruis" weg, niet de "kennis".
• Snelheid en Ruimte: Door het oude, nutteloze papier weg te gooien, blijft het geheugen van de AI fris en snel. Het kan veel meer vragen tegelijkertijd afhandelen zonder vast te lopen.
• Leren van weinig data: Het systeem is getraind met slechts 215 voorbeelden. Het heeft geleerd om zelf te beslissen wat "verouderd" is, net zoals een mens leert welke notities hij kan wegdoen na een vergadering.

Het Resultaat

In tests bleek SideQuest het geheugengebruik met wel 65% te verminderen zonder dat de AI dommer werd.

• Vroeger: De AI werd traag en maakte fouten als hij te veel informatie moest onthouden.
• Nu: De AI blijft scherp, werkt sneller en kan langere, complexere taken uitvoeren omdat hij zijn "werktafel" schoonhoudt terwijl hij werkt.

Kortom: SideQuest geeft de AI een slimme, parallelle "opruimer" die weet wat hij moet bewaren en wat hij mag weggooien, zodat de AI zich volledig kan focussen op het oplossen van jouw probleem, zonder vast te lopen in zijn eigen geheugen.

Technische samenvatting

Probleemstelling

De evolutie van Large Language Models (LLM's) van statische chatbots naar autonome agenten heeft geleid tot taken met lange doorlooptijden, zoals diep onderzoek en complexe workflows. Deze taken vereisen multi-hop redenering over informatie verspreid over vele webpagina's en documenten.

• Geheugengroei: De context van de agent groeit lineair met het aantal tokens, wat leidt tot een explosieve toename van het Key-Value (KV) cache-gebruik.
• Bottlenecks: Een groeiende KV-cache consumeert GPU-geheugen (beperkt de batchgrootte) en maakt de inferentie geheugenbandbreedte-gebonden (de GPU moet enorme hoeveelheden data laden voor elke nieuwe token).
• Mislukking van bestaande methoden: Bestaande compressietechnieken (zoals H2O, Scissorhands, SnapKV) vertrouwen op statische heuristieken (bijv. "Heavy Hitters" of lokale aandachtswaarden). Deze werken goed voor statische documenten, maar falen bij dynamische agent-taken. In een agent-workflow kan een token dat op moment $t$ onbelangrijk lijkt, op moment $t+n$ cruciaal worden voor de synthese van het antwoord. Statische heuristieken snijden vaak onbedoeld belangrijke informatie weg, wat leidt tot redeneringsfouten.

Methodologie: SideQuest

SideQuest is een nieuw raamwerk dat KV-cache-beheer overneemt van statische heuristieken naar een intelligente, model-gedreven aanpak. De kernidee is dat het Large Reasoning Model (LRM) zelf bepaalt welke tokens verouderd zijn en uit de cache kunnen worden verwijderd.

1. Architectuur: Parallelle Hulpdraad
Om de overhead van het beheer de context van de hoofdtaak niet te verstoren, wordt SideQuest geïmplementeerd als een hulpdraad (auxiliary thread) die parallel loopt met de hoofdredeneringsdraad:

• Gedeelde Context: Beide threads werken op dezelfde context, maar de hulpdraad is gespecialiseerd in beheer.
• Isolatie: De tokens gegenereerd door de hulpdraad (beheer-instructies) vervuilen niet de primaire aandachtswaarden van de hoofdagent.
• Workflow:
  1. Op regelmatige intervallen wordt de hulpdraad gestart.
  2. De hulpdraad analyseert de geschiedenis van tool-outputs (zoals zoekresultaten of geopende cursors).
  3. Het model redeneert over welke tools/antwoorden nu "verouderd" (stale) zijn en genereert een gestructureerd commando om deze te verwijderen (bijv. {del_cursors: [0]}).
  4. Zodra de hoofdthread een beurt afrondt, worden de gemarkeerde tokens fysiek uit de KV-cache verwijderd.

2. Training en Data-Generatie
Om het model te leren wanneer het moet "vergeten", zonder zijn redeneervermogen te verliezen, gebruiken de auteurs een hybride trainingsaanpak:

• Hindsight Annotation: Op basis van correcte redeneersporen wordt bepaald wanneer een tool-output voor het laatst nodig was. Alles daarna is "verlopen".
• Hybride Dataset:
  • Hoofdsporen: De originele correcte antwoorden worden behouden met logit-distillatie om het redeneervermogen intact te houden.
  • Hulp-spoor: Gesynthetiseerde data waarin het model wordt getraind om verouderde cursors te identificeren en te verwijderen, geactiveerd door een trigger-phrase (bijv. "Memory management mode").
• Efficiëntie: Het model is getraind op slechts 215 samples (na filtering), wat aantoont dat de methode data-efficiënt is.

Belangrijkste Bijdragen

1. Evaluatie van Heuristieken: Het paper toont aan dat statische heuristieken onvoldoende zijn voor multi-stap redenering vanwege de niet-monotone bruikbaarheid van tokens.
2. Model-Gedreven Beheer: SideQuest geeft het model de capaciteit om zijn eigen context actief te beheren via zelf-referentiële verwijdering van verouderde informatie.
3. Parallelle Redenering: Een architectuur die beheertaken parallel uitvoert zonder de primaire context te vervuilen, wat leidt tot lage overhead.
4. Schalbare Trainingspipeline: Een methode om hoogwaardige supervisie te genereren via hindsight-analyse zonder dure menselijke annotatie.

Resultaten

De evaluatie vond plaats op benchmarks voor web-browsing en multi-hop redenering (FRAMES en BrowseComp) met het gpt-oss-20b model.

• Efficiëntie vs. Nauwkeurigheid:
  • SideQuest reduceert het piek-tokengebruik met 56-65% en de KV-cache-geheugenaanvragen met 53-71% ten opzichte van de oncompressie baseline.
  • De nauwkeurigheid daalt slechts marginaal (maximaal 2% op in-distribution data, 5% op out-of-distribution data).
  • In tegenstelling tot heuristische methoden (H2O, SnapKV, R-KV), die bij vergelijkbare compressie niveaus grote nauwkeurigheidsdalingen en "model collapse" vertonen, behoudt SideQuest de contextuele integriteit.
• Betrouwbaarheid: SideQuest heeft een "Non-Completion Rate" (mislukkingen door contextlimieten of onbegrijpelijke antwoorden) die vergelijkbaar is met de oncompressie baseline, terwijl heuristische methoden vaak faalden door het onterecht verwijderen van cruciale tokens.
• Serving Performance: In een productie-omgeving (SGLang op een NVIDIA H100) resulteerde SideQuest in:
  • 83,9% hogere doorvoer (tokens/second) door grotere batchgroottes mogelijk te maken.
  • 36,8% kortere totale runtime voor benchmarks.

Significantie

SideQuest introduceert een paradigmaswitch in het beheer van lange contexten voor agenten. In plaats van een vaste token-begroting of statische regels toe te passen, wordt geheugenbeheer omgezet in een leerbare redeneervaardigheid.

• Adaptiviteit: Het systeem past de contextgrootte dynamisch aan op basis van de complexe van de vraag, in plaats van een starre limiet te hanteren.
• Toekomstige Toepassingen: De architectuur van parallelle hulpdraden kan worden uitgebreid naar andere taken zoals veiligheidscontroles (prompt-injectie detectie) of governance, waarbij dezelfde context wordt gebruikt zonder extra kosten voor context-herverwerking.

Kortom, SideQuest lost het fundamentele probleem op van het schalen van langdurige agent-taken door de KV-cache-druk te verminderen zonder de intelligentie van het model te compromitteren, wat essentieel is voor de volgende generatie autonome AI-systemen.