🤖 AI

Context Compaction Theory

Dit artikel initieert een formele studie naar contextcompressie in Large Language Models door twee speltheoretische kaders voor selectie- en generatiestrategieën te introduceren, waarbij de equivalentie met eenrichtingscommunicatiecomplexiteit wordt bewezen om theoretische grenzen vast te stellen en aan te tonen dat generatieve samenvatting strikt beter kan presteren dan subsetselectie.

Oorspronkelijke auteurs: Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een zeer slimme, zeer behulpzame robotvriend die code kan schrijven, mysteries kan oplossen of je dag kan plannen. Deze robot heeft een superkracht: het kan alles onthouden wat je er ooit tegen hebt gezegd. Maar er is een addertje onder het gras. Deze robot heeft een zeer strikte regel: het kan op één moment slechts een bepaalde hoeveelheid informatie in zijn "actieve brein" houden. Denk aan deze limiet als een rugzak met een vaste grootte. Als je probeert je hele levensverhaal, elk boek dat je ooit hebt gelezen en elk gesprek dat je hebt gevoerd in die rugzak te proppen, zal hij simpelweg niet dichtgaan.

In de wereld van kunstmatige intelligentie wordt deze rugzak het context window genoemd. Dit is de maximale hoeveelheid tekst die de robot in één keer kan lezen en begrijpen. Wanneer een robot (of "agent") aan een lange taak werkt, verzamelt hij een enorme stapel aantekeningen: jouw vragen, zijn antwoorden, de inhoud van bestanden en de resultaten van tools. Uiteindelijk wordt deze stapel te groot voor de rugzak. Om door te kunnen werken, moet de robot een tovertruc uitvoeren die context compaction wordt genoemd. Hij moet naar zijn gigantische stapel aantekeningen kijken en beslissen wat hij bewaart en wat hij weggooit, of hoe hij de hele boel kan samenvatten tot een kleine, perfecte notitie die nog steeds alle belangrijke geheimen bevat. Als hij het verkeerde weggooit, kan de robot vergeten waarom hij de taak uitvoert of later een stomme fout maken.

Lange tijd hebben ingenieurs geprobeerd uit te vogelen hoe ze dit het beste kunnen doen. Ze hebben verschillende strategieën geprobeerd, zoals het vragen aan de robot om de geschiedenis samen te vatten of simpelweg de meest recente berichten te bewaren. Maar niemand wist echt de mathematische regels van hoe goed deze strategieën theoretisch zouden kunnen werken. Ze vlogen blind rond, hopend dat hun trucjes goed genoeg waren.

Dit artikel stapt in om wat serieuze wiskunde bij het feest te brengen. De auteurs, een team van onderzoekers van universiteiten en technologiebedrijven, besloten context compaction te behandelen als een formeel spel. Ze creëerden twee verschillende "spellen" om te modelleren hoe robots momenteel met hun geheugen omgaan. Het eerste spel wordt Selection genoemd, waarbij de robot optreedt als een bibliothecaris die slechts een specifieke subset van boeken op de plank mag houden. Het tweede spel is Generation, waarbij de robot de ruimte krijgt om een gloednieuwe, magische samenvattende notitie te schrijven die niet direct een kopie hoeft te zijn van een enkel boek, maar ideeën kan mixen en matchen om in de rugzak te passen.

De grote ontdekking hier is dat het "Generation"-spel wiskundig identiek is aan een beroemd probleem in de informatica genaamd one-way communication. Stel je voor dat Alice een geheime lijst met items heeft en een bericht wil sturen naar Bob, zodat hij later een vraag over die lijst kan beantwoorden. Het artikel bewijst dat de kleinste hoeveelheid ruimte die Bob van Alice moet ontvangen om de vraag correct te beantwoorden, exact hetzelfde is als het kleinste "context compaction" budget dat een robot nodig heeft. Dit is een enorme zaak, omdat wiskundigen deze communicatieproblemen al lang geleden hebben opgelost. Door deze oude oplossingen te gebruiken, kunnen de auteurs ons nu precies vertellen hoeveel geheugen een robot moet behouden om bepaalde vragen te kunnen beantwoorden zonder te falen.

Een van de meest opwindende bevindingen is dat de "Generation"-strategie (het schrijven van een slimme samenvatting) strikt beter is dan de "Selection"-strategie (het simpelweg kiezen en bewaren van delen van de oude tekst). De auteurs hebben bewezen dat voor sommige soorten vragen een robot die een slimme samenvatting gebruikt, met aanzienlijk minder ruimte toe kan komen—soms heeft hij slechts een fractie van de ruimte nodig die een robot die gedwongen is om alleen te "kiezen en bewaren" zou nodig hebben. Het is also�ndat je beseft dat het schrijven van een slim referentieblad veel efficiënter is dan proberen het hele tekstboek mee te dragen en alleen een paar pagina's te markeren.

De paper waarschuwt echter ook dat niet alle robots optimaal spelen. De onderzoekers hebben een tool uit de echte wereld getest die door een grote AI-onderneming wordt gebruikt (Anthropic's context compaction endpoint) op een specifiek type vraag: "Zit dit item in mijn lijst?" (een set membership query). Ze vergeleken de prestaties van de echte tool met een perfect wiskundig instrument genaamd een Bloom filter, dat bekend staat als bijna de beste manier om lijsten voor dit soort vragen op te slaan. De resultaten waren verrassend: de echte tool maakte fouten met een frequentie die dicht bij willekeurig gokken lag, terwijl de Bloom filter bijna perfect was. Dit suggereert dat de huidige "slimme samenvattingen" die populaire AI-agents gebruiken, mogelijk te veel cruciale informatie weggooien, waardoor ze dingen vergeten die ze eigenlijk niet zouden mogen vergeten.

De paper beweert niet dat het elk probleem heeft opgelost. Het geeft toe dat hun wiskunde het beste werkt wanneer de robot niet precies weet welke vraag hij daarna van de gebruiker zal krijgen (een "oblivious" scenario). Als de robot moet raden wat de gebruiker zal vragen nadat hij de samenvatting heeft gezien, kunnen de regels veranderen. Ze laten ook de vraag open wat er gebeurt wanneer een robot zijn geheugen steeds opnieuw moet comprimeren over een zeer lange sessie, wat in de echte wereld gebeurt. Maar voor nu geeft dit werk ons een solide, wiskundige kaart van het terrein, die ons precies laat zien hoeveel geheugen vereist is om onze AI-vrienden ervan te weerhouden de plot van het verhaal te vergeten dat ze ons helpen schrijven.

Technische Samenvatting: Context Compaction Theorie

Probleemstelling

Large Language Models (LLM's) beschikken over een begrensde context window, wat de hoeveelheid input die ze in één enkele inferentie kunnen verwerken, beperkt. AI-agenten, die opereren door iteratief LLM's aan te roepen en een staat te accumuleren (gebruikersvragen, LLM-responsen en tool-resultaten), overschrijden onvermijdelijk deze limiet tijdens langlopende sessies. Om te kunnen blijven opereren, moeten agenten gebruikmaken van context compaction: een proces waarbij de staat van de agent wordt samengevat of een subset daarvan wordt geselecteerd om binnen de context window te passen.

Hoewel context compaction alomtegenwoordig is in productiegerichte agenten (bijv. Claude Code, Codex, Cursor), heeft het vrijwel geen formele analyse ontvangen. Bestaand werk leunt op empirische evaluaties van de nauwkeurigheid bij downstream taken, wat een gebrek aan formele garanties inhoudt met betrekking tot welke informatie behouden blijft of verloren gaat. Bovendien worden agenten geconfronteerd met een secundaire beperking die bekend staat als "context rot", waarbij de kwaliteit van redeneren afneemt naarmate de inputlengte groeit, wat compactie noodzakelijk maakt zelfs voordat de harde limiet van de context window is bereikt. Het kernprobleem is dat informatie die tijdens de compactie wordt weggegooid, permanent verloren gaat voor de LLM in toekomstige stappen, wat er potentieel toe kan leiden dat de agent beslissingen neemt die inconsistent zijn met de oorspronkelijke gesprekshistorie.

Methodologie

De auteurs initiëren een formele studie naar context compaction door een theoretisch kader te introduceren dat gebaseerd is op twee-speler-spellen. Dit kader abstraheert de interne staat van de agent als een verzameling discrete informatie-items in plaats van een sequentie van tokens.

1. Theoretisch Kader: Twee Spelen

Het artikel definieert twee onderscheidende spelen om de twee primaire algoritmische strategieën te modelleren die hedendaagse agenten gebruiken:

Het Context Selectie Spel: Modelleert algoritmen die een subset van de geaccumuleerde staat van de agent selecteren om te behouden.
- Spelers: Een selector (het compactie-algoritme) en een adversary (die een toekomstige informatiebehoefte vertegenwoordigt).
- Mechanisme: De adversary fixeert een item-universum $X$ . De selector kiest een subset $S \subseteq X$ onderworpen aan een groottebudget $B$ . De adversary stelt vervolgens een query $q$ voor, en de selector moet deze beantwoorden met uitsluitend $S$ .
- Query Regimes: De studie beschouwt zowel stochastische regimes (queries getrokken uit een bekende distributie) als oblivious adversary regimes (de adversary kiest de slechtst denkbare query zonder de geselecteerde subset te zien).
Het Context Generatie Spel: Modelleert algoritmen die de staat samenvatten door een willekeurige boodschap van een begrensde lengte uit te stoten.
- Mechanisme: Een generator (condenser) brengt het item-universum $X$ in kaart naar een boodschap $m$ van maximaal lengte $B$ . Een interpreter gebruikt vervolgens $m$ en de query $q$ om een antwoord te produceren.
- Scope: Deze klasse omvat LLM-gebaseerde samenvatting, waarbij de condenser nieuwe tokens genereert (een samenvatting) en de interpreter de daaropvolgende LLM-call is. Deze klasse is strikt krachtiger dan selectie, omdat het toestaat informatie te herordenen, nieuwe tokens te genereren en informatie efficiënter te coderen dan simpelweg een subset te behouden.

2. Verbinding met Communicatiecomplexiteit

De auteurs vestigen een rigoureuze equivalentie tussen het Context Generatie Spel en one-way communication complexity.

De Equivalentie: De generator fungeert als "Alice" (zender) en de interpreter als "Bob" (ontvanger). Het minimale budget dat vereist is voor een generatie-algoritme om een set queries te beantwoorden met een fout $\le \epsilon$ is exact gelijk aan de one-way randomized communication complexity van het geïnduceerde communicatieprobleem bij fout $\epsilon$ .
Selectie als Beperkte Communicatie: Het Context Selectie Spel komt overeen met een beperkte subclass van one-way protocollen waarbij de boodschap expliciet een subset van items moet identificeren, en het antwoord enkel een functie is van die subset.

3. Empirische Casestudy

Om het theoretische kader te valideren, presenteren de auteurs een casestudy waarin een in productie ingezette context compaction endpoint wordt geëvalueerd (gedetailleerd in Appendix A).

Setup: De studie registreert een set items in de context van de endpoint en taakt deze met het beantwoorden van set-membership queries.
Benchmark: De foutmarge van de endpoint wordt vergeleken met een Bloom filter, die theoretisch bijna optimaal is voor set membership binnen een vast budget.
Resultaat: De ingezette endpoint beantwoordt membership queries met een substantieel hogere foutmarge dan een Bloom filter van dezelfde grootte. De auteurs demonstreren via een controle-experiment dat de verloren gegane informatie tijdens context compaction de oorzaak is van deze fout.

Belangrijkste Bijdragen en Resultaten

Formeel Kader: Het artikel biedt de eerste formele definitie van context compaction, waarbij onderscheid wordt gemaakt tussen selectie (het behouden van een subset van de historie) en generatie (het creëren van een samenvatting).
Equivalentie-stelling (Theorem 1): De auteurs bewijzen dat het minimale context compaction budget voor generatie gelijk is aan de one-way communication complexity van het geïnduceerde probleem. Dit maakt het mogelijk om bekende grenzen uit de communicatiecomplexiteit direct over te dragen naar context compaction.
Het Gat tussen Selectie en Generatie (Theorem 3): Het artikel bewijst dat er een set queries bestaat waarbij generatie strikt minder budget vereist dan selectie. Specifiek, voor een set van $n$ items (waarbij $n=2^k$ ), kan een generatie-algoritme een specifieke query beantwoorden met nul fouten met een budget van $n$ bits, terwijl elk selectie-algoritme dat nul fouten bereikt een budget van $n \log_2 n$ bits vereist. Bijgevolg is het gat tussen de twee strategieën een factor $\Theta(\log n)$ .
Ondergrenzen voor Specifieke Problemen:
- Set Membership: De auteurs tonen aan dat een Bloom filter bijna optimaal is voor set membership queries.
- Set Disjointness: Voor set disjointness queries (bijv. controleren of een set afhankelijkheden intersecteert met een set bekende kwetsbaarheden), is het vereiste budget $\Omega(Nm)$ bits (waarbij $N$ het aantal items is en $m$ de bit-lengte van een item). Dit impliceert dat voor dergelijke queries, context compaction geen voordeel biedt boven het ongecomprimeerd opslaan van de data, aangezien de informatie-theoretische ondergrens te hoog is om effectief te comprimeren zonder correctheid te verliezen.
Empirische Validatie: De casestudy laat zien dat huidige productiesystemen (specifiek de geëvalueerde context compaction endpoint) aanzienlijk slechter presteren dan de theoretische optima (Bloom filters) op set membership taken, wat suggereert dat huidige LLM-gebaseerde summarisatie-strategieën nog niet geoptimaliseerd zijn voor informatiebehoud.

Betekenis en Claims

Het artikel claimt de formele studie van context compaction te initiëren, waarmee het veld verschuift van empirische heuristieken naar informatie-theoretische garanties.

Ontwerprichtlijnen: De equivalentie met communication complexity biedt ontwerpers van agenten een methode om het minimale budget te berekenen dat vereist is voor een specifieke set toekomstige queries. Als een probleem een hoge one-way communication complexity heeft (zoals set disjointness), beargumenteert het artikel dat context compaction niet effectief het budget kan verlagen zonder een hoge foutmarge te riskeren.
Strategiekeuze: Het geïdentificeerde gat tussen selectie en generatie suggereert dat agenten voor bepaalde taken prioriteit moeten geven aan generatie-gebaseerde compactie (samenvatting) boven selectie-gebaseerde compactie (truncatie/pruning) om een betere nauwkeurigheid te bereiken binnen hetzelfde token budget.
Beperkingen van Huidige Systemen: De casestudy benadrukt een aanzienlijk prestatiekloof tussen gedeployed LLM-gebaseerde compactie en optimale datastructuren, wat suggereert dat huidige implementaties kritieke informatie weggooien.

De auteurs blijven bescheiden over de reikwijdte van hun bevindingen, waarbij zij opmerken dat hun grenzen informatie-theoretisch zijn en niet ingaan op de computationele haalbaarheid van het bereiken van deze grenzen (bijv. of een LLM daadwerkelijk de optimale condenser kan berekenen). Zij identificeren ook herhaalde context compaction (waarbij een agent een staat compacteert die al een samenvatting is) en adaptieve adversaries (waarbij de query afhankelijk is van de samenvatting) als openstaande problemen voor toekomstig onderzoek.