🤖 AI

Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory

Dit artikel stelt een budgetafhankelijk framework voor voor het geheugen van taalagenten voor, dat dynamisch selecteert tussen het behouden van ruwe records en het consolideren ervan via specifieke operatoren (Merge, Abstract of Rewrite) op basis van geschatte nutsafwegingen, waarbij door middel van benchmarks wordt aangetoond dat consolidatie aanzienlijk beter presteert dan retentie onder strikte contextbudgetten, terwijl retentie de voorkeur geniet wanneer de middelen overvloedig zijn.

Oorspronkelijke auteurs: Qingcan Kang, Mingyang Liu, Shixiong Kai, Kaichao Liang, Zhentao Tang, Yuqi Cui, Tao Zhong, Mingxuan Yuan

Gepubliceerd 2026-07-21

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qingcan Kang, Mingyang Liu, Shixiong Kai, Kaichao Liang, Zhentao Tang, Yuqi Cui, Tao Zhong, Mingxuan Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme mysteries probeert op te lossen, maar je hebt alleen een klein notitieboekje om aanwijzingen in op te schrijven. Dit is de dagelijkse realiteit voor "taalagenten" — slimme computerprogramma's aangedreven door Large Language Models (LLM's) die met ons chatten, problemen oplossen en beslissingen nemen. Deze agenten zijn als detectives die alles wat ze hebben gezien, gehoord of gelezen moeten onthouden om het juiste antwoord te krijgen. Maar hier is de crux: hun "notitieboekjes" (genaamd context windows) hebben een strikte paginalimiet. Als ze te veel aanwijzingen in het boekje proberen te proppen, scheurt het notitieboekje of raakt de detective overweldigd en begint hij fouten te maken. Bovendien kost elke extra pagina geld en tijd om te lezen.

Dus, de grote vraag voor deze digitale detectives is: Hoe krijg je de belangrijkste aanwijzingen in een kleine ruimte zonder de cruciale details te verliezen? Je hebt twee hoofdzaken. Je kunt ofwel de ruwe aanwijzingen precies laten zoals ze zijn (Retention/Retentie), in de hoop dat ze allemaal passen, of je kunt ze herschrijven en combineren tot een kortere samenvatting (Consolidation/Consolidatie). De eerste methode is veilig maar lomp; de tweede is efficiënt maar riskant omdat je per ongeluk een cruciaal feit kunt weggooien terwijl je probeert ruimte te besparen. Een lange tijd wisten wetenschappers niet zeker welke strategie beter was of wanneer ze moesten overschakelen.

Dit artikel, getiteld "Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory", pakt exact dit dilemma aan. De onderzoekers ontdekten dat er geen enkele "beste" manier is om geheugen te beheren. In plaats daarvan hangt de juiste keuze volledig af van hoe strak het "budget" (de ruimtelimiet) is. Ze ontdekten een fascinerende "kantelpunt": wanneer het budget extreem krap is, is samenvatten en combineren een reddingsboei, omdat het de nauwkeurigheid met wel eens 48% verhoogt doordat het informatie erin propt die anders buiten de boot zou vallen. Echter, zodra het budget ruim genoeg is om de ruwe aanwijzingen comfortabel te laten passen, schaadt samenvatten de prestaties omdat het belangrijke details vertroebelt. De auteurs bouwden een slim, lichtgewicht hulpmiddel genaamd OAS (Offline Abstraction-Safety) dat werkt als een verkeersregelaar, die naar de situatie kijkt voordat er iets wordt geschreven en beslist: "Moeten we comprimeren, of kunnen we het origineel behouden?" Hun experimenten laten zien dat dit slimme schakelen beter werkt dan simpelweg één regel aanhouden, wat bewijst dat weten wanneer je moet samenvatten net zo belangrijk is als weten hoe.

Het Dilemma van de Detective: Houden of Samenvatten?

Stel je voor dat je een detective bent die een zaak probeert op te lossen, maar je notitieboekje krimpt. Je hebt een stapel bewijsmateriaal: getuigenverklaringen, foto's en bonnetjes. Als je probeert de hele foto in je notitieboekje te plakken, past het misschien niet. Als het niet past, verlies je het bewijs. Als je probeert de foto in één zin te beschrijven, past het wel, maar je mist misschien een klein detail zoals de kleur van de hoed van de verdachte.

In de wereld van AI is dit de strijd tussen Retention (Retentie) en Consolidation (Consolidatie).

Retention is als het fotokopiëren van het bewijs en het erin vastplakken. Het is perfect omdat er niets verloren gaat, maar het neemt veel ruimte in beslag.
Consolidation is als het schrijven van een samenvatting. Het bespaart ruimte en kan tien pagina's aan aantekeningen samenvoegen tot één, maar er is een risico: de samenvatting kan het ene feit missen dat de zaak oplost.

Een lange tijd kozen AI-systemen gewoon één strategie en hielden ze die vast. Sommigen vatten altijd samen; anderen houden altijd de ruwe tekst aan. Maar de onderzoekers in dit artikel stelden een slimmere vraag: Waarom hebben we geen slimme assistent die beslist welke strategie te gebruiken op basis van hoeveel ruimte er nog over is?

De Ontdekking van het "Kantelpunt"

Het team voerde een reeks experimenten uit met twee beroemde puzzelsets (genaamd benchmarks) om te zien wat er gebeurt als je de grootte van het notitieboekje verandert. Ze testten budgetten variërend van heel klein (32 tokens) tot vrij groot (256 tokens).

Dit is wat ze vonden, en het is een beetje als een wipwap:

Wanneer het budget super krap is (32 of 64 tokens): Het ruwe bewijs past simpelweg niet. Als je de originele tekst wilt behouden, moet je het grootste deel ervan weggooien, en de AI krijgt een score van bijna nul. Maar als je Consolidation gebruikt (specifiek een methode genaamd "Abstract" of "Merge"), kan de AI de aanwijzingen samenvatten, ze er allemaal in krijgen, en de nauwkeurigheid springt met maar liefst 48% omhoog. In deze zone is samenvatten een held.
Wanneer het budget ruim is (256 tokens): Het ruwe bewijs past perfect. In dat geval wordt samenvatten een schurk. Het begint de details te vertroebelen, en de nauwkeurigheid van de AI daalt met ongeveer 8% tot 11% vergeleken met het simpelweg behouden van de originele tekst. Hier is "minder is meer" een slecht idee; je wilt "meer is meer".

Het artikel noemt dit de Budget Crossover. Het bewijst dat de beste strategie niet vaststaat; deze kantelt afhankelijk van hoeveel druk je ervaart.

De Slimme Verkeersregelaar: OAS

Hoe weet een AI dan wanneer hij moet schakelen? De onderzoekers bouwden een hulpmiddel genaamd OAS (Offline Abstraction-Safety). Denk aan OAS als een super slimme verkeersregelaar die staat op het kruispunt van "Behouden" en "Samenvatten".

Voordat de AI zelfs maar begint met het schrijven van een samenvatting, bekijkt OAS een paar aanwijzingen:

Hoeveel ruimte is er nog over?
Hoeveel aanwijzingen zijn er?
Hoe rommelig of repetitief zijn de aanwijzingen?

Op basis van deze vooraf geschreven aantekeningen voorspelt OAS de score voor elke optie. Het vraagt zich af: "Als ik samenvat, win ik dan meer punten door nieuwe informatie toe te voegen, of verlies ik punten door de details te verpesten?"

Als de voorspelde winst hoog is, zegt OAS: "Ga! Vat samen!"
Als de voorspelde winst laag of negatief is, zegt OAS: "Stop! Houd het origineel!"

De onderzoekers testten deze "verkeersregelaar" op de puzzelsets. Ze ontdekten dat OAS erin slaagde om op het juiste moment van strategie te wisselen. Wanneer het budget krap was, koos het voor samenvatting en verhoogde het de score. Wanneer het budget ruim was, koos het om de ruwe tekst te behouden en voorkwam het de daling in nauwkeurigheid.

Welke Samenvatter is het Beste?

Het artikel testte ook drie verschillende manieren om samen te vatten, als verschillende stijlen van het schrijven van een samenvatting:

Merge: Verschillende aantekeningen combineren tot één groot blok.
Abstract: Een samenvatting op hoog niveau schrijven die de hoofdgedachte vangt.
Rewrite: Elke aantekening afzonderlijk herschrijven om hem korter te maken.

Ze ontdekten dat wanneer de ruimte krap is, Merge en Abstract meestal de winnaars zijn. Ze zijn beter in het combineren van informatie uit verschillende aantekeningen om ruimte te besparen. Rewrite is vaak minder effectief omdat het elke aanteking afzonderlijk behandelt en niet zoveel ruimte bespaart. Het artikel merkt echter op dat er niet één "perfecte" samenvatter is voor elke situatie; het hangt af van de specifieke aanwijzingen.

Wat het Papier NIET Zegt

Het is belangrijk om te weten wat dit artikel niet beweert. De auteurs zijn zeer voorzichtig om niet te zeggen dat samenvatten altijd beter is, of dat het altijd slechter is. Ze sluiten expliciet de gedachte uit dat er één "magisch getal" van woorden is dat voor iedereen werkt. In plaats daarvan laten ze zien dat het "magische getal" verandert afhankelijk van de situatie.

Ze beweren ook niet dat hun hulpmiddel (OAS) perfect is of dat het voor elke AI in de wereld werkt. Ze hebben het op specifieke datasets getest en vonden dat het daar goed werkt, maar ze geven toe dat dingen in de echte wereld chaotischer kunnen zijn. Ze hebben ook geen manier gevonden om het samenvattingsproces zelf perfect te maken; ze hebben alleen de beste tijd gevonden om het te gebruiken.

De Kernboodschap

De belangrijkste les van dit artikel is dat flexibiliteit de sleutel is. Net zoals een menselijke detective niet dezelfde strategie zou gebruiken voor een kleine winkeldiefstal als voor een enorme internationale samenzwering, mag een AI ook niet dezelfde geheugenstrategie gebruiken voor elke vraag.

De onderzoekers hebben aangetoond dat door naar de "budgetdruk" te kijken, een AI kan beslissen of het zijn ruwe aantekeningen behoudt of ze comprimeert. Wanneer de ruimte krap is, is comprimeren een reddingsboei. Wanneer de ruimte ruim is, is het behouden van de ruwe details de veiligste optie. Hun hulpmiddel, OAS, fungeert als het brein dat deze schakeling automatisch maakt, waardoor de AI de best mogelijke score behaalt zonder ruimte te verspillen of cruciale feiten te verliezen. Het is een kleine maar krachtige stap richting het slimmer, efficiënter en minder vergeetachtig maken van AI-detectives voor de aanwijzingen die er echt toe doen.

Technische Samenvatting: Behoud of Consolidatie? Budgetafhankelijke Operatorselectie voor Geheugen van Taalagenten

Probleemstelling

Taalagenten die vertrouwen op Large Language Models (LLM's) worden geconfronteerd met een fundamentele beperking: eindige contextvensters en inferentiekosten beperken de hoeveelheid geheugen (geschiedenis, observaties, opgehaalde feiten) die gelijktijdig verwerkt kan worden. Bestaande systemen hanteren over het algemeen één van de twee strategieën om dit te beheren:

Geheugenbehoud (Memory Retention): Het selecteren van ruwe records om ongewijzigd te houden. Dit bewaart exacte details en herkomst, maar is inefficiënt qua tokens; onder strikte budgetten kunnen relevante bewijsstukken volledig worden uitgesloten.
Geheugensolidatie (Memory Consolidation): Het genereren van compacte vervangers (samenvatten, samenvoegen, herschrijven) voor ruwe records. Dit verbetert de dekking van bewijs per token, maar brengt het risico met zich mee dat cruciale details voor de query worden weggelaten, de temporele volgorde vervaagt of ongefundeerde inhoud wordt geïntroduceerd.

Huidig onderzoek behandelt deze strategieën apart (bijv. welke ruwe noten te behouden versus hoe te samenvatten), waardoor een kritieke kloof ontstaat: Wanneer moet een agent overschakelen van behoud naar consolidatie, en welke consolidatie-operator (Merge, Abstract of Rewrite) moet worden geselecteerd? Het paper stelt dat de optimale keuze niet universeel is, maar afhangt van "budgetdruk"—de ratio tussen vereist bewijs en beschikbare context-tokens.

Methodologie

De auteurs formaliseren dit als een eindig, budgetafhankelijk beslissingsprobleem. Het doel is om de verwachte bruikbaarheid (utility) van het uiteindelijke antwoord te maximaliseren (beoordeeld tegen een referentie) door een actie te selecteren uit de verzameling $A = \{\text{Retain}, \text{Merge}, \text{Abstract}, \text{Rewrite}\}$ .

1. Geïdealiseerd Mechanisme-model
Om de beslissingslogica uit te leggen, introduceert het paper een surrogaat-utiliteitsmodel dat de waarde van consolidatie deelt in twee termen:

Dekkingseffect (Coverage Effect, $C$ ): Het voordeel dat wordt behaald wanneer consolidatie bewijs mogelijk maakt dat door behoud zou zijn weggelaten (vanwege budgetlimieten) om in de context te worden opgenomen.
Vervangingseffect (Replacement Effect, $R$ ): De netto verandering in getrouwheid (fidelity) wanneer consolidatie ruw bewijs vervangt dat reeds binnen het budget paste. Dit is vaak negatief, aangezien generatie exacte details kan verliezen.

Het model voorspelt een "kruispunt": wanneer de budgetdruk hoog is (bewijs past niet), domineert het positieve dekkingseffect, wat consolidatie gunstig maakt. Wanneer de budgetdruk laag is (bewijs past wel), domineert het negatieve vervangingseffect, wat behoud de voorkeur geeft.

2. Offline Abstraction-Safety (OAS)
Omdat de utiliteit van niet-uitgevoerde acties (contrafactuelen) onbekend is tijdens de inzet, stellen de auteurs OAS voor, een lichtgewicht leerling die de utiliteit van acties schat op basis van kenmerken vóór de generatie.

Kenmerken: Het model gebruikt 11-dimensionale kenmerken die geobserveerd worden vóór de generatie, waaronder genormaliseerd budget, aantal constituerende elementen, token-druk, budget-fit fractie, sessie-aantal, embedding-inconsistentie en query-type.
Leren: OAS gebruikt ridge-regressie om de utiliteit van elke actie te voorspellen op basis van offline gepaarde evaluaties (waarbij alle acties worden uitgevoerd en beoordeeld).
Veiligheid: Een "gekalibreerde OAS"-variant past een gehouden veiligheidsdrempel toe. Het selecteert alleen een consolidatie-operator als de voorspelde meerwaarde ten opzichte van behoud een marge overschrijdt die garandeert dat er nul geobserveerde schadelijke selecties optreden op een validatieset.

Belangrijkste Bijdragen

Verenigde "Wanneer–Welke" Formulering: Het paper plaatst behoud en drie generatieve operatoren in één enkele beslissingsruimte met gesigneerde, budgetafhankelijke utiliteit, waarbij de afweging tussen dekking en getrouwheid expliciet wordt gemodelleerd.
Testbaar Budgetafhankelijk Mechanisme: De auteurs leiden een theoretische decompositie af die aantoont dat de waarde van consolidatie een functie is van de relatieve budgetdruk, niet van absolute aantallen tokens. Dit voorspelt een omkering van de optimale strategie naarmate het budget krapper wordt.
Lichtgewicht Leerling (OAS): Een praktische implementatie die leert de contrafactuele utiliteiten te schatten uit kenmerken vóór de generatie, wat dynamische routing mogelijk maakt zonder dat er dure generatie nodig is tijdens de beslissingsfase.

Experimentele Resultaten

De aanpak werd geëvalueerd op de LongMemEval en LoCoMo benchmarks met behulp van DeepSeek-V3.2 en GLM-5.2 als antwoordmodellen.

Budget Crossover (Q1): Experimenten bevestigen de voorspelde omkering.
- Strakke Budgets: Consolidatie presteert significant beter dan behoud. Op LongMemEval bij 32 tokens bereikte Abstract een nauwkeurigheid van 52,0% tegenover 4,0% voor behoud (een absolute winst van 48%).
- Ruime Budgets: Behoud presteert 8–11% beter dan alle consolidatie-operators zodra het ruwe bewijs grotendeels in het budget past.
- Relatieve Druk: Het kruispunt verschuift op basis van de lengte van het bewijs. LoCoMo (korter bewijs) vertoonde het kruispunt bij een kleiner absoluut budget (64 tokens) vergeleken met LongMemEval (128 tokens), wat de hypothese van "relatieve budgetdruk" ondersteunt boven een vaste token-drempel.
Operatorselectie (Q2):
- Onder compressie presteren cross-note operators (Merge en Abstract) over het algemeen beter dan de lokale Rewrite.
- Er is geen enkele universele "beste" operator; de keuze hangt af van de specifieke bewijsstructuur en het budget.
OAS Prestaties (Q3):
- OAS slaagt erin de gezamenlijke beslissing te leren. In stressvolle regimes verbetert het de nauwkeurigheid ten opzichte van een vast behoudbeleid.
- Gekalibreerde OAS vermindert schadelijke vervangingen (waarbij consolidatie de prestaties verslechtert) aanzienlijk (bijv. de schade verminderen van 12 naar 1 in het 64-token regime op LongMemEval) met een kleine afruil in de algehele nauwkeurigheid.
- De full-history variant van OAS overtrof de sterkste vaste policy niet, wat aangeeft dat de kracht van de methode ligt in budgetbewuste selectie in plaats van algemene instance-level routing.

Betekenis en Claims

Het paper claimt de gezamenlijke beslissing van wanneer te consolideren en welke operator te gebruiken op te lossen door aan te tonen dat deze beslissing fundamenteel wordt gedreven door relatieve budgetdruk.

Validatie van het Mechanisme: De resultaten valideren de theoretische decompositie: consolidatie is vooral gunstig wanneer het weggelaten bewijs herstelt (dekkingseffect), terwijl het nadelig is wanneer het passend bewijs vervangt (vervangingseffect).
Praktische Routing: De studie toont aan dat een lichtgewicht, pre-generatie leerling effectief de optimale contrafactuele beslissing kan benaderen, wat een praktisch mechanisme biedt voor adaptief geheugenbeheer in taalagenten.
Bescheidenheid: De auteurs kaderen hun claims expliciet en merken op dat hoewel OAS gecontroleerde besluitvorming onder budgetstress verbetert, het niet beweert een geoptimaliseerd end-to-end geheugensysteem in alle scenario's te overtreffen, noch beweert het het upstream probleem van de ontdekking van kandidaat-bewijs op te lossen. De primaire bijdrage is de validatie van het budgetafhankelijke mechanisme en de haalbaarheid van het leren van het routingbeleid.