Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents

Het Grote Idee: Het "Fragiele Briefje"-probleem

Stel je voor dat je een robot bent die de taak heeft om een rommelig huis op te ruimen. Voordat je begint, schrijf je een to-do lijst op een post-it: "1. Ga naar de keuken. 2. Pak de beker op. 3. Doe hem in de vaatwasser."

In de wereld van AI-agenten (robots aangedreven door Large Language Models) is dit "briefje" het Plan. Het paper onderzoekt een cruciale vraag: Onthoudt de robot deze lijst echt, of blijft hij het briefje elke keer dat hij een stap zet gewoon opnieuw lezen?

De auteurs ontdekten dat voor standaard AI-modellen het antwoord is: Hij blijft het briefje gewoon opnieuw lezen.

Als je dat briefje weghaalt (of als het geheugenvenster van de robot vol raakt en het briefje wordt "verwijderd"), vergeet de robot onmiddellijk wat hij moest doen. Hij heeft het plan niet opgeslagen in zijn "brein"; hij heeft het plan alleen opgeslagen in het "papier" waar hij op dit moment naar kijkt.

Het Experiment: De "Ghost Replay"

Om dit te bewijzen, gebruikten de onderzoekers een slimme truc genaamd Replay Pairing. Stel je voor dat je een film van de robot die het huis schoonmaakt twee keer afspeelt:

1. Film A (De Echte Situatie): De robot ziet het briefje met het plan, en begint vervolgens op te ruimen.
2. Film B (De Geest): De robot voert exact dezelfde acties uit en ziet exact dezelfde resultaten, maar het briefje met het plan is magisch uit zijn gezichtsveld verwijderd.

De onderzoekers vergeleken vervolgens de interne "hersentoestand" (de verborgen gedachten) van de robot tussen Film A en Film B.

• Als de robot het plan had onthouden: Zou de hersentoestand van de robot in beide films bijna identiek zijn, omdat hij het plan uit zijn hoofd kent.
• Als de robot alleen het briefje leest: Zou de hersentoestand van de robot drastisch veranderen op het moment dat het briefje verdwijnt.

De Resultaat: Op het moment dat het briefje werd verwijderd, veranderde de hersentoestand van de robot onmiddellijk. Het "signaal" van het plan daalde met 4 tot 12 keer in één enkele stap. Het is alsof de robot naar het briefje keek, een stap zette, en het briefje daarna volledig uit zijn geheugen verdween.

De "Denk"-valstrik (Reasoning Models)

De onderzoekers testten ook nieuwere, intelligentere AI-modellen (genaamd "Reasoning Models") die tegen zichzelf praten voordat ze handelen. Deze modellen hebben een speciale sectie in hun output genaamd <thinking>, waarin ze hun gedachten opschrijven.

Toen ze de "Ghost Replay" op deze slimme modellen probeerden, zagen de resultaten er vreemd uit. De robot leek het plan te onthouden, zelfs zonder het briefje!

De Twist: De onderzoekers realiseerden zich dat dit een trucje was. De slimme modellen schreven het plan namelijk steeds opnieuw in hun eigen <thinking> blokken terwijl ze bezig waren. Dus zelfs toen de oorspronkelijke notitie werd verwijderd, "las" de robot het plan nog steeds uit zijn eigen recente gedachten.

Ze losten dit op met "Strict Stripping", waarbij niet alleen de oorspronkelijke notitie wordt verwijderd, maar ook de recente gedachten van de robot waarin het plan werd genoemd. Zodra ze dit deden, lieten de slimme modellen ook zien dat ze afhankelijk zijn van het feit dat het plan direct voor hun neus staat. Ze "houden" het plan niet echt vast in hun langetermijngeheugen.

De Stress-test: Wat gebeurt er als het briefje weg is?

Om te zien hoe erg dit in de praktijk is, voerden ze een "Compression Stress Test" uit. Ze dwongen de AI om een huis schoon te maken, maar beperkten het geheugenvenster zodat de AI oude notities moest weggooien om ruimte te maken voor nieuwe.

• De "Naïeve" Aanpak: Ze lieten de AI het plan-briefje weggooien om ruimte te besparen.
  • Resultaat: Het succespercentage van de AI stortte met 35% in. De AI kon de klus niet afmaken omdat hij het plan was vergeten.
• De "Slimme" Aanpak: Ze probeerden een detector te gebruiken om te zien wanneer de AI het plan vergat, om vervolgens het plan-briefje opnieuw in te voegen.
  • Resultaat: Dit hielp niet veel. De AI was al in de war omdat hij de context van wat hij aan het doen was verloren was, niet alleen het plan zelf.

De Conclusie

Het paper concludeert dat voor huidige AI-agenten contextbeheer het belangrijkste onderdeel van het systeem is.

Beschouw het geheugenvenster van de AI als een whiteboard. Het plan is geen permanente tatoeage op de arm van de robot; het is een tekening met een stift op het whiteboard. Zolang de stift op het bord staat, werkt de robot. Als je het bord uitveegt (zelfs als je alleen het plan uitveegt), stopt de robot met werken.

Belangrijkste claims uit het paper:

• Plannen zijn niet persistent: Ze worden niet opgeslagen in de interne "hersentoestand" van de AI; ze moeten elke stap opnieuw gelezen worden uit de tekstwindow.
• Verval gaat snel: Het "geheugen" van het plan verdwijnt bijna onmiddellijk (binnen één stap) zodra de tekst weg is.
• Reasoning models zijn verraderlijk: Ze verbergen het plan in hun eigen denksporen, wat tests kan misleiden tenzij je die sporen ook verwijdert.
• Bescherming is niet genoeg: Het simpelweg beschermen van de plan-tekst is geen magische oplossing voor geheugenlimieten; als de AI de context van zijn acties verliest, faalt hij ongeacht of het plan er nog is.

Het paper biedt een nieuwe manier om dit "vergeten" te meten en bewijst dat AI-agenten vooralsnog fragiel zijn: ze hebben het plan nodig dat nu zichtbaar is om te kunnen blijven werken.