When Does Context Compaction Pay in Long-Horizon Agents?

Stel je een digitale assistent voor die urenlang kan werken en complexe problemen kan oplossen door bestanden te lezen, code uit te voeren en zijn eigen voortgang te controleren. Om dit te doen, moet de assistent alles onthouden wat hij tot nu toe heeft gedaan, waarbij hij een voortlopend logboek bijhoudt van zijn acties en de resultaten die hij ziet. Dit logboek wordt zijn "context" genoemd. Naarmate het werk vordert, wordt dit logboek steeds langer, totdat het zo groot wordt dat het de assistent vertraagt en veel geld kost om te verwerken. Om dit te beheren, hebben software engineers een truc ontwikkeld die "contextcompactie" wordt genoemd. In plaats van de volledige geschiedenis mee te dragen, vraagt het systeem de assistent om een korte samenvatting te schrijven van wat er is gebeurd, de oude details weg te gooien en het werk voort te zetten met alleen die samenvatting. Het is een beetje zoals een reiziger die, na honderd mij te hebben gelopen, een ansichtkaart aan zijn toekomstige zelf schrijft om de reis te beschrijven, en dan het gedetailleerde dagboek verbrandt om ruimte te besparen in zijn rugzak. De hoop is dat deze samenvatting genoeg is om de reiziger op koers te houden, terwijl het tijd en middelen bespaart.

Een nieuwe studie door onderzoeker Yuyao Wang onderzoekt of deze strategie daadwerkelijk werkt voor langdurige taken. De onderzoeker testte dit idee op negen moeilijke, meerstaps-problemen met behulp van twee verschillende geavanceerde taalmodellen. Hij zette een gecontroleerd experiment op waarbij hij de status van de agenten op specifieke momenten opsloeg en hen vervolgens liet doorgaan naar de finishlijn met behulp van twee verschillende methoden. In de ene methode hielden de agenten hun volledige geschiedenis vast, wat diende als een baseline. In de andere methode schakelden de agenten over naar het gebruik van samenvattingen zodra hun geschiedenis te lang werd. De onderzoeker mat niet alleen de uiteindelijke kosten, maar ook hoe de verandering in strategie het gedrag van de agent beïnvloedde, het aantal stappen dat het in beslag nam, en de tijd die het doorbracht met wachten op het schrijven van samenvattingen.

De resultaten onthulden een verrassende wending. Hoewel de wiskunde suggereerde dat overschakelen naar een samenvatting geld zou moeten besparen, was de realiteit vaak het tegenovergestelde. Voor een van de geteste modellen eindden de agenten die overschakelden naar samenvattingen met hogere kosten dan de agenten die hun volledige geschiedenis behielden. De reden was niet dat de samenvattingen slecht waren, maar dat de handeling van het samenvatten het gedrag van de agent veranderde op een manier die extra werk creëerde. Wanneer de agent een samenvatting ontving in plaats van de volledige geschiedenis, voelde hij vaak de noodzaak om bestanden opnieuw te lezen of informatie te controleren die hij al eerder had gezien. Dit leidde tot een cascade van extra verzoeken. Deze extra stappen, die de onderzoeker "read-only" acties noemde, telden snel op. In veel gevallen werd het geld dat bespaard werd door een kortere geschiedenis volledig tenietgedaan door de kosten van deze extra, onnodige controles. Sterker nog, voor het primaire geteste model verhoogde de strategie de kosten in 20 van de 21 verschillende staten wanneer de taak tot het einde werd voortgezet.

De studie keek ook naar hoe lang deze agenten moesten werken na de overstap om te bepalen of de strategie ooit rendabel kon zijn. De onderzoeker vond dat contextcompactie alleen een financiële winst oplevert als er nog een zeer grote hoeveelheid werk te doen is na het schrijven van de samenvatting. Als de taak bijna voltooid is, zijn de kosten voor het schrijven van de samenvatting en de extra stappen die de agent onderneemt om zich aan te passen, de besparingen niet waard. Echter, voor taken met een lange weg voor zich, kan de strategie werken, maar dan alleen onder specifieke omstandigheden. De prijs van de technologie speelt een grote rol; voor één model bespaarde de strategie alleen geld als de kosten voor het lezen uit het geheugen van de computer extreem hoog waren, veel hoger dan wat de meeste aanbieders momenteel in rekening brengen. Voor het andere geteste model was de strategie veel effectiever en bespaarde het zelfs met de huidige prijzen, maar dit kwam grotendeels doordat het gedrag van dat model minder drastisch veranderde wanneer het een samenvatting ontving.

Naast de kosten onderzocht de onderzoeker ook hoe snel de agenten werkten. Hij simuleerde het proces op een enkele computerchip om te zien of kortere geschiedenissen het systeem sneller zouden maken. Hij vond dat hoewel kortere geschiedenissen de verwerking van individuele stappen versnelden, de tijd die besteed werd aan het genereren van de samenvatting en de extra stappen die de agent ondernam, het hele proces vaak trager maakten. In sommige scenario's deden de agenten die samenvattingen gebruikten er bijna twee keer zo lang over om dezelfde taak te voltooien als de agenten met de volledige geschiedenis, zelfs zonder dat ze ooit in een wachtrij stonden. Dit gebeurde omdat de tijd die bespaard werd op het verwerken van de lange geschiedenis, verloren ging aan de tijd die nodig was voor het genereren van de samenvatting en de extra arbeid die de agent verrichtte.

De studie concludeert dat contextcompactie geen eenvoudige oplossing is voor langlopende taken. Het is een afweging die sterk afhangt van het specifieke model dat wordt gebruikt, de kosten van de technologie en de hoeveelheid resterend werk. De onderzoeker vond dat het simpelweg inkorten van de geschiedenis de agent vaak in verwarring brengt, waardoor hij werk herhaalt dat hij al heeft gedaan. Om deze strategie te laten werken, moeten systemen zorgvuldig worden ontworpen om de meest recente stappen te bewaren en ervoor te zorgen dat de agent niet de neiging heeft om zijn eigen geschiedenis dubbel te controleren. Totdat aan deze voorwaarden is voldaan, blijft het behouden van de volledige geschiedenis, ondanks de kosten, vaak de meer betrouwbare en soms zelfs de goedkopere weg voor agenten die langdurige, complexe problemen aanpakken.