Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

Stel je een digitale assistent voor die urenlang aan één complex project kan werken, bestanden leest, tools uitvoert en met een menselijke gebruiker praat. Naarmate dit gesprek langer wordt, wordt het uiteindelijk te lang voor het geheugen van de computer om in één keer vast te houden. Om door te kunnen werken, moet het systeem de geschiedenis comprimeren, waarbij de vroege delen van de chat worden vervangen door een korte samenvatting die de belangrijkste punten vastlegt. Dit is een standaardtruc in kunstmatige intelligentie, vergelijkbaar met een mens die aantekeningen maakt om een lange vergadering te onthouden. Jarenlang hebben onderzoekers zich zorgen gemaakt dat deze samenvattingen belangrijke details zouden vergeten, waardoor de assistent het overzicht over specifieke regels of veiligheidsinstructies van een gebruiker zou verliezen. De heersende angst was dat de machine simpelweg de bal zou laten vallen.

Een nieuw onderzoek suggereert echter dat het probleem niet is dat de machine vergeet, maar dat hij te goed onthoudt. In feite onthoudt hij dingen vaak op een manier die te breed of te strikt is. De onderzoekers noemen dit "constraint inflation" (beperkingsinflatie). Dit gebeurt wanneer een samenvatting een tijdelijk, eenmalig verzoek neemt en dit verandert in een permanente regel. Bijvoorbeeld, als een gebruiker zegt: "Sla de tests over voor dit specifieke bestand omdat het internet uitstaat," dan zou een goede samenvatting noteren dat de tests voor dat ene bestand zijn overgeslagen. Een gebrekkige samenvatting zou de instructie echter kunnen registreren als: "Sla altijd tests over wanneer het internet uitstaat." De regel is er nog steeds, maar de betekenis ervan is veranderd van een tijdelijke oplossing naar een staand beleid. Deze subtiele verschuiving kan ertoe leiden dat de assistent later fouten maakt door een tijdelijke oplossing toe te passen op elke toekomstige taak.

Om te meten hoe vaak dit gebeurt, bouwden de onderzoekers een testomgeving genaamd InflateBench. Ze creëerden 240 realistische werksessies in vijf verschillende gebieden, zoals programmeren, data-analyse en kantoorwerk. In elke sessie plaatsten ze zes specifieke instructies met een bekende reikwijdte, zoals een eenmalige taak of een tijdelijke voorkeur. Vervolgens lieten ze deze sessies doorlopen via zeven verschillende methoden van gesprekssamenvatting, gebruikmakend van twee verschillende soorten taalmodellen. Het doel was om te zien of de samenvattingen de instructies intact hielden, ze volledig verloren, of ze per ongeluk uitbreidden. Ze testten ook of deze uitgebreide regels de volgende handeling van de digitale assistent daadwerkelijk veranderden.

De resultaten waren verrassend. De samenvattingen verloren bijna nooit een instructie; ze hielden er zelfs meer dan 99 procent van vast. Maar terwijl ze zelden vergaten, overdachten ze vaak te veel. Wanneer het systeem een vrije samenvatting gebruikte, blafte het ongeveer 12 tot 14 procent van de in aanmerking komende items op. Wanneer het een gestructureerde sjabloon gebruikte met specifieke secties voor regels en voorkeuren, steeg dat aantal naar bijna 20 procent. De meest voorkomende fout was het veranderen van een voorkeur in een vereiste, of het behandelen van een eenmalige taak als een permanente regel. Bijvoorbeeld, een verzoek om voor de huidige klus een specifieke tool te gebruiken, werd vaak herschreven als een regel dat de tool altijd gebruikt moet worden.

De studie testte ook twee populaire oplossingen die ontworpen waren om het verlies van instructies te voorkomen. Eén methode hield in dat regels werden geëxtraheerd naar een aparte lijst, en de andere methode was het "pinnen" van de regels zodat ze in elke samenvatting verschenen. De onderzoekers kwamen tot de conclusie dat deze oplossingen niet hielpen, omdat de instructies niet werden verloren in de eerste plaats. In plaats daarvan maakten deze methoden het probleem van inflatie veel erger. De "gepinde" methode zorgde er in sommige gevallen zelfs voor dat de inflatie omhoog schoot naar meer dan 50 procent. Door het systeem te dwingen de regels letterlijk te herhalen, verloren de samenvattingen de context die aantoonde dat die regels tijdelijk waren. Het systeem kon niet langer het verschil zien tussen een staande regel en een eenmalig verzoek.

Ten slotte controleerden de onderzoekers of deze opgeblazen regels het gedrag van de digitale assistent daadwerkelijk veranderden. Ze kwamen tot de conclusie dat dit wel degelijk zo was. Wanneer de samenvatting een opgeblazen regel bevatte, was de assistent aanzienlijk eerder geneigd die regel toe te passen op toekomstige taken waar dat niet bij hoorde. Hoewel de assistenten de opgeblazen regels niet in elk geval volgden, was de foutmarge hoog genoeg om een serieuze zorg te vormen. De studie concludeert dat de huidige manier van het afhandelen van lange gesprekken moet veranderen. Het simpelweg behouden van de regels is niet genoeg; het systeem moet ook bijhouden hoe lang die regels moeten duren. Zonder dit loopt de digitale assistent het risico een rigide werker te worden die oude, tijdelijke instructies volgt alsof het eeuwige wetten zijn.