Stel je voor dat je praat met een superintelligente robotassistent die probeert een enorme, meerstapsige puzzel op te lossen. Om zijn werk te kunnen doen, moet de robot alles onthouden wat er tot nu toe is gebeurd: de aanwijzingen die hij heeft gevonden, de zetten die hij heeft gemaakt, de fouten die hij heeft gecorrigeerd en de doelen die hij heeft gesteld. In de wereld van kunstmatige intelligentie wordt dit geheugen "context" genoemd. Maar hier is het addertje onder het gras: robots hebben een beperkte "hersengrootte" (een contextvenster). Als het verhaal te lang wordt, begint de robot dingen te vergeten of raakt hij overweldigd. Om dit op te lossen, gebruiken wetenschappers "compressie", wat er eigenlijk op neerkomt dat de robot wordt gevraagd om een korte samenvatting van zijn lange avontuur te schrijven, zodat het hele verhaal weer in zijn brein past.

Lange tijd namen mensen aan dat als je maar de belangrijkste feiten in die samenvatting zou houden, de robot net zo slim zou zijn als wanneer hij het hele verhaal had gelezen. Maar deze nieuwe studie suggereert dat dat niet helemaal waar is. Het blijkt dat het samenvatten van de reis van een robot lijkt op het navigeren door een stad met alleen een kaart van de landmerken die je al gepasseerd hebt, zonder precies te weten welke straat je zojuist bent ingeslagen. De robot weet misschien wat hij heeft gedaan, maar hij verliest zijn gevoel van waar hij op dit moment is, wat ertoe leidt dat hij in de war raakt, stappen herhaalt of het opgeeft. Dit papier onderzoekt waarom dat gebeurt en probeert een betere manier te bouwen om die samenvattingen te schrijven, zodat de robot op koers blijft.

---

Het Probleem: Wanneer Samenvattingen Robots Hun Plaats Doen Vergeten

De onderzoekers, die werkten met AI-agenten die softwareapplicaties gebruiken, ontdekten een verraderlijk probleem met de manier waarop deze robots lange taken afhandelen. Wanneer het geheugen van een robot te vol raakt, gooit hij meestal de oudste delen van het gesprek weg om ruimte te maken voor nieuwe. Soms vervangt hij, in plaats van alleen oude tekst te verwijderen, de hele geschiedenis door een nette, gecondenseerde samenvatting.

Het team kwam tot de conclusie dat hoewel deze samenvattingen op papier geweldig klinken, ze het gedrag van de robot in werkelijkheid veel instabieler maken. Het is alsoals het lezen van een boek waarbij de auteur plotseling naar het midden van een hoofdstuk springt en zegt: "En toen was de held gelukkig." Je weet dat de held gelukkig was, maar je weet niet waarom of wat er vlak voor dat moment gebeurde. Hierdoor begint de robot zijn "lokale positie" te verliezen. Hij kan denken dat hij een taak moet uitvoeren die hij al heeft voltooid, of hij kan vastlopen omdat hij de specifieke staat van de wereld die hij achterliet, niet meer kan herinneren.

In hun experimenten zagen ze dat wanneer robots deze samenvattingen gebruikten, ze begonnen met "regressieve exploratie". Dit is een chique manier om te zeggen dat de robot probeert dingen opnieuw te doen die hij al heeft gedaan, of dat hij geblokkeerd raakt omdat hij een cruciaal detail is vergeten. Nog erger was dat de robot onbetrouwbaar werd. Als je hem twee keer dezelfde puzzel liet oplossen, kon hij de eerste keer slagen, maar de tweede keer falen, simpelweg omdat de samenvatting hem een beetje in de war bracht over waar hij zich bevond. De studie toonde aan dat dit niet alleen ging over het verliezen van feiten; het ging over het verliezen van de flow van de actie.

De Oplossing: TRACE en de "Grens"-test

Om dit op te lossen, hebben de onderzoekers een nieuw framework uitgevonden genaamd TRACE. Zie TRACE als een strenge redacteur die niet alleen controleert of een samenvatting goed klinkt, maar ook echt test of de samenvatting werkt in de praktijk.

Zo werkt TRACE, met behulp van een eenvoudige analogie: Stel je voor dat je een hond traint om een bal te halen.

1. De Oude Manier: Je zou aan het einde van de dag naar de hond kijken en zeggen: "Goed gedaan als hij de bal heeft gehaald." Maar wat als de hond halverwege de weg verdwaald is? Dat zou je dan niet weten.
2. De TRACE-Manier: Elke keer als je stopt om het pad van de hond samen te vatten, pauzeer je de film. Je spoelt terug naar de exacte plek waar je stopte. Vervolgens draai je twee parallelle films:
   • Film A (De Controle): De hond gaat verder met het volledige, onbewerkte geheugen van het pad.
   • Film B (De Test): De hond gaat verder, maar deze keer heeft hij alleen de nieuwe samenvatting die je zojuist hebt geschreven.

TRACE houdt beide films in de gaten. Als de hond in Film B in cirkels begint te rennen, tegen een muur blaft of probeert een bal te halen die al in de mand zit, weet TRACE dat de samenvatting slecht is. Het meet precies hoeveel "extra werk" of "vastgelopen gedrag" de samenvatting heeft veroorzaakt.

Door deze methode te gebruiken, raadt TRACE niet alleen wat een goede samenvatting is. Het gebruikt een "verifier" om verschillende versies van de samenvatting te vergelijken en kiest de versie die de robot vooruit helpt zonder in de war te raken. Het is als een coach die zegt: "Oké, deze samenvatting zorgde ervoor dat de robot een deur probeerde te openen die al open stond. Laten we de samenvatting herschrijven naar: 'Deur is open', in plaats van alleen 'We zijn in de gang'."

De Resultaten: Slimere Robots, Minder Fouten

Het team testte deze nieuwe methode op een benchmark genaamd AppWorld, wat een soort videogame is waarin de robot verschillende apps moet gebruiken (zoals een telefoon, een muziekspeler of een bank) om taken te voltooien. Ze vergeleken hun nieuwe TRACE-methode met andere populaire manieren om het geheugen te comprimeren.

De resultaten waren veelbelovend. De robots die de door TRACE-geoptimaliseerde samenvattingen gebruikten:

• Losten meer taken op: Ze slaagden vaker dan robots die standaard samenvattingen of simpelweg het verwijderen van oude tekst gebruikten.
• Waren betrouwbaarder: Als je de robot de taak twee keer vroeg, was hij veel eerder in staat om beide keren te slagen, in plaats van de tweede keer te falen door verwarring.
• Bleven efficiënt: Ze hadden geen extra stappen nodig om hun eigen fouten te herstellen.

Een van de meest interessante bevindingen was dat de "regels" voor het schrijven van deze samenvattingen, die het TRACE-systeem leerde met behulp van één specifief robotmodel, ook goed werkten wanneer ze aan een ander robotmodel werden gegeven. Dit suggereert dat de methode een universele waarheid leert over hoe je het geheugen van een robot nuttig houdt, in plaats van alleen de specifieke eigenaardigheden van één robot te onthouden.

Wat dit betekent voor de toekomst

Het artikel beweert niet dat het probleem van het langetermijngeheugen voor robots voor altijd is opgelost. Sterker nog, de onderzoekers geven voorzichtig aan dat hoewel TRACE beter is dan wat we nu hebben, het nog steeds niet perfect is. Er is nog steeds een kloof tussen het gebruik van een samenvatting en het gebruik van de volledige, originele geschiedenis. Echter, deze studie is een grote stap voorwaarts omdat het de manier waarop we het probleem benaderen verandert.

In plaats van alleen te vragen: "Houdt deze samenvatting de belangrijke feiten vast?", weten we nu dat we ook moeten vragen: "Houdt deze samenvatting het gevoel van de robot over waar hij nú is vast?". Door de focus te leggen op het moment waarop een samenvatting wordt gemaakt en te testen hoe dit de allereerste volgende stap beïnvloedt, biedt het TRACE-framework een nieuwe, betrouwbaardere manier om onze AI-assistenten te helpen bij het afleggen van lange, complexe avonturen zonder de weg kwijt te raken. Het is een herinnering dat voor een robot onthouden wat er is gebeurd belangrijk is, maar onthouden waar hij zich in het verhaal bevindt degene is die hem echt vooruit helpt.