In de wereld van kunstmatige intelligentie fungeert een specifiek soort software genaamd een agent als een digitale werker. Deze agenten chatten niet alleen; ze voeren taken uit door hulpmiddelen te gebruiken, bestanden te lezen en commando's uit te voeren. Hiervoor vertrouwen ze op een groot taalmodel, een krachtig computerprogramma dat menselijke taal begrijpt en genereert. Deze modellen hebben echter een geheugenlimiet. Elke keer dat een agent een stap zet, moet de volledige geschiedenis van het gesprek terug naar het model worden gestuurd, zodat het model weet wat er tot dan toe is gebeurd. Naarmate een sessie langer wordt, met tientallen bestanden en honderden commando's, wordt deze geschiedenis enorm. Het telkens opnieuw versturen van alles is traag en duur.

Om dit op te lossen, hebben ingenieurs twee belangrijke trucs geprobeerd. De eerste is om simpelweg de oudste delen van het gesprek weg te snijden, waarbij alleen de meest recente berichten worden behouden. Dit bespaart ruimte, maar brengt het risico met zich mee dat belangrijke feiten worden verwijderd, zoals een wachtwoord of een locatie van een bestand, die de agent later nodig zou kunnen hebben. De tweede truc is om het model te vragen de oude delen samen te vatten in een korter verhaal. Dit is ook riskant, omdat de samenvatting een cruciaal detail kan missen of een nieuw detail kan verzinnen, en er is geen manier om te controleren of de samenvatting accuraat is. Beide methoden dwingen een keuze af tussen het besparen van geld en het behouden van de waarheid.

Een onderzoeker genaamd Mohammad Mosafer heeft een andere aanpak voorgesteld die weigert die keuze te maken. Hij bouwde een systeem genaamd Tessera, dat fungeert als een slimme tussenpersoon tussen de agent en het model. In plaats van oude informatie te verwijderen of te herschrijven tot een samenvatting, comprimeert Tessera het gesprek door exacte kopieën en bijna-duplicaten te vinden en te verwijderen. Het houdt de originele tekst veilig in een aparte opslagruimte en vervangt de herhaalde delen in het hoofdgesprek door kleine, precieze aanwijzers. Als de agent de oude tekst weer wil zien, kan hij erom vragen en haalt het systeem de exacte originele tekst onmiddellijk op. Deze methode stelt de agent in staat om met een veel kortere gesprekshistorie te werken zonder enige feiten te verliezen of afhankelijk te zijn van de technologie van een specifiek bedrijf.

De kern van het probleem ligt in de manier waarop deze agenten werken. Wanneer een agent een commando uitvoert, krijgt hij een resultaat. Als hij hetzelfde commando opnieuw uitvoert, krijgt hij vaak exact hetzelfde resultaat. In een lange sessie kan de agent bijvoorbeeld meerdere keren hetzelfde logbestand lezen of steeds dezelfde status controleren. Omdat de agent de hele geschiedenis elke keer opnieuw verstuurt, eindigt hij er vaak mee dat hij steeds dezelfde grote blokken tekst verstuurt. Tessera merkt deze herhaling op. Het scant de gesprekshistorie en identificeert wanneer een stuk tekst identiek is aan iets dat eerder is verzonden. In plaats van de volledige tekst opnieuw te verzenden, stuurt het een korte markering die zegt: "Dit is hetzelfde als de tekst van drie stappen geleden." Het model kan de markering nog steeds lezen en de context begrijpen, maar de hoeveelheid verzonden gegevens wordt drastisch verminderd.

Tessera gaat verder dan alleen het vinden van exacte kopieën. Het kijkt ook naar tekst die bijna hetzelfde is, zoals een logbestand dat slechts door een paar woorden is veranderd. Wanneer het deze bijna-duplicaten vindt, stuurt het een kleine notitie die alleen de wijzigingen beschrijst, in plaats van het volledige bestand. Het verwerkt ook grote blokken gegevens, zoals lange lijsten met getallen of code, door onnodige opmaak te verwijderen en alleen de essentiële structuur te behouden. Al dit gebeurt zonder een groot taalmodel te gebruiken om beslissingen te nemen. Het systeem gebruikt eenvoudige, deterministische regels, wat betekent dat het altijd hetzelfde resultaat zal produceren voor dezelfde input. Dit maakt het proces snel en betrouwbaar, en voegt slechts enkele milliseconden toe aan de tijd die nodig is om een bericht te verzenden.

Om te testen of dit systeem daadwerkelijk werkt, heeft de onderzoeker een gecontroleerde omgeving gecreëerd. Hij bouwde een generator die nep-agentsessies genereert vol realistische gegevens, zoals JSON-responses, servicelogs en commando-outputs. In deze sessies plantte hij specifieke, unieke feiten, zoals een willekeurige code of een specifieke instelling, op willekeurige posities. Hij liet de sessies vervolgens door Tessera lopen en mat hoeveel van deze geplante feiten overleefden in de gecomprimeerde geschiedenis. Hij vergeleek dit met andere methoden die simpelweg oude berichten afsnijden of alleen de meest recente berichten behouden. De resultaten waren duidelijk. Wanneer het systeem het gesprek comprimeerde tot ongeveer 29 procent van de oorspronkelijke grootte, behield het 61,8 procent van de feiten in de hoofdgeschiedenis. In contrast hiermee hielden de andere methoden, die gedwongen werden om evenveel ruimte te gebruiken, slechts ongeveer 26 tot 30 procent van de feiten over.

Het systeem bevat ook een manier om de ontbrekende informatie terug te krijgen als dat nodig is. Dit wordt een 'recall tier' genoemd. Als de agent een specifieke vraag stelt over een ouder deel van het gesprek, kan het systeem zoeken in de veilige opslag van de originele teksten en het exacte fragment terugbrengen. Wanneer deze functie wordt gebruikt, kan het systeem 99,5 procent van de feiten herstellen, zelfs als ze niet in de gecomprimeerde hoofdgeschiedenis stonden. Dit betekent dat de agent met een veel kleinere, efficiëntere geschiedenis kan werken, maar toch toegang heeft tot de volledige details wanneer dat nodig is. De onderzoekers ontdekten dat dit herstel het beste werkt wanneer de agent de context van de oude gebeurtenis onthoudt, maar het werkt nog steeds goed bij vage vragen.

De studie keek ook naar hoe verschillende soorten agenten zich gedragen. Sommige agenten, zoals die ontworpen zijn om softwarebugs te repareren, hebben de neiging om commando's te herhalen en vaak dezelfde resultaten te zien. Voor deze agenten vond het systeem dat bijna 15 procent van het gesprek uit exacte duplicaten bestond. Andere agenten, die andere modellen gebruiken, herhalen zichzelf zelden. Het systeem paste zich aan beide situaties aan, wat bewees dat het niet getuned hoeft te worden voor een specifiek type agent om te werken. Het verwijdert simpelweg wat er is, of dat nu veel herhaling of heel weinig is. De tijd die het kost om de gegevens te comprimeren is verwaarloosbaar; het voegt minder dan acht milliseconden toe per verzoek, wat veel minder is dan de tijd die het model nodig heeft om een reactie te genereren.

Een van de belangrijkste bevindingen is dat deze methode niet vereist dat men inlevert op nauwkeurigheid. In tegenstelling tot samenvatting, waarbij details verloren kunnen gaan of betekenissen kunnen veranderen, houdt Tessera elke originele byte aan tekst veilig. Als een feit uit de hoofdweergave wordt verwijderd om ruimte te besparen, is het niet weg; het is alleen verborgen achter een handvat dat op elk moment geopend kan worden. Dit maakt het systeem volledig controleerbaar. Een ingenieur kan de gecomprimeerde geschiedenis bekijken en precies weten wat er is verwijderd en waar de originele tekst te vinden is. Dit is een significante verschuiving ten opzichte van huidige methoden, die vaak vertrouwen op het model om te raden wat belangrijk is, een proces dat moeilijk te verifiëren is.

De onderzoekers testten hun systeem tegen verschillende andere manieren om geheugen te beheren. Ze ontdekten dat het simpelweg behouden van de meest recente berichten, een veelvoorkomende praktijk, de minst effectieve manier was om feiten te bewaren. Zelfs een methode die willekeurig berichten behield, presteerde beter dan het afsnijden van de oudste berichten, maar kon de precisie van Tessera nog steeds niet evenaren. De sleutel tot het succes van Tessera is dat het geen hele berichten weggooit. In plaats daarvan snijdt het het overtollige materiaal uit het binnenste van de berichten, waarbij de kop en de staart van lange teksten worden behouden en het midden wordt vervangen door een aanwijzer. Dit stelt de agent in staat om de context van het gesprek te behouden terwijl de bulk van de gegevens wordt afgestoten.

De studie onderzocht ook hoe gevoelig het systeem is voor zijn instellingen. De onderzoekers pasten de regels aan voor wat als een duplicaat telt en hoeveel recente berichten beschermd worden tegen compressie. Ze ontdekten dat het systeem robuust is. Het lichtelijk wijzigen van de regels zorgde er niet voor dat de prestaties instortten. Het systeem bespaarde consistent ongeveer 70 procent van de gegevens terwijl het de overgrote meerderheid van de belangrijke feiten behield. Deze stabiliteit suggereert dat het systeem in real-world applicaties gebruikt kan worden zonder constante aanpassingen.

Uiteindelijk toont het werk aan dat het mogelijk is om gesprekken van agenten veel korter te maken zonder de waarheid te verliezen. Door de gesprekshistorie te behandelen als een verzameling gegevens die gecomprimeerd en opgehaald kunnen worden, in plaats van een verhaal dat samengevat of ingekort moet worden, bereikt het systeem een niveau van efficiëntie dat voorheen als onmogelijk werd beschouwd zonder compromissen te sluiten. De agent kan langere, complexere taken uitvoeren zonder zonder geheugentekort te komen of te betalen voor excessieve dataoverdracht. Het systeem blijft onafhankelijk van de leverancier van een specifiek model, wat betekent dat het kan worden gebruikt met elk hulpmiddel dat de standaardtaal van deze agenten spreekt.

De onderzoekers erkennen dat hun test is uitgevoerd met synthetische gegevens, wat betekent dat de sessies door een computer zijn gegenereerd in plaats van opgenomen van echt menselijk gebruik. Ze zijn van plan om het systeem op echte agent-trajecten te testen om te zien hoe het presteert in de praktijk. Ze merken ook op dat hoewel het huidige systeem uitstekend is in het verwijderen van redundantie, het de diepere betekenis van het gesprek nog niet begrijpt. Toekomstige versies zouden lagen kunnen toevoegen die kunnen identificeren welke delen van het gesprek het belangrijkst zijn op basis van de taak. De huidige versie biedt echter een solide fundament. Het bewijst dat we met zorgvuldige engineering het volledige verslag van het werk van een agent kunnen bewaren terwijl we slechts een fractie van de gegevens versturen, waardoor gegarandeerd wordt dat geen enkel feit echt verloren gaat.