Stel je een digitale assistent voor die hele bibliotheken kan lezen, complexe software kan schrijven of een onderzoeksproject over weken heen kan beheren. Om dit te doen, houdt de assistent een voortdurend logboek bij van alles wat hij heeft gezien en gedaan, een geschiedenis die langer wordt bij elke actie. Deze geschiedenis wordt opgeslagen in een tijdelijke gehele ruimte die een contextvenster wordt genoemd. Hoewel deze vensters enorm zijn en honderdduizenden woorden kunnen bevatten, zijn ze niet oneindig. Wanneer een taak te lang voortduurt, raakt het geheugen vol en loopt de assistent het risico de belangrijkste details van het begin te vergeten. Om dit op te lossen, gebruiken ingenieurs een techniek genaamd samenvatting (summarization). Het idee is simpel: voordat het geheugen te vol raakt, condenseert de assistent zijn lange geschiedenis tot een kortere, compactere versie, waarbij de ruis wordt weggegooid terwijl het signaal behouden blijft, en vervolgt daarna zijn werk vanuit die samenvatting. Het is een digitale vorm van het maken van aantekeningen om een lang gesprek te onthouden.

Echter, een nieuwe studie van onderzoekers aan de Pennsylvania State University suggereert dat dit vangnet op een subtiele maar cruciale manier faalt. De onderzoekers onderzochten of deze kunstmatige intelligentiemodellen daadwerkelijk verteld konden worden om meer details te bewaren wanneer ze samenvatten. Ze wilden weten of, naarmate de geschiedenis langer wordt, de samenvatting ook langer zou kunnen worden, om zo een constante fractie van de oorspronkelijke informatie te behouden. In plaats daarvan ontdekten ze dat de modellen een harde limiet hebben. Hoe lang het verhaal ook wordt, de samenvatting blijft ongeveer dezelfde grootte behouden, waardoor de hoeveelheid behouden informatie krimpt tot een fractie. Zelfs wanneer mensen de computer expliciet vragen om een langere samenvatting te schrijven, weigert de computer eraan te voldoen en houdt hij vast aan zijn eigen korte gewoonten. De onderzoekers ontdekten dat de enige manier om dit gedrag te veranderen niet is door vriendelijk te vragen, maar door de computer te hertrainen op voorbeelden van langere samenvattingen.

Het team testte dit gedrag bij elf verschillende grote taalmodellen, variërend van algemene assistenten tot gespecialiseerde tools voor coderen en redeneren. Ze voerden deze modellen inputs die groeiden van slechts duizend woorden tot honderdduizend woorden, gebruikmakend van zowel lange documenten als real-world logs van een agent die programmeerproblemen oplost. In een perfect systeem zou, als de input honderd keer groter wordt, de samenvatting evenredig moeten groeien om hetzelfde niveau van detail te behouden. In plaats daarvan gedroegen de modellen zich alsof ze in een sleur zaten. Terwijl de input opzwol tot honderdduizend woorden, groeiden de samenvattingen nauwelijks. Sterker nog, op die enorme schaal overleefde minder dan één procent van de oorspronkelijke input in de samenvatting. Voor een document van die omvang betekent dit dat voor elke honderd zinnen in de originele tekst, er slechts ongeveer één zin in de uiteindelijke samenvatting terechtkwam. De rest ging verloren. Dit patroon hield stand, ongeacht of het model ontworpen was voor het schrijven van code, algemene conversatie of complexe redeneringen. De grootte van het model zelf hielp niet; zelfs de grootste, krachtigste modellen produceerden samenvattingen die veel te kort waren voor de taak.

De onderzoekers probeerden het vervolgens met een directere aanpak. Ze vermoedden dat de modellen simpelweg een duidelijkere instructie nodig hadden. Ze namen dezelfde enorme inputs en voegden specifieke commando's toe aan de prompt, waarbij ze de modellen opdragen om samenvattingen van een bepaalde lengte te schrijven, gemeten in woorden, tekens of tokens. Ze vroegen om samenvattingen die een kwart, een derde of zelfs de helft van de omvang van de originele tekst waren. De resultaten waren frustrerend consistent. Hoewel de modellen iets langere samenvattingen schreven wanneer daarom werd gevraagd, stuitten ze zeer snel op een hard plafond. Als de onderzoekers vroegen om een samenvatting van zestien duizend woorden, stopten de modellen met schrijven na enkele duizend, waarbij ze de rest van de aanvraag negeerden. De modellen leken niet in staat om hun output uit te rekken om aan de vraag te voldoen, ongeacht hoe de lengte werd gemeten of hoe de aanvraag werd geformuleerd. De instructies zorgden voor een kleine stijging in lengte, maar bij lange na niet genoeg om het verlies van cruciale details te voorkomen.

Dit leidde de onderzoekers tot een verrassende conclusie: het probleem ligt niet in de prompt of de input, maar in de trainingsdata. Om dit te bewijzen, namen ze twee van de modellen en gaven ze een lichte hertraining, of fine-tuning, met enkel samenvattingen van verschillende lengtes. Eén groep werd getraind op zeer korte samenvattingen, en een andere op veel langere samenvattingen. Wanneer ze deze hertrainde modellen met dezelfde neutrale instructies testten, veranderde de resultaten drastisch. Het model dat getraind was op korte samenvattingen schreef nog kortere teksten, terwijl het model dat getraind was op lange samenvattingen aanzienlijk langere teksten schreef, zelfs toen de prompt niets over lengte vermeldde. Dit suggereert dat de modellen een standaard gewoonte van beknoptheid hebben geleerd uit hun trainingsdata, een gewoonte die elke verzoek daartoe overrulet. De lengte van de samenvatting is geen flexibele berekening gebaseerd op de omvang van de input; het is een rigide gedrag dat in het DNA van het model is ingebakken.

De implicaties voor autonome agenten zijn aanzienlijk. Deze systemen vertrouwen op samenvatting om langdurige taken te volbrengen, maar als de samenvatting te kort is, gaat vitale informatie zoals een bestandspad, een mislukte poging of een specifieke beperking voor altijd verloren. Eenmaal verloren, kan de agent dit niet meer herstellen en moet hij tijd verspillen aan het herontdekken ervan of verdergaan in het duister. De studie laat zien dat het simpelweg vragen aan een agent om "zich meer te herinneren" door een langere samenvatting te verzoeken, geen betrouwbare oplossing is. De oplossing ligt niet in betere prompting, maar in het veranderen van de data die wordt gebruikt om de samenvatters te trainen. Totdat de trainingsdata deze modellen leert om meer detail te bewaren naarmate de context groeit, zullen de digitale assistenten waarop we vertrouwen voor taken met een lange horizon, hun geheugen blijven verliezen, één kleine, onveranderlijke samenvatting tegelijk.