A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

Stel je een digitale assistent voor die in je broekzak leeft, een naar wie je elke dag vragen stelt. Om deze assistent echt nuttig te maken, moet hij meer doen dan alleen feiten over de wereld kennen; hij moet de specifieke geschiedenis van jouw gesprekken onthouden. Hij moet zich herinneren dat je hem vorige week vertelde dat de naam van je hond Toby is, maar dat je jezelf deze week corrigeerde door te zeggen dat je eigenlijk twee honden hebt, Toby en Luna. Het moet die verandering kunnen vasthouden zonder in de war te raken, en hij moet weten wanneer hij "Ik weet het niet" moet zeggen als je hem iets vraagt waarvan hij nog nooit heeft gehoord. Dit is de uitdaging om een machine te bouwen die continu leert zonder te vergeten wat hij al weet, een probleem dat wetenschappers die werken aan kunstmatige intelligentie al lang bezighoudt.

De kern van de moeilijkheid ligt in de manier waarop deze computerprogramma's informatie opslaan. Traditioneel, wanneer een model iets nieuws leert, moet het zijn interne geheugen herschrijven, wat er vaak toe leidt dat het per ongeluk oude herinneringen wist. Dit is als proberen een nieuwe aantekening in een schrift te schrijven door over een oude heen te krabbelen; de nieuwe informatie komt er wel, maar de oude gaat verloren. Andere methoden proberen een aparte lijst met feiten buiten het hoofdgeheugen bij te houden, maar naarmate die lijst groeit, wordt het systeem traag en duur in gebruik. Onderzoekers wilden een manier vinden voor een bevroren computermodel — een model dat zijn kernstructuur niet verandert — om honderden feiten te onthouden, deze te corrigeren wanneer ze veranderen, en nog steeds te weten wanneer het onwetendheid moet toegeven, en dat alles zonder dat het trager wordt naarmate de geschiedenis langer wordt.

Een onderzoeker genaamd Maximiliano Speranza pakte dit aan door een tweeledig systeem te testen op een klein, bevroren taalmodel. Het eerste deel is een "logboek", wat een extern verslag is dat elk feit opslaat samen met de versiegeschiedenis. Dit logboek werkt als een snelle referentiekaart die het model kan raadplegen wanneer het de nieuwste versie van een verhaal nodig heeft. Het tweede deel is een proces dat "slapen" wordt genoemd, wat periodiek plaatsvindt. Tijdens deze slaapcycli neemt het model de meest recente feiten uit het logboek en oefent deze, waarbij het ze langzaam verplaatst naar een klein, aanpasbaar geheugendeel dat aan het hoofdmodel is gekoppeld. Deze consolidatie zorgt ervoor dat recente herinneringen deel worden van de permanente kennis van het model, zodat het niet voor altijd op het logboek hoeft te vertrouwen.

Het experiment bestond uit een reeks van acht weken, waarin het model elke week 100 nieuwe feiten leerde. De sleutel tot het laten werken hiervan was niet alleen het logboek of de slaapcycli alleen, maar een specifieke techniek die tijdens de slaap werd gebruikt. Het model moest de feiten die het in voorgaande weken had geleerd herhalen, door ze te oefenen naast de nieuwe informatie. Deze herhaling was cruciaal. Wanneer de onderzoekers deze herhalingsstap verwijderden, vergat het model alles wat het in de eerste week had geleerd bijna onmiddellijk, waarbij de nauwkeurigheid in één sessie daalde van bijna perfect naar bijna nul. De herhaling fungeerde als een lijm die de oude herinneringen op hun plaats hield terwijl er nieuwe werden toegevoegd.

De resultaten toonden aan dat deze methode bijzonder effectief was in het voorkomen van vergeten. Na acht weken van het leren van nieuwe feiten herinnerde het model zich de feiten van de allereerste week nog steeds met een nauwkeurigheid tussen de 88 en 97 procent. In tegenstelling hiermee faalden andere bestaande methoden die proberen het geheugen van het model direct bij te werken zonder dit slaap-en-herhaalproces, hopeloos. Die methoden behielden slechts 1 tot 10 procent van de feiten van de eerste week tegen de achtste week, en erger nog, ze beschadigden het vermogen van het model om andere taken uit te voeren waarvoor het nooit was aangepast. De nieuwe aanpak hield de andere vaardigheden van het model echter intact, wat bewees dat het nieuwe dingen kon leren zonder te breken wat het al wist.

Het systeem blonk ook uit in het weten wat het niet wist. Wanneer het model naar feiten werd gevraagd waarvoor het nooit is onderwezen, zei het in de meeste gevallen correct "Ik weet het niet". De onderzoekers ontdekten echter een specifieke limiet aan dit vermogen. Wanneer het model een vraag kreeg die twee dingen combineerde die het wel kende — een bekende persoon en een bekende relatie die het nog nooit eerder had gezien — verzon het soms een antwoord in plaats van onwetendheid toe te geven. Dit gebeurde in ongeveer de helft van de gevallen tegen het einde van het experiment. De onderzoekers probeerden dit te herstellen door de feiten gelijkmatiger te verspreiden, maar dat veranderde het resultaat niet. Dit suggereert dat het model de neiging heeft om te gokken wanneer het delen van een vraag herkent, zelfs als de specifieke combinatie nieuw is.

Ten slotte vergeleek de studie dit twee-kanaals systeem met een veelvoorkomend alternatief genaamd retrieval-augmented generation, dat werkt door de volledige gesprekshistorie in de prompt van het model te plakken telkens wanneer er een vraag wordt gesteld. Hoewel beide methoden een vergelijkbare nauwkeurigheid bereikten, was het nieuwe systeem veel efficiënter. Het logboeksysteem verwerkte slechts 16 woorden per vraag, terwijl de alternatieve methode honderden of zelfs duizenden woorden moest verwerken naarmate de geschiedenis groeide. Dit verschil betekent dat het nieuwe systeem snel en goedkoop blijft in gebruik, zelfs na maandenlang gebruik, terwijl de andere methode uiteindelijk te traag en te duur zou worden om praktisch te zijn.

Het werk demonstreert dat een computermodel kan worden geleerd om een lange, veranderende geschiedenis te onthouden zonder het verleden te vergeten, mits het een manier krijgt om oude feiten te herhalen terwijl het nieuwe leert. Het laat zien dat de sleutel tot continu leren niet alleen het opslaan van informatie is, maar het actief oefenen ervan op een manier die het oude versterkt terwijl het nieuwe wordt geïntegreerd. Hoewel het systeem nog steeds worstelt met een specif으로 type gokfout bij het combineren van bekende feiten, biedt het een duidelijke weg vooruit voor het bouwen van assistenten die werkelijk kunnen onthouden en leren van hun gebruikers in de loop van de tijd.