A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

Stellen Sie sich einen digitalen Assistenten vor, der in Ihrer Tasche lebt, einen, den Sie jeden Tag nach Fragen stellen. Damit dieser Assistent wirklich nützlich ist, muss er mehr tun, als nur Fakten über die Welt zu kennen; er muss sich an die spezifische Geschichte Ihrer Gespräche erinnern können. Er muss sich erinnern können, dass Sie ihm letzte Woche gesagt haben, dass der Name Ihres Hundes Toby ist, aber dass Sie sich diese Woche korrigiert haben, indem Sie sagten, dass Sie eigentlich zwei Hunde haben, Toby und Luna. Er muss diese Änderung festhalten, ohne verwirrt zu werden, und er muss wissen, wann er „Ich weiß es nicht“ sagen muss, wenn Sie ihn nach etwas fragen, von dem er noch nie gehört hat. Dies ist die Herausforderung, eine Maschine zu bauen, die kontinuierlich lernt, ohne das zu vergessen, was sie bereits weiß – ein Problem, das Wissenschaftler, die an künstlicher Intelligenz arbeiten, schon lange vor die Füße wirft.

Die Kernschwierigkeit liegt darin, wie diese Computerprogramme Informationen speichern. Traditionell muss ein Modell, wenn es etwas Neues lernt, seinen internen Speicher umschreiben, was oft dazu führt, dass es versehentlich alte Erinnerungen löscht. Das ist so, als würde man versuchen, eine neue Notiz in ein Notizbuch zu schreiben, indem man über eine alte schreibt; die neue Information kommt zwar hinein, aber die alte geht verloren. Andere Methoden versuchen, eine separate Liste von Fakten außerhalb des Hauptspeichers zu führen, aber da diese Liste immer länger wird, wird das System langsam und teuer in der Anwendung. Forscher wollten einen Weg finden, wie ein „eingefrorenes“ Computermodell – eines, das seine Grundstruktur nicht ändert – hunderte von Fakten speichern, diese korrigieren, wenn sie sich ändern, und dennoch wissen kann, wann es Unwissenheit eingestehen muss, ohne dass es langsamer wird, je länger die Historie wird.

Ein Forscher namens Maximiliano Speranza nahm sich dieser Aufgabe an, indem er ein zweiteiliges System an einem kleinen, eingefrorenen Sprachmodell testete. Der erste Teil ist ein „Logbuch“, ein externes Protokoll, das jeden Fakt zusammen mit seiner Versionshistorie speichert. Dieses Logbuch fungiert wie ein schnelles Referenzblatt, das das Modell jederzeit prüfen kann, wenn es die neueste Version einer Geschichte benötigt. Der zweite Teil ist ein Prozess namens „Schlaf“, der periodisch stattfindet. Während dieser Schlafzyklen nimmt das Modell die aktuellsten Fakten aus dem Logbuch und übt sie, wodurch es diese langsam in eine kleine, anpassbare Gedächtniskomponente integriert, die am Hauptmodell angehängt ist. Diese Konsolidierung stellt sicher, dass die jüngsten Erinnerungen Teil des permanenten Wissens des Modells werden, sodass es sich nicht ewig auf das Logbuch verlassen muss.

Das Experiment umfasste eine Serie von acht Wochen, in denen das Modell jede Woche 100 neue Fakten lernte. Der Schlüssel zum Erfolg war nicht nur das Logbuch oder die Schlafzyklen allein, sondern eine spezifische Technik, die während des Schlafs angewendet wurde. Das Modell wurde angewiesen, die Fakten, die es in den vorangegangenen Wochen gelernt hatte, erneut zu wiederholen, also sie zusammen mit den neuen Informationen zu üben. Dieses Wiederholen (Replay) war entscheidend. Als die Forscher diesen Wiederholungsschritt entfernten, vergaß das Modell alles, was es in der ersten Woche gelernt hatte, fast augenblicklich, wobei die Genauigkeit in einer einzigen Sitzung von nahezu perfekt auf fast null sank. Das Wiederholen wirkte wie ein Kleber, der die alten Erinnerungen an ihrem Platz hielt, während neue hinzugefügt wurden.

Die Ergebnisse zeigten, dass diese Methode äußerst effektiv war, um Vergessen zu verhindern. Nach acht Wochen des Lernens neuer Fakten erinnerte sich das Modell noch immer an die Fakten aus der allerersten Woche mit einer Genauigkeit zwischen 88 und 97 Prozent. Im Gegensatz dazu scheiterten andere bestehende Methoden, die versuchen, den Speicher des Modells direkt zu aktualisieren, ohne diesen Schlaf-und-Wiederholungs-Prozess, kläglich. Diese Methoden behielten nur 1 bis 10 Prozent der Fakten der ersten Woche bis zur achten Woche bei und, schlimmer noch, sie beschädigten die Fähigkeit des Modells, andere Aufgaben auszuführen, für die es nie darauf programmiert worden war. Der neue Ansatz hingegen hielt die anderen Fähigkeiten des Modells intakt, was bewies, dass es neue Dinge lernen kann, ohne das zu brechen, was es bereits wusste.

Das System zeichnete sich auch dadurch aus, zu wissen, was es nicht wusste. Wenn es nach Fakten gefragt wurde, die ihm nie beigebracht worden waren, sagte das Modell meistens korrekt „Ich weiß es nicht“. Die Forscher fanden jedoch eine spezifische Grenze dieser Fähigkeit. Wenn das Modell nach einer Frage gefragt wurde, die zwei Dinge kombinierte, die es zwar kannte – eine bekannte Person und eine bekannte Beziehung, die es so noch nie gesehen hatte –, erfand es manchmal eine Antwort, anstatt Unwissenheit zuzugeben. Dies geschah gegen Ende des Experiments in etwa der Hälfte der Fälle. Die Forscher versuchten dies zu beheben, indem sie die Fakten gleichmäßiger verteilten, aber das änderte das Ergebnis nicht. Dies deutet darauf hin, dass das Modell dazu neigt, zu raten, wenn es Teile der Frage erkennt, selbst wenn die spezifische Kombination neu ist.

Schließlich verglich die Studie dieses Zwei-Kanal-Systems mit einer gängigen Alternative namens „Retrieval-Augmented Generation“, bei der die gesamte Gesprächshistorie bei jeder Anfrage in den Prompt des Modells kopiert wird. Während beide Methoden eine ähnliche Genauigkeit erreichten, war das neue System wesentlich effizienter. Das Logbuch-System verarbeitete nur 16 Wörter pro Frage, während die alternative Methode hunderte oder sogar tausende Wörter verarbeiten musste, sobald die Historie wuchs. Dieser Unterschied bedeutet, dass das neue System auch nach Monaten der Nutzung schnell und kostengünstig bleibt, während die andere Methode schließlich zu langsam und zu teuer wäre, um praktikabel zu sein.

Die Arbeit zeigt, dass ein Computermodell gelehrt werden kann, eine lange, sich verändernde Historie zu behalten, ohne die Vergangenheit zu vergessen, sofern es eine Möglichkeit erhält, alte Fakten zu wiederholen, während es neue lernt. Es zeigt, dass der Schlüssel zum kontinuierlichen Lernen nicht nur darin besteht, Informationen zu speichern, sondern sie aktiv zu üben, um das Alte zu verstärken, während das Neue integriert wird. Obwohl das System immer noch mit einer bestimmten Art von Ratefehlern kämpft, wenn es bekannte Fakten kombiniert, bietet es einen klaren Weg nach vorn für die Entwicklung von Assistenten, die tatsächlich in der Lage sind, sich über die Zeit hinweg an ihre Nutzer zu erinnern und von ihnen zu lernen.