A Storage-Retrieval Gap in Parametric Knowledge Graph Memory

Große Sprachmodelle sind leistungsstarke Werkzeuge, die Fragen beantworten und Texte schreiben können, aber sie haben eine fundamentale Einschränkung: Sie wissen nur das, was sie während ihres ursprünglichen Trainings gelernt haben. Wenn ein Modell eine spezifische, aktuelle Information benötigt – wie etwa die Besetzung eines neuen Films oder die Spezifikationen einer Industriemaschine – muss ihm diese Information normalerweise in dem Moment gegeben werden, in dem er danach gefragt wird. Die Standardmethode hierfür nennt sich Retrieval-Augmented Generation. Bei diesem Prozess findet das System die relevanten Fakten aus einer Datenbank, fügt sie in das Gespräch ein und bittet das Modell, diese zu lesen und eine Antwort zu geben. Obwohl dies funktioniert, hat es zwei Nachteile. Erstens verbraucht das Einfügen großer Textmengen in das Gespräch einen begrenzten Platz, das sogenannte Kontextfenster, was die Prozesse verlangsamt und Geld kostet. Zweitens erfordert es das Senden der Rohdaten an den Computer, auf dem das Modell läuft, was ein Sicherheitsrisiko darstellen kann, wenn diese Daten sensibel oder geschützt sind.

Forscher haben eine andere Idee untersucht: Anstatt die Fakten jedes Mal in das Gespräch einzufügen, könnte man die Fakten direkt in das Gedächtnis des Modells einbauen. Stellen Sie sich das Modell als eine Bibliothek vor. Die Standardmethode besteht darin, dem Bibliothekar jedes Mal ein Buch in die Hand zu drücken, wenn eine Frage gestellt wird. Der neue Ansatz fragt, ob wir für jedes einzelne Thema ein spezifisches Bücherregal dauerhaft in der Bibliothek installieren können, sodass der Bibliothekar das richtige Regal herausziehen und daraus lesen kann, ohne das Buch selbst jemals gesehen zu haben. Diese Arbeit untersucht, ob dies für Wissensgraphen möglich ist, also strukturierte Karten von Fakten über Dinge wie Filme, Personen und deren Beziehungen. Die Forscher wollten wissen, ob sie einen kleinen Teil dieser Karte nehmen, ihn in einen winzigen Satz von Anpassungen an den internen Einstellungen des Modells umwandeln und dort speichern können. Wäre dies erfolgreich, könnte das Modell Fragen zu einem bestimmten Film beantworten, ohne dass ihm die Daten des Films jemals gezeigt wurden, indem es einfach die „richtige“ interne Anpassung „trägt“.

Das Team testete diese Idee anhand eines Datensatzes mit Filminformationen. Sie nahmen die Details einzelner Filme – wie Regisseur, Erscheinungsjahr und Schauspieler – und wandelten diese Fakten in Text um. Dann verwendeten sie eine Technik namens Low-Rank Adaptation, um einen winzigen, spezialisierten Satz von Gewichten für jeden Film zu trainieren. Betrachten Sie diese Gewichte als einen einzigartigen, mikroskopischen Fingerabdruck, der das Verhalten des Modells gerade so weit verändert, dass es die Details dieses spezifischen Films kennt. Sie erstellten eine Bank dieser Fingerabdrücke, einen für jeden der 150 verschiedenen Filme. Der entscheidende Test bestand darin, zu sehen, ob das Modell Fragen zu einem Film beantworten kann, wenn es den Fingerabdruck dieses Films trägt, ohne dass ihm der Text des Films oder andere Informationen gezeigt wurden.

Die Ergebnisse zeigten, dass diese Methode zur Speicherung von Wissen funktioniert. Wenn das Modell den korreken Fingerabdruck für einen Film erhielt, konnte es Fragen zu diesem Film mit hoher Genauigkeit beantworten, obwohl es die Daten des Films während des Tests nie gesehen hatte. Tatsächlich sprang die Leistung des Modells bei Fragen zu Einzel-Fakten wie dem Regisseur oder dem Erscheinungsjahr von nahezu Null auf eine starke Erfolgsquote. Dies bewies, dass das Modell die Fakten tatsächlich gelernt und in seiner eigenen Struktur gespeichert hatte, anstatt nur zu lernen, sie zu lesen, wenn sie präsent waren. Das Wissen war spezifisch für den Film; wenn das Modell den Fingerabdruck für einen anderen Film erhielt, konnte es die Frage nicht beantworten, und wenn es einen zufälligen, nicht trainierten Fingerabdruck erhielt, schnitt es sogar schlechter ab als zuvor. Dies bestätigte, dass die Information tatsächlich in der spezifischen Anpassung für diese Entität festgeschrieben war.

Dennoch deckte die Studie eine erhebliche Hürde auf. Während das Wissen gespeichert werden konnte, konnte es nicht ohne Weiteres gefunden werden. Die Forscher versuchten herauszufinden, welcher Fingerabdruck zu verwenden ist, indem sie nur die Frage betrachteten. Sie versuchten, die Frage basierend auf der textuellen Bedeutung mit dem ähnlichsten Film abzugleichen, und sie versuchten auch, die Frage basierend auf der mathematischen Form mit dem ähnlichsten Fingerabdruck abzugleichen. Beide Methoden scheiterten vollständig. Das System schnitt nicht besser ab als beim bloßen Raten. Der Grund ist, dass das Wissen lokal gespeichert ist und nicht übertragen wird. Selbst wenn zwei Filme sehr ähnlich sind – vielleicht wurden sie vom gleichen Regisseur gemacht oder gehören zum gleichen Genre –, sind ihre Fingerabdrücke völlig verschieden. Der Fingerabdruck eines Films enthält nicht die Antwort auf eine Frage über den anderen, selbst wenn die Filme enge Nachbarn in der Welt des Kinos sind. Der mathematische Abstand zwischen den Fingerabdrücken spiegelt zwar wider, wie ähnlich sich die Filme sind, aber er verrät nicht, welcher Fingerabdruck die Antwort auf eine bestimmte Frage enthält.

Dies schafft eine Lücke zwischen Speicherung und Abruf. Die Forscher haben bewiesen, dass man Wissen in den Gewichten des Modells speichern kann, ohne den Konversationsraum zu beanspruchen, aber man hat derzeit keine Möglichkeit, die richtige Speichereinheit automatisch zu finden, ohne bereits zu wissen, welche man benötigt. In einem realen System würde man immer noch ein separates Werkzeug benötigen, um den korrekten Filmtitel nachzuschlagen und den richtigen Fingerabdruck auszuwählen, aber sobald dies geschehen ist, kann das Modell antworten, ohne jemals wieder die Rohdaten gesehen zu haben. Dies bietet einen potenziellen Vorteil für die Privatsphäre und Effizienz, da die Rohdaten während des Gesprächs niemals an das Modell gesendet werden müssen. Die Methode ist jedoch keine magische Lösung für alle Probleme. Sie erfordert einen einmaligen Aufwand, um die Fingerabdrücke zu erstellen, und der Speicherplatz, der für die Fingerabdrücke benötigt wird, ist viel größer als der Text, den sie repräsentieren. Sie ist am nützlichsten für stabile Datensätze, nach denen häufig gefragt wird, und weniger für ständig wechselnde Informationen.

Die Studie kommt zu dem Schluss, dass wir zwar erfolgreich einen Wissensgraphen in ein parametrisches Gedächtnis umwandeln können, die Herausforderung, die richtigen Teile des Gedächtnisses automatisch auszuwählen und zu kombinieren, für komplexe Fragen jedoch weiterhin ungelöst bleibt. Für einfache Fragen zu einem einzelnen Objekt funktioniert die Methode gut, aber für Fragen, die eine Verknüpfung von Informationen über verschiedene Objekte hinweg erfordern, kann das System noch nicht entscheiden, welche Erinnerungen kombiniert werden müssen. Die Forscher schlagen vor, dass der nächste Schritt in der Entwicklung eines Lernmechanismus liegt, der entscheiden kann, welche Fingerabdrücke zu verwenden und wie sie zu mischen sind, anstatt sich auf einfache Ähnlichkeit zu verlassen. Bis dies gelöst ist, bleibt das Versprechen eines Modells, das seine eigene Bibliothek an Fakten mit sich trägt, nur halb verwirklicht: Die Bücher stehen in den Regalen, aber der Bibliothekar benötigt immer noch ein manuelles Register, um sie zu finden.