QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents
QUMem ist ein strukturiertes Speicherframework, das die Personalisierung von LLM-Agenten verbessert, indem es Interaktionsverläufe in semantische Episoden segmentiert, diese in unabhängig abrufbare Speichertypen zerlegt und einen Multi-Agenten-Abrufprozess einsetzt, um zeitlich und kontextuell valide Benutzerzustände zu inferieren, wodurch es eine State-of-the-Art-Leistung bei Personalisierungs-Benchmarks erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Computerprogrammen entstanden, die mehr können als nur Fragen zu beantworten; sie können als beständige Assistenten fungieren, die sich vergangene Gespräche merken und ihr Verhalten im Laufe der Zeit anpassen. Diese Systeme, bekannt als Agenten, verlassen sich auf eine Form des digitalen Gedächtnisses, um effektiv zu funktionieren. Genau wie ein menschlicher Assistent sich an die Lieblingskaffeebestellung eines Klienten erinnert oder weiß, dass sich eine Projektfrist letzte Woche verschoben hat, müssen diese Agenten Informationen aus langen Interaktionsgeschichten speichern und abrufen können. Das menschliche Gedächtnis ist jedoch kein einfaches Archiv, in dem jedes Gespräch als ein einzelner, unveränderlicher Block gespeichert wird. Stattdessen trennen wir natürlich Fakten von Gefühlen, unterscheiden zwischen einer vorübergehenden Stimmung und einer dauerhaften Vorliebe und verstehen, dass sich der Kontext eines Gesprächs im Laufe der Zeit ändert. Damit eine künstliche Intelligenz einen Menschen wirklich verstehen kann, muss sie dasselbe tun können: durch jahrelange Dialoge sieben, relevante Details vom Rauschen trennen und ein klares Bild davon rekonstruieren, wer der Nutzer im jetzigen Moment ist.
Lange Zeit haben Forscher versucht, dies zu lösen, indem sie bessere Wege entwickelten, um diese digitalen Konversationen zu speichern und zu durchsuchen. Der vorherrschende Ansatz bestand darin, das Gedächtnis wie eine Bibliothek zu behandeln, in der die Anfrage eines Nutzers als Suchbegriff dient, um die ähnlichsten Textstücke zurückzuholen. Während dies für einfache Fragen funktioniert, stößt es bei komplexen Situationen an seine Grenzen. Wenn ein Nutzer seine Meinung zu einem Thema über mehrere Wochen hinweg ändert oder wenn ein einzelnes Gespräch sowohl eine flüchtige Beschwerde als auch eine feste Regel enthält, die er befolgen möchte, geraten Standard-Systeme oft in Konflikt. Sie könnten unzusammenhängende Ereignisse vermischen oder nicht erkennen, wie eine vergangene Entscheidung mit einer aktuellen Anfrage zusammenhängt. Das Ergebnis ist ein Assistent, der sich zwar an die Worte erinnert, aber die Bedeutung verpasst – unfähig, zwischen einer vorübergehenden Vorliebe und einem Kernwert zu unterscheiden.
Ein Team von Forschern der Xi'an Jiaotong University hat einen neuen Weg vorgeschlagen, um diese Herausforderung zu bewältigen, und ein System namens QUMem eingeführt. Anstatt einfach nur nach ähnlichem Text zu suchen, ist dieses System darauf ausgelegt, die Struktur eines Gesprächs und die spezifische Rolle der Information innerhalb desselben zu verstehen. Die Forscher argumentieren, dass ein Computer, um einen wirklich personalisierten Assistenten zu bauen, zuerst die rohe Historie der Interaktionen in bedeutungsvolle Geschichten oder „Episoden“ organisieren muss, basierend auf dem natürlichen Fluss des Gesprächs. Er zerlegt diese Geschichten dann in drei verschiedene Arten von Informationen: konkrete Fakten darüber, was passiert ist, spezifische Vorlieben oder Regeln, die der Nutzer geäußert hat, und breitere Einsichten oder Prinzipien, die auf neue Situationen angewendet werden können. Durch die Trennung dieser Elemente kann das System den vollen Kontext eines Ereignisses beibehalten und gleichzeitig dem Assistenten ermöglichen, genau das spezifische Detail herauszufiltern, das er für den aktuellen Moment benötigt.
Die zentrale Innovation liegt darin, wie das System eine neue Anfrage verarbeitet. Anstatt den Computer raten zu lassen, wonach er suchen soll, nutzt QUMem einen dreistufigen Denkprozess. Zuerst analysiert ein Agent die aktuelle Frage des Nutzers, um genau zu bestimmen, welche Informationen benötigt werden, um sie angemessen zu beantworten. Er fragt sich selbst, ob die Aufgabe einen spezifischen Fakt, eine vergangene Vorliebe oder eine allgemeine Regel erfordert. Als Nächstes plant ein zweiter Agent eine Suche und weist das System an, in den spezifischen „Regalen“ zu suchen, in denen diese Art von Information gespeichert ist, anstatt die gesamte Historie auf einmal zu durchsuchen. Schließlich nimmt ein dritter Agent die abgerufenen Beweisstücke und verwebt sie zu einem kohärenten Bild des aktuellen Zustands des Nutzers. Dieses abschließende Bild ist nicht nur eine Liste alter Erinnerungen; es ist ein synthetisiertes Verständnis dessen, wer der Nutzer in diesem speziellen Moment ist, unter Berücksichtigung dessen, wie sich seine Vorlieben entwickelt haben und welche Regeln weiterhin gelten.
Um diesen Ansatz zu testen, verglichen die Forscher ihr System mit mehreren bestehenden Methoden unter Verwendung von zwei verschiedenen Benchmarks, die messen sollen, wie gut eine KI sich an einen Nutzer erinnern und an ihn sich anpassen kann. In einem Test musste das System Fragen über die sich ändernden Vorlieben eines Nutzers über lange Gespräche hinweg beantworten. Die neue Methode schnitt signifikant besser ab und erreichte eine State-of-the-Art-Leistung im PersonaMem-Benchmark. Mit dem GPT-4o-mini-Modell verbesserte QUMem die Gesamtgenauigkeit auf 61,02 %, und mit Gemini-3.5-flash erreichte es 70,58 %, verglichen mit etwa 53 % bzw. 63 % für die nächstbesten Systeme. Die Verbesserung war noch ausgeprägter, wenn die Aufgabe darin bestand, den Assistenten dabei zu unterstützen, zu verfolgen, wie sich eine Vorliebe im Laufe der Zeit geändert hat oder wie eine vergangene Lektion auf ein völlig neues Szenario angewendet werden kann. In einem zweiten Test, der einen mobilen Assistenten betraf, der Aufgaben basierend auf Nutzergewohnheiten ausführen musste, erzielte das System erneut die höchste Erfolgsquote, was bewies, dass diese strukturierte Art des Denkens über das Gedächtnis dem Computer hilft, bessere Handlungen vorzunehmen, nicht nur bessere Antworten zu geben.
Die Forscher fanden auch heraus, dass die Art und Weise, wie das System aufgebaut ist, es effizienter macht. Ältere Methoden lösen oft einen rechenintensiven Prozess aus, wann immer eine neue Nachricht eintrifft, unabhängig davon, ob sie wichtig ist oder nicht. Das neue System wartet, bis ein Thema in einem Gespräch natürlich abgeschlossen ist, bevor es das Gedächtnis organisiert, und nutzt dann eine feste, kleine Anzahl von Schritten, um die Informationen zu sortieren. Dies bedeutet, dass es viel weniger Rechenleistung benötigt, um sein Gedächtnis aufzubauen, was es ermöglicht, lange Historien zu verarbeiten, ohne langsamer zu werden. Die Studie legt nahe, dass der Schlüssel zu langfristiger Personalisierung nicht nur darin besteht, mehr Daten zu speichern, sondern sie so zu organisieren, dass der Unterschied zwischen einem Fakt, einer Vorliebe und einer Lektion respektiert wird. Indem das System die Historie des Nutzers als eine Sammlung strukturierter, sich entwickelnder Geschichten statt als eine flache Liste von Wörtern behandelt, kann es eine viel klarere und genauere Vorstellung von der Person gewinnen, der es dient.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.