← Neueste Arbeiten
💻 computer science

MoEMory: Long-Term User Memory as a Routing Policy on Frozen Mixture-of-Experts Language Models

MeMory führt ein neuartiges Langzeitgedächtnis-Paradigma für eingefrorene Mixture-of-Experts-Sprachmodelle ein, das nutzerspezifische Informationen als Routing-Bias speichert, um bestehende Fähigkeiten selektiv zu aktivieren, ohne neue Token oder Parameter zu injizieren, wodurch eine nahezu nullpunktmäßige Leckage in unzusammenhängende Abfragen erreicht wird, während es gleichzeitig orthogonal und komplementär zu traditionellen injektionsbasierten Gedächtnismethoden bleibt.

Ursprüngliche Autoren: Chenxi He

Veröffentlicht 2026-08-24
📖 6 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Chenxi He

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen digitalen Assistenten vor, der sich an Sie erinnert. Er ruft sich Ihre bevorzugte Kaffeebestellung ab, die Art und Weise, wie Sie gerne sprechen, und die spezifischen Themen, die Sie interessieren. Jahrelang war die vorherrschende Idee, Computern diese Art von Langzeitgedächtnis zu verleihen, darin bestand, neue Informationen in ihre Gehirne zu zwingen. Forscher haben zwei Hauptwege versucht, um dies zu erreichen. Der erste ist so, als würde man einem Computer vor jeder Frage ein Tagebuch laut vorlesen, indem man den Text direkt in seine unmittelbare Aufmerksamkeit einspeist. Der zweite ist wie das Umverdrahten der internen Schaltkreise des Computers, also das dauerhafte Ändern seiner Gewichte, um das Gedächtnis in seine Struktur einzubrennen. Beide Methoden funktionieren bis zu einem gewissen Grad, aber sie teilen einen verborgenen Makel: Sie sind invasiv. Indem sie neues Material in die Berechnung des Computers einfügen, riskieren sie, die Maschine zu verwirren. Eine Erinnerung an Fußball könnte versehentlich in eine Frage über Musik hineinbluten, was dazu führt, dass der Computer bei einer Anfrage über einen berühmten Sänger den Namen eines Fußballspielers nennt. Dies ist nicht nur ein Fehler; es ist eine grundlegende Nebenwirkung dessen, wie diese Systeme aufgebaut sind, und es wirft die ernste Frage auf, ob wir jemals einen wirklich hilfreichen, personalisierten Assistenten haben können, der nicht ständig die Orientierung verliert.

Ein Forscher an der Universität Cambridge hat einen anderen Weg vorgeschlagen, der diese Verwirrung vermeidet, indem er die Regeln der Interaktion komplett ändert. Anstatt neuen Inhalt in den Geist des Computers zu injizieren, schlägt er vor, das Gedächtnis als Selektor zu verwenden. Sein Ansatz, den er MoEMory nennt, stützt sich auf eine spezifische Art von KI-Architektur, die als „Mixture of Experts“ bekannt ist. Stellen Sie sich diese Architektur nicht als ein einzelnes, monolithisches Gehirn vor, sondern als eine riesige Bibliothek spezialisierter Werkzeuge oder „Experten“, von denen bei einer gegebenen Aufgabe nur wenige herausgezogen werden. In der Standardversion dieser Modelle ist die Entscheidung, welche Werkzeuge verwendet werden, fest und unveränderlich. Der Forscher erkannte, dass er das Gedächtnis eines Nutzers nicht dadurch speichern könnte, dass er die Werkzeuge selbst ändert, sondern indem er den Schalter, der entscheidet, welche Werkzeuge ausgewählt werden, leicht anpasst. Dieser Schalter ist ein einfacher Bias (eine Voreinstellung), der vor der Auswahl angewendet wird – ein winziger Anstoß, der dem System sagt: „Für diesen spezifischen Nutzer priorisiere diese besonderen Werkzeuge.“

Die Brillanz dieser Methode liegt in dem, was sie nicht tut. Da die zugrunde liegenden Werkzeuge und die Kernstruktur des Computers völlig eingefroren und unberührt bleiben, kann das Gedächtnis keine neuen Fähigkeiten erfinden oder das System dazu bringen, Dinge zu sagen, die es noch nicht zu sagen weiß. Es kann lediglich die Reihenfolge ändern, in der bestehende Fähigkeiten genutzt werden. Wenn der Computer bereits in der Lage ist, in einem formellen Ton zu schreiben oder über Sport zu diskutieren, sorgt das Gedächtnis einfach dafür, dass diese spezifischen Modi für diesen Nutzer wahrscheinlicher aktiviert werden. Wenn der Nutzer eine Frage zu einem Thema stellt, das völlig unzusammenhängend mit seinen gespeicherten Vorlieben ist, kehrt das System zu seinem Standardverhalten zurück, ohne davon beeinflusst zu werden. Dies schafft eine Form der Nicht-Interferenz durch Design. Das Gedächtnis bleibt innerhalb der Grenzen dessen, was der eingefrorene Computer bereits leisten kann, und verhindert die Art von „Über-Memorierung“, bei der die spezifische Obsession eines Nutzers unbezogene Antworten korrumpiert.

Um diese Idee zu testen, verglich der Forscher sein routingbasiertes System mit den traditionellen Methoden der Gedächtnisinjektion. Er schuf ein Szenario, in dem ein Nutzergedächtnis installiert wurde und der Computer anschließend eine Reihe von Fragen gestellt wurde – einige im Zusammenhang mit diesem Gedächtnis und viele, die völlig unzusammenhängend waren. Die Ergebnisse waren deutlich. Die traditionellen Methoden, die Inhalt in den Kontext oder die Gewichte des Computers einfügen, ließen das gespeicherte Gedächtnis zwischen 45 und 62 Prozent der Zeit in unzusammenhängende Fragen einfließen. Der Computer brachte konsistent die spezifischen Interessen des Nutzers zur Sprache, selbst wenn diese irrelevant waren. Im Gegensatz dazu ließ die neue Routing-Methode das Gedächtnis nur 0,7 Prozent der Zeit in unzusammenhängende Anfragen einfließen. Dies stellt eine massive Reduktion der Interferenz dar, etwa neunzig Mal sauberer als die bisher besten Ansätze. Die wenigen Fälle, in denen das neue System eine Spur des Gedächtnisses zeigte, traten genau in jenen Fällen auf, in denen die Theorie dies vorhersagte, was bestätigte, dass das System exakt wie geplant funktionierte.

Der Forscher untersuchte auch, wie dieses Gedächtnis auf zwei verschiedene Arten angewendet werden könnte. Die erste ist ein statischer Ansatz, bei dem das Gedächtnis als permanente Disposition wirkt, wie etwa der allgemeine Stil oder die Persönlichkeit eines Nutzers, der jede einzelne Interaktion beeinflusst. Der zweite ist ein dynamischer Ansatz, bei dem das Gedächtnis nur durch die spezifischen Wörter in der aktuellen Frage ausgelöst wird, ähnlich wie ein Tor, das sich nur öffnet, wenn der richtige Schlüssel gedreht wird. Beide Methoden funktionieren, ohne dass der Computer neu trainiert werden muss oder während des Gesprächs zusätzliche Rechenzeit beansprucht wird. Das System liest die Historie des Nutzers lediglich einmal aus, um den Bias festzulegen, und arbeitet dann dauerhaft mit diesem Bias. Das bedeutet, der Computer kann die Vorlieben eines Nutzers speichern, ohne jemals ein Protokoll vergangener Gespräche abspielen zu müssen. Es ist eine leichte, effiziente Art der Personalisierung einer Maschine, die die Kernkenntnisse der Maschine intakt und ihr Verhalten vorhersagbar hält.

Die Ergebnisse legen nahe, dass die Zukunft der personalisierten künstlichen Intelligenz nicht darin liegen könnte, Modelle größer oder komplexer zu machen, sondern darin, Wege zu finden, ihre bestehende Kraft klüger zu lenken. Indem er das Gedächtnis als Auswahlpolitik statt als Dateninjektion behandelt, hat der Forscher gezeigt, dass es möglich ist, Assistenten zu schaffen, die sich daran erinnern, wer man ist, ohne zu vergessen, wie man in anderen Kontexten hilfreich ist. Dieser Ansatz respektiert die Grenzen der Fähigkeiten der Maschine und stellt sicher, dass Personalisierung das Erlebnis verbessert, anstatt es zu verzerren. Während das System nicht in der Lage ist, neue Fakten zu speichern, die die Maschine nicht bereits kennt, zeichnet es sich bei den subtilen, dispositionalen Aufgaben aus, die einen guten persönlichen Assistenten definieren: zu wissen, welcher Tonfall, welcher Stil und welche Vorlieben angemessen sind, und diese genau im richtigen Moment anzuwenden. In einem Bereich, der oft von der Hinzufügung von mehr Daten besessen ist, bietet diese Arbeit eine leise, kraftvolle Erinnerung daran, dass der effektivste Weg zu erinnern manchmal einfach darin besteht, zu wissen, welche Teile des Selbst man hervorbringen sollte.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →