The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory

Technische Zusammenfassung: Janus – Ein Plug-in-Controller für selektive Aktualisierungen in sequenziell evolvierendem LLM-Gedächtnis

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als sequenzielle Agenten eingesetzt, die aus vergangenen Interaktionen durch externes Gedächtnis lernen. In diesem Szenario rufen Agenten Informationen ab, lösen Aufgaben, erhalten Feedback und aktualisieren ihr Gedächtnis für die zukünftige Nutzung. Während diese „Abruf–Lösen–Aktualisieren“-Schleife intuitiv ist, leiden bestehende sequenzielle Gedächtnissysteme unter einer grundlegenden Einschränkung: Sie setzen typischerweise jede lokal generierte Gedächtnisaktualisierung ohne Überprüfung ihres globalen Nutzens ein.

Das Paper identifiziert, dass Aktualisierungen, die für die unmittelbare Aufgabe optimiert sind, für den finalen Gedächtniszustand nachteilig sein können. Insbesondere können sie:

• Vorher nützliches Wissen überschreiben.
• Verrauschte, zu spezifische Regeln einführen.
• Das Gedächtnis zugunsten rezenter Beispiele verzerren (Bias), was die Leistung bei zukünftigen, ungesehenen Aufgaben verschlechtert.

Dies schafft ein Problem der Gedächtnisvalidierung: zu bestimmen, wann ein Kandidaten-Gedächtnis mit dem aktuellen verglichen werden sollte und welche Aufgaben für diesen Vergleich verwendet werden sollen, ohne die prohibitiven Rechenkosten einer vollständigen Wiedergabe der gesamten Task-Historie zu verursachen.

2. Methodik: Janus

Die Autoren schlagen Janus vor, einen methodenagnostischen Plug-in-Gedächtniskontroller, der bestehende Gedächtnis-Updater umschließt. Janus verändert nicht die zugrunde liegenden Aktualisierungsregeln; stattdessen fungiert es als Gatekeeper, der entscheidet, ob eine Kandidaten-Gedächtnisaktualisierung ($\hat{M}_t$) akzeptiert oder das vorherige Gedächtnis ($M_{t-1}$) beibehalten wird.

Janus adressiert das Validierungsproblem durch zwei Kernmechanismen:

A. Memory Momentum Trigger (MMT)
Um die hohe Latenz zu vermeiden, die durch den Vergleich von Gedächtnissen nach jeder Aufgabe entsteht, behandelt Janus Gedächtnisaktualisierungen als eine Trajektorie. Es verwendet einen Text-Encoder $\phi(\cdot)$, um Gedächtniszustände in einen Vektorraum abzubilden.

• Aktualisierungsrichtung: Die Richtung einer Kandidatenaktualisierung ist definiert als $z_t = \phi(\hat{M}_t) - \phi(M_{t-1})$.
• Momentum-Verfolgung: Janus führt einen exponentiell gleitenden Durchschnitt der vorangegangenen Aktualisierungsrichtungen: $m_t = \beta m_{t-1} + (1-\beta)z_t$.
• Trigger-Bedingung: Ein Vergleich wird nur ausgelöst, wenn die Kandidatenaktualisierung signifikant von der jüngsten Momentum-Trajektorie abweicht, angezeigt durch $\cos(z_t, m_{t-1}) < \tau$.
• Begründung: Kleine, inkrementelle Aktualisierungen, die mit dem Momentum übereinstimmen, werden direkt akzeptiert. Starke Abweichungen, die entweder auf wertvolles neues Wissen oder schädliche Verzerrungen hindeuten können, lösen einen expliziten Validierungsschritt aus.

B. Hybrides Trigger-Zeit-Evaluationsset
Wenn ein Trigger feuert, evaluiert Janus sowohl $M_{t-1}$ als auch $\hat{M}_t$ auf einem kompakten hybriden Set $E_t$, statt auf der gesamten Historie. Dieses Set besteht aus drei Komponenten:

1. Coverage Set ($S^{cov}_t$): Ein Cluster repräsentativer Aufgaben, das die globale Verteilung aller gesehenen Aufgaben zusammenfasst.
2. Boundary Set ($S^{bdry}_t$): Eine Sammlung von „Flip“-Aufgaben, bei denen die Wahl des Gedächtniszustands zuvor die Korrektheit des Agenten verändert hat (d. h. Aufgaben, bei denen $1_{corr}(x; M_{t-1}) \neq 1_{corr}(x; \hat{M}_t)$). Diese sind hochsensibel gegenüber Gedächtnisänderungen.
3. Fresh Set ($F_t$): Eine Stichprobe von Aufgaben, die seit dem letzten Trigger aufgetreten sind, um ein Overfitting auf ein statisches Support-Set zu verhindern und die Leistung in neu explorierten Regionen zu testen.

Das finale Gedächtnis $M_t$ wird als dasjenige ausgewählt, das eine höhere Performance auf $E_t$ erzielt.

3. Zentrale Beiträge

• Identifikation einer Deployment-Herausforderung: Das Paper hebt hervor, dass sequenzielle Gedächtnissysteme oft scheitern, weil lokal generierte Aktualisierungen nicht global nützlich sind. Das blinde Akzeptieren von Aktualisierungen kann zu finalen Gedächtnissen führen, die durch verrauschte, aufgabenspezifische Informationen verzerrt sind.
• Effiziente Plug-in-Steuerung: Janus ist ein methodenagnostischer Controller, der bestehende Updater umschließt. Er komb combinations den Memory Momentum Trigger mit einem kompakten hybriden Evaluationsset und ermöglicht so eine selektive Bereitstellung, ohne den Basis-Updater zu modifizieren oder die gesamte Historie erneut abzuspielen.
• Empirische Validierung: Der Ansatz wird über sechs Datensätze, zwei Backbone-LLMs und zwei unterschiedliche Gedächtnis-Updater-Architekturen hinweg validiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten Janus auf sechs Datensätzen, die mathematisches Denken (MATH500), wissenschaftliches Denken (GPQA), professionelles STEM (MMLU-Pro), Codegenerierung (HumanEval) und Werkzeugnutzung (APIBench) abdecken. Die Experimente verwendeten Qwen3-8B und DeepSeek-V4-Flash als Backbones, gepaart mit Basis-Updatern wie DC-RS und ExpeL.

• Leistungssteigerungen: Janus verbesserte die durchschnittliche Genauigkeit gegenüber den Basis-Updatern konsistent um +2,7 bis +4,6 Prozentpunkte.
  • Auf Qwen3-8B verbesserte DC-RS + Janus die durchschnittliche Genauigkeit von 79,5 % auf 83,2 %.
  • Auf DeepSeek-V4-Flash verbesserte ExpeL + Janus die Genauigkeit von 79,6 % auf 82,3 %.
• Ablationsstudien:
  • Trigger-Timing: Der MMT-Trigger übertraf zufällige und periodische Trigger-Strategien und erreichte eine vergleichbare oder bessere Genauigkeit mit deutlich weniger Vergleichen als eine „Always-Trigger“-Policy.
  • Zusammensetzung des Evaluationssets: Das Entfernen einer Komponente des hybriden Sets (Coverage, Boundary oder Fresh) verschlechterte die Leistung. Das „Fresh“-Set war besonders kritisch, um veraltete, sich selbst verstärkende Vergleiche zu verhindern.
  • Deployment-Entscheidungen: Zwischenzeitliche Gedächtnis-Checkpoints zeigten, dass Janus einen stabilen Aufwärtstrend in der Genauigkeit beibehält, während Basis-Updater oft stagnieren oder im Verlauf des Task-Streams degradieren, was bestätigt, dass neuere Gedächtnisse nicht immer besser sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass der primäre Engpass in sequenziellem LLM-Gedächtnis nicht nur darin besteht, wie man Aktualisierungen generiert, sondern ob man sie bereitstellt. Janus zeigt, dass die Behandlung der Gedächtnisaktualisierung als eine Deployment-Entscheidung – das Filtern lokal optimierter Aktualisierungen, die die globale Generalisierung schädigen könnten – die Nützlichkeit des finalen Gedächtnisses signifikant erhöht.

Die Autoren positionieren Janus als leichtgewichtige, effiziente Lösung, die in bestehende sequenzielle Gedächtnis-Frameworks integriert werden kann, ohne das Basismodell neu zu trainieren oder die Kernlogik der Aktualisierung zu verändern. Die Ergebnisse legen nahe, dass für Reasoning-Assistenten und interaktive Entscheidungssysteme die Pflege eines kuratierten, validierten Gedächtnisses effektiver ist als das bloße Akkumulieren aller generierten Erfahrungen.