Technisches Resümee: Lernen, was man nicht vergessen darf (LRE)

Problemstellung

Lang laufende Large Language Model (LLM)-Agenten und konversationelle Assistenten akkumulieren Interaktionsverläufe, die schließlich das Kontextfenster des Modells überschreiten. Um innerhalb fester Token-Budgets zu funktionieren, müssen Systeme die ältere Historie evizieren (verwerfen). Die zentrale Herausforderung besteht darin, dass die Evikation eine proaktive, abfrage-unabhängige Entscheidung ist: Das System muss entscheiden, was es behält, bevor die zukünftige Abfrage oder Aktion, die diese Information erfordert, überhaupt existiert.

Standardansätze scheitern in diesem Szenario:

• Reaktive Heuristiken (Rezentheit/FIFO): Verwerfen ältere Informationen rein basierend auf der Zeit, wodurch oft „lasttragende“ Details (z. B. Zugriffstoken, Identifikatoren) entfernt werden, die für zukünftige Schritte erforderlich sind, was dazu führt, dass Agenten in Schleifen geraten oder scheitern.
• LLM-basierte Kompression: Die Zusammenfassung der Historie mittels LLM-Aufrufen führt zu nicht-deterministischem Verhalten, Paraphrierungsfehlern (Verlust exakter Identifikatoren) sowie erheblicher Latenz und Kosten.
• Neurale Retrieval-/Scoring-Methoden: Methoden, die dichte Embeddings oder auf Attention basierende Scoring-Verfahren nutzen, erfordern oft einen neuralen Forward-Pass für jede Einheit oder sind an spezifische Modellschichten gebunden, was Inferenzkosten verursacht, die schlecht skalieren.

Das Paper argumentt, dass die Eviction des Gedächtnisses fundamental ein Fidelity-Problem (Treueproblem) ist: Das System muss die exakte, wortgetreue Repräsentation des Zustands bewahren (nicht nur zusammengefasste Konzepte), um zukünftige Aktionen zu gewährleisten, muss dies jedoch mit einer Policy tun, die kostengünstig, proaktiv und unabhängig vom Host-LLM ist.

Methodik: LRE (Learned Relevance Eviction)

Die Autoren schlagen LRE vor, einen leichten, CPU-basierten und sprachmodellfreien Scorer, der darauf ausgelegt ist, zu lernen, welche Einheiten der Historie „lasttragend“ sind.

Kernmechanismus

1. Einheitsdefinition: Die Historie wird in diskrete Einheiten segmentiert (z. B. Dialogrunden oder Agenten-Aktions-Beobachtungs-Paare).
2. Kausale Merkmalsextraktion: Für jede Einheit $u_i$ berechnet LRE einen Merkmalsvektor $\phi(u_i, u_{\le i})$ basierend nur auf der Präfix-Historie. Die Merkmale umfassen:
   • Strukturell: Position in der Trajektorie, Rezentheit, Länge.
   • Lexikalisch: TF-IDF, Ziffernanzahl, großgeschriebene Wörter, Vorhandensein von URLs/IDs.
   • Domänenspezifisch: Fehlerindikatoren, Vorhandensein von Code-Token (für Agenten), Fragestellung (für Konversationen).
3. Scoring: Ein kleines, L2-regularisiertes logistisches Regressionsmodell ($f_\theta$) weist jeder Einheit eine Relevanzwahrscheinlichkeit $p_i$ zu.
   • Kosten: Das Modell ist winzig (z. B. 1,7 KB für Agenten) und läuft auf der CPU ohne neurale Forward-Passes zur Inferenzzeit.
4. Selektion (Knapsack-Problem): Gegeben ein Token-Budget $B$, wählt LRE die Teilmenge der älteren Einheiten $S^*$ aus, die die Summe der Scores $\sum p_i$ maximiert, unter der Nebenbedingung $\sum c_i \le B$.
   • Die Selektion ist extraktiv: Einheiten werden wortgetreu behalten. Es findet keine Zusammenfassung oder Umformulierung statt, wodurch exakte Identifikatoren und Werte erhalten bleiben.
   • Ein rezentes Fenster $R_k$ (z. B. die letzten 5 Schritte) wird immer ungekappt beibehalten.

Selbstüberwachtes Training

Um teure menschliche Annotationen zu vermeiden, leitet LRE die Labels aus dem eigenen Verhalten des Systems (Hindsight/Rückschau) ab:

• Agenten-Domäne (AppWorld): Ein Schritt wird als positiv ($y=1$) gelabelt, wenn ein von ihm eingeführter Identifikator (z. B. eine ID, ein Token) von $\ge 3$ nachfolgenden Schritten wiederverwendet wird. Dies identifiziert einen „lasttragenden Zustand“.
• Konversations-Domäne (LoCoMo/LongMemEvalS): Ein Turn wird als positiv gelabelt, wenn dessen Inhaltstoken eine $\ge 40\%$ Überlappung mit der letztendlichen Antwort auf eine später in der Sitzung gestellte Frage aufweisen.
• Ergebnis: Dieser Ansatz stellt 95 % der Performance eines voll überwachten Modells (trainiert mit menschlichen Gold-Labels) auf LongMemEvalS und 82 % auf LoCoMo wieder her.

Zentrale Beiträge

1. Eine abfrage-unabhängige, proaktive Policy: LRE ist die erste gelernte Eviction-Policy, die ohne Zugriff auf die zukünftige Abfrage operiert, was sie für Echtzeit-Agenten-Loops geeignet macht, bei denen der nächste Schritt unbekannt ist.
2. Wortgetreue Fidelity: Im Gegensatz zu Kompressionsmethoden, die paraphrasieren, extrahiert LRE Einheiten exakt so, wie sie erschienen sind. Dies ist entscheidend für die Bewahrung opaker Credentials (Token, IDs), die durch Zusammenfassungen zerstört würden.
3. Extreme Effizienz:
   • Null Neuraler Aufwand: Der Scorer läuft auf der CPU ohne LLM-Aufrufe oder GPU-Forward-Passes.
   • Geschwindigkeit: Er skoriert 1.181 Einheiten/Sekunde, was signifikant schneller ist als dichte Encoder (103 Einheiten/s) oder Token-Pruning-LLMs (~36 Einheiten/s).
   • Modellgröße: Der Scorer umfasst nur wenige Kilobyte.
4. Annotationsfreie Überwachung: Zeigt, dass „Relevanz“ aus den eigenen Operations-Logs des Systems (Wiederverwendungsmuster) gelernt werden kann, ohne menschliche Labeling-Prozesse.

Experimentelle Ergebnisse

Agenten-Performance (AppWorld)

• Aufgabenerfolg: Bei einem Budget von 2048 Token erreicht LRE einen Aufgabenerfolg von 41,1 %, was der Erfolgsrate von 44,0 % beim Behalten der gesamten Historie (unbegrenzt) entspricht.
• Vergleich:
  • FIFO (Rezentheit): Sinkt auf 34,5 % Erfolg; Agenten geraten in Schleifen aufgrund verlorener Credentials.
  • ACON (LLM-Kompression): Sinkt auf 26,2 % Erfolg; die Zusammenfassung verliert exakte Token, was zu Re-Authentifizierungs-Schleifen führt.
  • LRE: Löst 14 Aufgaben, die keine andere Policy (einschließlich der vollen Historie in einigen Grenzfällen von Loop-Fehlern) abschließen konnte.
• Effizienz: LRE schließt Aufgaben im Durchschnitt in 19 Schritten ab, verglichen mit 30,6 für FIFO und 33,5 für ACON. Es benötigt null Kompressor-Aufrufe, während ACON ca. 5,45 Aufrufe pro Aufgabe benötigt.
• Kontext-Reduktion: Reduziert die Spitzenkontextgröße um bis zu 52 % im Vergleich zum Worst-Case der unbegrenzten Baseline bei gleichbleibend hoher Genauigkeit.

Konversationsgedächtnis (LoCoMo & LongMemEvalS)

• Relevanz-Ranking: LRE erreicht eine Macro-AUC von 0,829 auf LoCoMo und 0,708 auf LongMemEvalS.
• Baseline-Vergleich: Es übertrifft dichte Embedding-Encoder (0,643) und Token-Pruning-Methoden (0,402), obwohl letztere neurale Forward-Passes nutzen. Rezentheit- und Decay-Modelle liegen nahe bei Zufall (0,478).
• Downstream QA: Wenn es als Retention-Policy für ein QA-Modell eingesetzt wird, liefert LRE die beste Antwortqualität unter einem festen Budget und übertrifft dabei Rezentheit- und Content-Salienz-Baselines.

Bedeutung und Ansprüche

Das Paper argumentt, dass günstige, gelernte Relevanz ausreichend für die proaktive Gedächtnisretention in LLM-Agenten ist.

• Fidelity vor Kompression: Der primäre Fehlermodus bestehender Systeme ist nicht nur das „Vergessen“, sondern das „Verzerren“ (durch Zusammenfassung) oder „Verlieren“ (durch Rezentheit) exakter Zustände. LRE löst dies durch die Priorisierung der wortgetreuen Extraktion.
• Einsetzbarkeit: Da LRE abfrage-unabhängig, CPU-basiert und annotationsfrei ist, stellt es eine praktikable Policy für Produktionssysteme dar, in denen Latenz und Kosten einschränkende Faktoren sind.
• Selbstgenügsamkeit: Systeme können lernen, was sie behalten müssen, aus ihren eigenen Operations-Logs, was externe Supervision überflüssig macht.

Die Autoren kommen zu dem Schluss, dass, obwohl eine proaktive Eviction die Zukunft nicht perfekt vorhersagen kann (eine fundamentale Limitation), eine gelernte, extraktive Policy wie LRE ein Pareto-optimales Gleichgewicht zwischen Genauigkeit, Kosten und Fidelity bietet, das aktuelle Baselines nicht erreichen können.