💬 NLP

ExpWeaver: LLM Agents Learn from Experience via Latent RAG

ExpWeaver ist ein durchgängig optimiertes Framework, das es LLM-Agenten ermöglicht, durch latente Retrieval-Augmented Generation aus Erfahrungen zu lernen, wodurch eine State-of-the-Art-Leistung über diverse Aufgaben hinweg erreicht wird, während gleichzeitig der Token-Overhead im Vergleich zu traditionellen textbasierten Retrieval-Methoden signifikant reduziert und die domänenübergreifende Generalisierung verbessert wird.

Ursprüngliche Autoren: Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber vergesslichen Assistenten, der versucht, ein Rätsel zu lösen. Jedes Mal, wenn er stecken bleibt, bittet er Sie um Hilfe.

Der alte Weg (Bisherige Methoden):
Früher, um diesem Assistenten zu helfen, holten Sie ein riesiges physisches Notizbuch heraus, das voller Notizen aus jedem Mal war, als er ein ähnliches Rätsel gelöst hatte. Sie blätterten durch die Seiten, fanden die relevanteste Notiz und lasen dem Assistenten die gesamte Notiz laut vor, bevor er es erneut versuchte.

Dieser Ansatz hat zwei große Probleme:

Er ist langsam und teuer: Das Vorlesen einer ganzen Textseite braucht Zeit und verbraucht viele „Attention Tokens“ (wie ein begrenztes Budget an mentaler Energie). Wenn das Notizbuch riesig ist, wird der Assistent überfordert.
Er ist starr: Der Assistent hört nur die Worte. Er spürt die Verbindung zwischen der alten Notiz und dem neuen Problem nicht wirklich, bis er den Text selbst verarbeitet hat. Es ist, als würde man ihm eine Geschichte erzählen, anstatt dass die Lösung intuitiv „Klick“ macht.

Der neue Weg (ExpWeaver):
Das Paper stellt ExpWever vor, eine intelligentere Art, dem Assistenten zu helfen, aus Erfahrungen zu lernen. Anstatt ein physisches Notizbuch zu verwenden, stellen Sie sich vor, der Assistent besitzt eine geheime, unsichtbare Bibliothek in seinem eigenen Gehirn.

So funktioniert ExpWeaver, unter Verwendung einfacher Analogien:

1. Die unsichtbare Bibliothek (Latent Space)

Anstatt Erfahrungen als lange Textabsätze aufzuschreiben, komprimiert ExpWeaver jede vergangene Erfolgs- oder Fehlermeldung in einen winzigen, dichten „mentalen Fingerabdruck“ (einen mathematischen Vektor).

Analogie: Denken Sie an die „Shuffle“-Taste bei Spotify. Anstatt das ganze Lied (den Text) abzuspielen, um die Stimmung zu vermitteln, spielt es nur ein 3-sekündiges Summen ab, das sofort die Erinnerung an das Lied auslöst. Der Assistent muss nicht die ganze Geschichte lesen; er braucht nur dieses „Summen“, um die Lektion zu erinnern.

2. Die sofortige Verbindung (Latent Retrieval)

Wenn der Assient vor einem neuen Problem steht, durchsucht er nicht eine Bibliothek. Stattdessen gleicht er seine aktuellen Gedanken sofort mit seiner Bibliothek von „mentalen Fingerabdrücken“ ab.

Analogie: Es ist, als hätte man einen superintelligenten Bibliothekar, der nicht braucht, dass man ihm das Buch beschreibt, das man sucht. Man denkt einfach über das Problem nach, und der Bibliothekar reicht einem sofort den exakt passenden „mentalen Fingerabdruck“, der zur aktuellen Stimmung passt. Dies geschieht in einem Bruchteil einer Sekunde, innerhalb des Gehirns des Assistenten, ohne dass etwas laut vorgelesen werden muss.

3. Der intelligente Mixer (Gated Integration)

Sobald der Assistent den richtigen „mentalen Fingerabdruck“ gefunden hat, fügt er ihn nicht einfach in seine Gedanken ein. Er verwendet ein spezielles Mischventil (einen Gating-Mechanismus).

Analogie: Stellen Sie sich vor, Sie kochen einen Eintopf. Sie haben Ihre aktuellen Zutaten (das neue Problem). Sie haben eine geheime Gewürzmischung (die alte Erfahrung). Ein schlechter Koch schüttet die ganze Dose Gewürze hinein und ruiniert das Gericht. ExpWeaver ist ein Meisterkoch, der den Eintopf probiert und genau die richtige Menge der Gewürzmischung hinzufügt. Manchmal fügt er ein wenig hinzu, manchmal viel, je nachdem, was das Gericht gerade braucht. Dies stellt sicher, dass die alte Erfahrung hilft, ohne die neue Logik zu überwältigen.

4. Das Ergebnis: Schneller und Schlauer

Das Paper testete diese neue Methode bei 13 verschiedenen Arten von Aufgaben, von der Lösung mathematischer Probleme und dem Schreiben von Code bis hin zur Vorhersage chemischer Reaktionen und der Empfehlung von Filmen.

Die Punktzahl: ExpWeaver schlug die besten bestehenden Methoden in 12 von 13 Aufgaben.
Die Effizienz: Da es nicht die Aufgabe hat, lange Textnotizen zu „lesen“, verbraucht es 30 % bis 50 % weniger Rechenleistung (Tokens) als die alten Methoden. Es ist, als bekäme man das gleiche Ergebnis, aber mit einem viel kleineren Akku.
Die Anpassungsfähigkeit: Als der Assistent mit einer völlig neuen Art von Problem konfrontiert wurde (z. B. beim Wechsel von allgemeiner Mathematik zu Chemie), fand ExpWever es viel schneller heraus. Es lernte, dass das Muster der Problemlösung ähnlich war, auch wenn die Wörter anders waren.

Zusammenfassend:
ExpWeaver ist ein System, das KI-Agenten lehrt, aus ihren vergangenen Fehlern und Erfolgen zu lernen, indem sie nicht ein Tagebuch lesen, sondern die Erinnerung fühlen. Es komprimiert Erfahrungen in effiziente Signale und mischt sie direkt in den Denkprozess ein, was die KI intelligenter, schneller und anpassungsfähiger macht, ohne Energie durch das Lesen langer Texte zu verschwenden.

Technische Zusammenfassung: ExpWeaver: LLM-Agenten lernen aus Erfahrung via Latent RAG

Problemstellung
Die Integration vergangener Interaktionen als wiederverwendbare Erfahrungen ist ein entscheidender Ansatz zur Verbesserung der Planung und des Schließens von Large Language Model (LLM)-Agenten. Bestehende Methoden sind jedoch weitgehend auf den expliziten Textraum beschränkt. Aktuelle Ansätze speichern Erfahrungen typischerweise als textuelle Zusammenfassungen und rufen diese mittels semantischer Ähnlichkeit ab, um sie anschließend in das Kontextfenster des Modells zu konkatenieren. Dieses Paradigma führt zu erheblichen Ineffizienzen:

Token-Overhead: Die explizite Konkatenation verbraucht beträchtlichen Platz im Kontextfenster, was die Anzahl der abrufbaren Erfahrungen einschränkt und die Inferenzkosten erhöht.
Architektonische Entkopplung: Die meisten Methoden verwenden ein separates Retrieval-Augmented Generation (RAG)-Modul (z. B. Embedding-basierte Retriever oder Suchmaschinen), das unabhängig von den internen Repräsentationen des LLMs operiert. Diese Trennung verhindert eine gemeinsame Optimierung von Retrieval und Generierung im Hinblick auf das nachgelagerte Aufgabenziel.
Repräsentations-Engpässe: Die Retrieval auf Textebene stützt sich auf oberflächliche semantische Ähnlichkeit, was möglicherweise scheitert, tiefere strukturelle Korrespondenzen in Problemlösungsstrategien zu erfassen, die für komplexe Denkprozesse oder Programmieraufgaben erforderlich sind.

Methodik: ExpWeaver
Um diese Einschränkungen zu adressieren, schlagen die Autoren ExpWeaver vor, ein Framework, das es LLM-Agenten ermöglicht, durch latentes Retrieval-Augmented Generation aus Erfahrungen zu lernen. Im Gegensatz zu bisheriger Arbeit führt ExpWeaver das Retrieval direkt im latenten Raum des LLM durch, ohne dass ein separates RAG-Modul benötigt wird. Das Framework besteht aus drei Kernkomponenten:

Experience Bank mit On-Policy-Ausrichtung:
- Vergangene Trajektorien (Abfrage, Reasoning-Trace, Ausgabe, Belohnung) werden in textuelle Zusammenfassungen komprimiert und mittels desselben LLMs ( $p_\theta$ ), das auch für die Generierung verwendet wird, in dichte latente Embeddings ( $z$ ) kodiert.
- Konkret wird das Embedding aus dem Hidden State des letzten Tokens der finalen Transformer-Schicht abgeleitet ( $z = h_\theta(s)$ ).
- Dieses Design gewährleistet eine On-Policy-Ausrichtung: Da sich die Policy während des Trainings entwickelt, befinden sich neuere Erfahrungen naturgemäß in einer kompatiblen Embedding-Region, was einen impliziten Recency-Bias erzeugt, der analog zum On-Policy Reinforcement Learning wirkt.
Latente Retrieval-Augmented Generation:
- Latentes Retrieval: In jedem Dekodierungsschritt $t$ dient der aktuelle Hidden State $h_t$ als Abfrage (Query), um eine Top- $K$ -Menge von Experience-Embeddings ( $Z_t$ ) aus der Experience Bank mittels Cosinus-Ähnlichkeit abzurufen. Es ist kein externer Retriever erforderlich.
- Cross-Attention Aggregation: Die abgerufenen Embeddings werden über einen Cross-Attention-Mechanismus unter Verwendung eines lernbaren Query-Tokens ( $u$ ) aggregiert. Dies ermöglicht es dem Modell, Erfahrungen dynamisch basierend auf ihrer Relevanz für den aktuellen Generierungszustand zu gewichten.
- Gated Integration: Das aggregierte Erfahrungssignal wird durch einen Gated-Residual-Mechanismus in den Hidden State integriert. Lernbare Retention- ( $r_t$ ) und Input-Gates ( $i_t$ ) sowie ein Mischkoeffizient ( $a_t$ ) steuern das Gleichgewicht zwischen der Bewahrung des ursprünglichen Hidden States und der Integration externen Wissens. Dies verhindert, dass ein übermäßiger Einfluss der Erfahrung den Denkfluss des Modells stört.
End-to-End-Training mit Reinforcement Learning:
- Die gesamte Pipeline (Policy $\theta$ und Experience-Parameter $\psi_{exp}$ ) wird gemeinsam mittels Group Relative Policy Optimization (GRPO) optimiert.
- Das Framework unterstützt sowohl generative Aufgaben (z. B. QA, Coding) durch die Erzeugung textueller Ausgaben via erfahrungsgestützter Dekodierung, als auch Ranking-Aufgaben (z. B. Empfehlung) durch die Berechnung von Relevanzscores zwischen dem finalen Hidden State und Kandidaten-Embeddings.

Wesentliche Beiträge

Unified Latent Space Framework: ExpWeaver vereinheitlicht Retrieval und Generierung innerhalb eines gemeinsamen Repräsentationsraums, wodurch die Notwendigkeit eines separaten Retrievers entfällt und der Token-Overhead durch Textkonkatenation vermieden wird.
Adaptive Retrieval: Durch die Durchführung des Retrievals bei jedem Dekodierungsschritt basierend auf dem aktuellen Hidden State lernt das System eine abfrageabhängige Nutzung von Erfahrungen, die tiefere strukturelle Muster statt bloßer oberflächlicher Textüberlappung erfasst.
Aufgabenaagnostik: Die Architektur lässt sich natürlich auf diverse Aufgabentypen erweitern, einschließlich Fragenbeantwortung, mathematischem Schließen, Code-Generierung, wissenschaftlicher Vorhersage und sequenzieller Empfehlung.

Experimentelle Ergebnisse
Die Autoren evaluierten ExpWeaver auf ExpBench, einem Benchmark, der 13 diverse Aufgaben über drei Szenarien umfasst: Generisch (QA, Reasoning, Coding), Wissenschaftlich (Pharmazeutische Chemie) und Empfehlung.

Leistung: ExpWeaver erreichte State-of-the-Art-Ergebnisse in 12 von 13 Aufgaben und übertraf die stärkste Baseline (Search-R1) um durchschnittlich 6,8 %.
Token-Effizienz: Während textbasierte Retrieval-Methoden wie Search-R1 aufgrund der expliziten Konkatenation 1,5–2× mehr Tokens benötigten, behielt ExpWeaver eine Token-Effizienz bei, die mit Nicht-Retrieval-Baselines (z. B. HRPO) vergleichbar ist, wobei es nur etwa 10 % mehr Tokens verbrauchte bei gleichzeitig signifikant höherer Genauigkeit.
Generalisierung: ExpWever demonstrierte eine überlegene domänenübergreifende Generalisierung. In Zero-Shot-Transfer-Settings übertraf es die stärkste Baseline um 16,32 % und in Few-Shot-Transfer um 15,21 %, was darauf hindeutet, dass latente Erfahrung-Repräsentationen transferierbare Problemlösungsmuster erfassen.
Ablationsstudien: Experimente bestätigten die Notwendigkeit der Cross-Attention-Aggregation gegenüber einfachem Pooling und identifizierten einen optimalen Initialisierungsbereich für den Mischkoeffizienten, um das Gleichgewicht zwischen Erfahrungsintegration und Bewahrung des Hidden States zu halten.

Bedeutung und Behauptungen
Das Paper behauptet, dass ExpWeaver eine signifikante Verschiebung beim Lernen von Erfahrungen für LLM-Agenten darstellt. Durch den Übergang von expliziten Operationen auf Textebene zu Integration im latenten Raum überwindet das Framework die Skalierbarkeits- und Adaptabilitätsengpässe bisheriger Methoden. Die Autoren beteuern, dass dieser Ansatz es Agenten ermöglicht, effizienter aus vergangenen Interaktionen zu lernen und dabei eine überlegene Leistung bei geringeren Rechenkosten zu erzielen. Darüber hinaus deutet die demonstrierte domänenübergreifende Generalisierung darauf hin, dass latente Erfahrung-Repräsentationen robust genug sind, um gelernte Muster auf ungesehene Domänen zu übertragen, was potenziell die Entwicklung in spezialisierten Feldern wie der wissenschaftlichen Forschung, in denen gelabelte Daten knapp sind, beschleunigt. Die Arbeit positioniert ExpWeaver als einen Schritt hin zu einer effizienteren, vereinheitlichten und effektiveren Wissensnutzung in großen Sprachmodellen.

1. Die unsichtbare Bibliothek (Latent Space)

2. Die sofortige Verbindung (Latent Retrieval)

3. Der intelligente Mixer (Gated Integration)

4. Das Ergebnis: Schneller und Schlauer

Mehr davon