💬 NLP

ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

ExpGraph ist ein modellagnostisches Framework, das eingefrorene LLM-Agenten dadurch verbessert, dass es historische Trajektorien in einem selbstentwickelnden Graphen aus wiederverwendbaren Fähigkeiten und Lektionen aus Fehlern organisiert, welche mittels Graph-Diffusion und nutzenbewusster Rangfolge abgerufen werden, um die Leistung und Effizienz über verschiedene Aufgaben hinweg signifikant zu steigern, ohne dass Parameteraktualisierungen erforderlich sind.

Ursprüngliche Autoren: Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „amnesische“ Genie

Stellen Sie sich vor, Sie haben einen brillanten, aber amnesischen Assistenten (den LLM-Agenten). Dieser Assistent ist unglaublich intelligent darin, Probleme zu lösen, Code zu schreiben oder durch ein virtuelles Haus zu navigieren. Doch jedes Mal, wenn Sie ihm eine neue Aufgabe geben, verhält er sich so, als wäre es sein erster Arbeitstag. Er erinnert sich weder an die cleveren Tricks, die er letzte Woche angewandt hat, noch daran, welche Fehler er gestern gemacht hat. Er löst jedes Problem von Grund auf neu.

Normalerweise müssten Sie ihn „nachschulen“ (retrainen), damit er sich erinnert. Aber Nachschulen ist so, als müsste man ein ganzes Jahr lang zur Schule gehen, nur um einen neuen Trick zu lernen. Es ist teuer, langsam und wenn Sie zu einem neueren, klügeren Assistenten wechseln, müssen Sie ihn wieder komplett neu nachschulen.

Die Lösung: ExpGraph (Der „schlaue Bibliothekar“)

Die Forscher schlagen ExpGraph vor, ein System, das es dem Assistenten ermöglicht zu lernen, ohne jemals wieder zur Schule gehen zu müssen. Anstatt das Gehirn des Assistenten zu verändern, bauen sie eine spezialisierte Bibliothek direkt neben ihm auf.

So funktioniert es, unter Verwendung von drei Hauptmetaphern:

1. Der Experience Graph (Das Wissensnetz)

Die meisten Gedächtnissysteme sind wie eine flache Liste (wie eine einfache To-do-Liste). Wenn Sie nach „wie man einen Kuchen backt“ fragen, sucht das System einfach nach dem Wort „Kuchen“ und zeigt Ihnen die nächste Übereinstimmung an.

ExpGrapht ist anders. Es organisiert Erinnerungen wie ein riesiges, miteinander verbundenes Spinnennetz.

Knoten (Die Spinnen): Jedes Stück Wissen ist ein Knoten. Einige Knoten sind „Fähigkeiten“ (wie man erfolgreich einen Kuchen backt), andere sind „Lektionen“ (vergessen Sie nicht, den Ofen vorzuheizen, sonst verbrennt der Kuchen).
Kanten (Die Fäden): Diese Knoten sind miteinander verbunden. Wenn Sie lernen, wie man einen Kuchen backt, verbindet das System diesen Knoten auch mit „Brot backen“ oder „einen Ofen benutzen“, da diese Dinge miteinander verwandt sind.
Warum das wichtig ist: Wenn Sie versuchen, einen Kuchen zu backen, sucht das System nicht nur nach „Kuchen“. Es folgt den Fäden, um verwandte Lektionen über Öfen oder die Zeitplanung zu finden, die Sie vielleicht übersehen hätten, wenn Sie nur nach der engsten Übereinstimmung gesucht hätten.

2. Der Retrieval Copilot (Der schlaue Bibliothekar)

Der Assistent (der Ausführende) ist unveränderlich (frozen); er kann sich nicht ändern. Daher nutzt das System einen leichtgewichtigen „Bibliothekar“ (den Copilot), der hilft.

Wenn eine neue Aufgabe eintrifft, schaut der Bibliothekar in das Spinnennetz.
Der Bibliothekar hat zwei Regler, um die Suche zu steuern:
- Regler A (Exploration): Bleiben wir beim exakten Thema oder wandern wir auf verwandten Pfaden umher, um verborgene Schätze zu finden?
- Regler B (Vertrauen/Trust): Wählen wir die ähnlichste Erinnerung oder diejenige, die historisch gesehen am besten funktioniert hat?
Der Bibliothekar wird darauf trainiert, die perfekte Einstellung für diese Regler für jede einzelne Aufgabe zu finden.

3. Die Feedback-Schleife (Das Zeugnis)

Wie wird der Bibliothekar besser?

Das System probiert die Aufgabe zweimal aus: einmal mit Hilfe des Bibliothekars und einmal ohne.
Wenn die Version mit dem Bibliothekar eine bessere Arbeit leistet, erhält der Bibliothekar eine Belohnung („Gut gemacht“).
Wenn der Bibliothekar eine Erinnerung ausgewählt hat, die nicht geholfen hat, erhält er ein Signal („Nochmal versuchen“).
Mit der Zeit lernt der Bibliothekar genau, welche Erinnerungen tatsächlich nützlich sind und nicht nur, welche ähnlich klingen.

Was geschah in den Experimenten?

Die Forscher testeten dieses System bei einer Vielzahl von Herausforderungen, von der Beantwortung kniffliger wissenschaftlicher Fragen über das Lösen von Matheaufgaben bis hin zur Navigation durch virtuelle Häuser und der Verwaltung von App-Workflows.

Das Ergebnis: Die unveränderlichen Assistenten wurden, wenn sie mit diesem „schlauen Bibliothekar“ und dem „Spinnennetz-Archiv“ gepaart waren, bei ihrer Arbeit signifikant besser.
Die Überraschung: Das System funktionierte sogar noch besser bei den „schwächeren“ Assistenten. Es war, als würde man einem Junior-Mitarbeiter das Notizbuch eines Senior-Mentors geben; der Junior-Mitarbeiter machte einen massiven Leistungssprung, während der Senior-Mitarbeiter (der bereits gut war) sich ebenfalls verbesserte, wenn auch um eine geringere Spanne.
Effizienz: Die Assistenten wurden nicht nur klüger, sondern auch schneller. Sie machten weniger Fehler und brauchten weniger Schritte, um Aufgaben zu erledigen, weil sie das Rad nicht jedes Mal neu erfinden mussten.

Das Fazit

ExpGraph ist ein Weg, KI-Agenten ein „zweites Gehirn“ (ein externes, sich entwickelndes Gedächtnis) zu geben, ohne ihr eigentliches Gehirn nachschulen zu müssen. Es organisiert vergangene Erfolge und Misserfolge in einem vernetzten Netz und nutzt ein smartes Suchwerkzeug, um zum richtigen Zeitpunkt den richtigen Rat zu finden. Das bedeutet, dass wir leistungsstarke, unveränderliche KI-Moden nutzen und sie dennoch lernen und an neue Situationen anpassen lassen können, was Zeit und Geld spart.

Technisches Resümee: ExpGraph

Problemstellung

Large Language Model (LLM) Agenten haben beeindruckende Fähigkeiten in den Bereichen logisches Denken, Werkzeugnutzung und mehrstufige Interaktion mit Umgebungen demonstriert. Es bleibt jedoch ein kritischer Engpass bestehen: Die meisten Agenten agieren als „One-Shot-Exekutoren“, die jede Aufgabe von Grund auf neu lösen, ohne erfolgreich angewandte Strategien oder aus Fehlern gezogene Lehren systematisch wiederzuverwenden. Während das Fine-Tuning eines Exekutors auf gesammelter Erfahrung eine gängige Abhilfe ist, wird dies mit der rasanten Entwicklung von LLMs zunehmend unflexibel. Wenn ein stärkerer oder besser geeigneter Exekutor erscheint, erfordert der Prozess des Erfahrungslernens oft das erneute Training der spezifischen Modellinstanz, was das System eng an ein bestimmtes Modell koppelt. Darüber hinaus sind viele leistungsfähige LLMs quelloffen, zu groß oder zu teuer für Updates, was eine Modifikation auf Parameterebene unpraktikabel macht.

Die Kernherausforderung, die diese Arbeit adressiert, la로: Wie kann ein LLM-Agent aus akkumulierter Erfahrung lernen, während der Exekutor selbst eingefroren und austauschbar bleibt? Bestehende Methoden behandeln wiederverwendbare Erfahrungen oft als isolierte Datensätze oder verlassen sich auf ein flaches Nearest-Neighbor-Matching, wodurch sie die relationale Natur von Strategien, Einschränkungen und Fehlermustern nicht erfassen. Zudem entspricht semantische Ähnlichkeit nicht immer dem nachgelagerten Nutzen; eine oberflächlich ähnlich erscheinende Erfahrung bietet möglicherweise wenig Nutzen, während eine strukturell verwandte Erfahrung eine entscheidende übertragbare Strategie liefern kann.

Methodik: ExpGraph

Die Autoren schlagen ExpGraph vor, ein modellagnostisches Framework zum Lernen aus Erfahrung, das eingefrorene LLM-Exekutoren durch einen selbstentwickelnden relationalen Speicher und einen trainierbaren Retrieval-Copiloten verbessert. Das Framework entkoppelt die Ausführung vom Erfahrungslernen, sodass dasselbe externe System verschiedene eingefrorene Exekutoren verbessern kann, ohne deren Parameter zu modifizieren.

Kernkomponenten

Konstruktion des Erfahrungsgraphen:
- Historische Trajektorien ( $\tau = (x, \xi, y, s)$ ) werden in kompakte natürliche Sprach-Erfahrungseinheiten ( $e$ ) zusammengefasst.
- Hochwertige Trajektorien werden zu Skills (erfolgreiche Muster, Heuristiken) destilliert, während minderwertige Trajektorien zu Lessons (Fehlermodi, Einschränkungen) destilliert werden.
- Diese Einheiten bilden Knoten in einem spärlichen, ungerichteten Graphen. Kanten verbinden semantisch oder strategisch verwandte Erfahrungen basierend auf Kosinus-Ähnlichkeitsschwellenwerten und schaffen so eine Struktur, die über flache Listen hinausgeht.
Nutzungsgesteuerte Graph-Retrieval (Utility-Guided Graph Retrieval):
- Retrieval Copilot: Eine leichte, trainierbare Policy ( $\pi_{ret}$ $π_{r e t}$ ) sagt zwei adaptive Kontrollvariablen für jede Aufgabe voraus:
  - $R$ (Diffusion Depth): Steuert die Breite der Graph-Exploration.
  - $W$ (Utility-Utility Trade-off): Steuert das Gleichgewicht zwischen semantischer Ähnlichkeit und historischem Nutzen.
- Semantische Saat (Semantic Seeding): Das System identifiziert zunächst die Top- $M$ Seed-Knoten mittels Kosinus-Ähnlichkeit zum Task-Embedding.
- Graph-Diffusion: Unter Verwendung von Personalized PageRank expandiert das System von der Seed-Menge über den Graphen. Die Restart-Wahrscheinlichkeit wird durch $R$ gesteuert, was es dem Retrieval ermöglicht, entweder lokal zu bleiben oder weiter zu propagieren, um strukturell verwandte Erfahrungen zu finden.
- Nutzungsbewusstes Ranking (Utility-Aware Ranking): Kandidaten werden mithilfe eines Upper Confidence Bound (UCB) Scores neu bewertet, der semantische Relevanz mit einem geschätzten Nutzen-Score ( $u_v$ ) kombiniert. Dies fördert die Nutzung (Exploitation) hochwertiger Erfahrungen bei gleichzeitiger Exploration (Exploration) untertesten Knoten.
Lernen aus Nutzen-Feedback:
- Das System verwendet einen nutzungsbasierten Belohnungsmechanismus (utility-grounded reward). Für jede Aufgabe wird der eingefrorene Exekutor zweimal evaluiert: einmal mit abgerufenen Erfahrungen ( $s_{with}$ ) und einmal ohne ( $s_{without}$ ).
- Die Belohnung wird als $r = (s_{with} - s_{without}) + \eta s_{with}$ berechnet, was den marginalen Gewinn des Retrievals misst und gleichzeitig die absolute Aufgabenqualität sicherstellt.
- Optimierung des Copiloten: Der Retrieval-Copilot wird mittels Proximal Policy Optimization (PPO) optimiert, um diesen Reward zu maximieren. Er lernt so, Erfahrungen abzurufen, die den Vollzug tatsächlich verbessern, statt nur Semantik zu matchen.
- Online-Graph-Evolution: Abgerufene Knoten werden mit neuen Nutzen-Statistiken basierend auf der Belohnung aktualisiert. Neue Trajektorien werden zusammengefasst und in den Graphen eingefügt, während Knoten mit geringem Nutzen entfernt werden, was eine Selbstentwicklung des Speichers ermöglicht.

Wichtigste Beiträge

Modellagnostisches Design: ExpGraph ist das erste Framework, das graphstrukturierte Erfahrung, Graph-Diffusion, nutzungsbewusstes Ranking und adaptives Retrieval für eingefrorene Exekutoren gemeinsam unterstützt. Es erfordert kein erneutes Training des zugrunde liegenden LLMs.
Relationaler Speicher: Im Gegensatz zu flachen Speichersystemen organisiert ExpGraph Erfahrungen als Graphen, was die Entdeckung übertragbarer Strategien und Fehlermuster ermöglicht, die keine unmittelbaren semantischen Nachbarn sind.
Adaptives Retrieval-Policy: Die Einführung eines Retrieval-Copiloten, der dynamisch die Diffusionstiefe und den Trade-off zwischen Relevanz und Nutzen steuert, ermöglicht es dem System, sich sowohl an die Komplexität der Aufgabe als auch an die Fähigkeiten des Exekutors anzupassen.
Nutzenbasiertes Lernen: Durch die Optimierung des Retrievals basierend auf tatsächlichen Leistungssteigerungen (statt nur Ähnlichkeit) lernt das System, zwischen lediglich relevanten und wirklich nützlichen Erfahrungen zu unterscheiden.

Experimentelle Ergebnisse

Die Autoren evaluierten ExpGraph auf ExpSuite, welches Einzel-Turn-Aufgaben (Fragebeantwortung, mathematisches Denken, Codegenerierung) und mehrstufige agentische Umgebungen (ALFWorld, AppWorld) abdeckt.

Leistungssteigerungen:
- Statische Aufgaben: ExpGraph verbesserte den Durchschnittswert gegenüber dem stärksten Baseline-Modell um 12,2 % bei einem kleineren Exekutor (Llama-3.2-3B) und um 4,7 % bei einem größeren Exekutor (Llama-3.1-8B).
- Agentische Umgebungen: Die Gewinne waren ausgeprägter und verbesserten den gewichteten Durchschnittswert um 21,4 % (kleiner Exekutor) und 12,7 % (großer Exekutor) gegenüber der stärksten Baseline.
- Effizienz: ExpGraph reduzierte die durchschnittlichen Interaktionsschritte im Vergleich zu den effizientesten konkurrierenden Baselines in agentischen Settings um 12,7 % bzw. 21,6 %.
Generalisierung: Das Framework demonstrierte starke Zero-Shot-Transfer-Fähigkeiten. Aus kleineren Exekutoren gelernte Erfahrungskomponenten übertrugen sich effektiv auf größere, und Komponenten von Nicht-Reasoning-Exekutoren generalisierten gut auf Modelle mit Reasoning-Fähigkeiten.
Ablationsstudien: Das Entfernen einer der Schlüsselkomponenten (Graphstruktur, Diffusion, Nutzen-Ranking oder Ähnlichkeitsfilterung) verschlechterte die Leistung konsistent, was bestätigt, dass das kombinierte Design für eine effektive Erfahrungswiederverwendung essenziell ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass ExpGraph einen praktischen und exekutor-agnostischen Weg bietet, damit LLM-Agenten aus Erfahrung lernen können, ohne den zugrunde liegenden Exekutor neu zu trainieren. Die Autoren betonen:

Erfahrungs-Wiederverwendung ist kritisch für schwächere Exekutoren: Die relativen Gewinne sind bei kleineren, weniger fähigen Modellen signifikant höher, was darauf hindeutet, dass externe Erfahrung die schwächeren inhärenten Denk- oder Planungsfähigkeiten kompensieren kann.
Wert in Langzeit-Aufgaben (Long-Horizon Tasks): Die Vorteile sind in agentischen Umgebungen, die Entscheidungsfindungen über lange Zeiträume erfordern, am deutlichsten, wo vorangegangene Trajektorien Handlungen direkt leiten und unnötige Exploration reduzieren können.
Entkopplung von Lernen und Ausführung: Indem der Exekutor als austauschbarer Aufgabenlöser behandelt und das Lernen darüber, wie Kontext über ein externes System bereitzustellen ist, adressiert ExpGraph die Unflexibilität von auf Fine-Tuning basierenden Ansätzen in einer sich schnell entwickelnden LLM-Landschaft.

Die Autoren kommen zu dem Schluss, dass die Modellierung von Relationen zwischen Erfahrungen und das Erlernen von nutzungsbewusstem, adaptivem Retrieval essenziell sind, um LLM-Agenten zu ermöglichen, Aufgabenwissen effektiv zu akkumulieren und zu übertragen, insbesondere in Szenarien, in denen der Exekutor nicht aktualisiert werden kann.