🤖 AI

AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

Die Arbeit stellt AgentHER vor, ein Framework, das das Prinzip der Hindsight Experience Replay auf LLM-Agenten anwendet, um gescheiterte Trajektorien durch intelligente Neukennzeichnung in hochwertige Trainingsdaten umzuwandeln und so die Leistung und Dateneffizienz von Agenten auf Benchmarks wie WebArena und ToolBench signifikant zu steigern.

Ursprüngliche Autoren: Liang Ding

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Liang Ding

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lernen einen neuen Sport, sagen wir, Tennis.

Das Problem: Der „Mülltonnen"-Ansatz
Bisher haben KI-Agenten (wie ein sehr schlauer, aber noch unerfahrener Tennis-Schüler) so trainiert: Wenn sie einen Ball nicht richtig schlagen konnten und der Ball ins Aus flog, wurde dieser Versuch einfach weggeworfen. Man hat nur die perfekten Aufschläge gespeichert, um den Schüler zu trainieren.
Das ist extrem verschwenderisch! Denn oft war der Schüler gar nicht dumm. Vielleicht hat er den Ball perfekt geschlagen, aber er wollte eigentlich auf die andere Seite des Feldes spielen, nicht auf die, die der Trainer wollte. Der Versuch war also eigentlich ein Erfolg – nur für ein anderes Ziel.

Die Lösung: AgentHER (Die „Rückblick"-Methode)
Die Forscher von Alibaba haben eine Methode namens AgentHER entwickelt. Der Name steht für „Hindsight Experience Replay" (Rückblickendes Erfahrungslernen).

Stellen Sie sich AgentHER wie einen sehr geduldigen und klugen Sporttrainer vor, der folgendes tut:

Er schaut sich den „Fehler" an: Der Schüler hat den Ball ins Aus geschlagen, weil er auf das rote Ziel (Ziel A) zielen sollte.
Er stellt die entscheidende Frage: „Aber warte mal! Wenn du den Ball genau dorthin geschlagen hast, wo er jetzt liegt, hast du nicht eigentlich das blaue Ziel (Ziel B) perfekt getroffen?"
Er ändert die Aufgabe: Statt den Ball wegzuwerfen, sagt der Trainer: „Okay, der Versuch war für das rote Ziel ein Fehlschlag. Aber für das blaue Ziel war das ein perfekter Schlag!"
Er speichert es: Dieser „Fehler" wird nun als wertvoller Trainingsdatensatz für das blaue Ziel gespeichert.

Wie funktioniert das technisch? (Die 4 Stationen)
Der Prozess läuft in vier Schritten ab, wie eine kleine Fabrik für Lernmaterial:

Station 1: Der Fehler-Checker. Ein System prüft: War der Versuch total chaotisch (z. B. die KI halluzinierte Dinge) oder war es nur ein kleiner Fehler? Total chaotische Versuche werden aussortiert.
Station 2: Der Erfolgs-Sammler. Was hat die KI eigentlich richtig gemacht? Hat sie Preise verglichen? Hat sie eine Adresse gefunden? Diese echten Erfolge werden herausgefiltert.
Station 3: Der Umdeuter (Der wichtigste Schritt). Eine große KI liest die gesammelten Erfolge und erfindet eine neue Aufgabe, die genau dazu passt.
- Beispiel: Die KI hat versucht, einen günstigen Draht zu finden, hat aber einen etwas teureren gefunden. Statt zu sagen „Fehler", sagt AgentHER: „Hier ist eine neue Aufgabe: Finde einen Draht unter 6 Euro." – Und plötzlich war der Versuch perfekt!
- Der Sicherheits-Check: Damit niemand etwas Erfindet, das nicht stimmt, prüfen zwei unabhängige Richter (KI-Modelle), ob die neue Aufgabe wirklich passt. Nur wenn beide „Ja" sagen, wird der Datensatz gespeichert. Das verhindert, dass die KI lernt, Unsinn zu glauben.
Station 4: Das Verpacken. Der neue Datensatz wird in ein Format gebracht, das andere KIs lernen können.

Warum ist das so genial?

Kein Abfall mehr: Normalerweise werden 60–75 % aller Versuche von KIs weggeworfen. AgentHER nutzt fast alles. Es ist, als würde man aus dem Müll Gold machen.
Doppelt so effizient: Um die gleiche Leistung zu erreichen, braucht man mit AgentHER nur die Hälfte an „perfekten" Beispielen. Die „Fehler" machen den Rest.
Funktioniert bei allen Größen: Ob die KI klein (wie ein Smartphone-App) oder riesig (wie ein Supercomputer) ist – alle werden besser.
Lernen durch Wiederholung: Wenn man die KI mit diesen neuen Daten trainiert und sie dann wieder neue Fehler macht, kann man den Prozess wiederholen. Die KI wird mit jeder Runde schlauer.

Das Ergebnis
In Tests (wie beim Navigieren im Internet oder beim Nutzen von Werkzeugen) haben KIs, die mit AgentHER trainiert wurden, deutlich besser abgeschnitten als solche, die nur die perfekten Beispiele gelernt haben. Sie haben nicht nur die Aufgaben gelernt, die sie hätten lösen sollen, sondern auch die, die sie tatsächlich gelöst haben.

Zusammenfassend:
AgentHER lehrt uns, dass ein „Fehler" oft nur ein Erfolg ist, der am falschen Ort steht. Indem wir die Perspektive ändern und fragen: „Was hat diese Handlung eigentlich geschafft?", können wir aus jedem Misserfolg eine wertvolle Lektion für die Zukunft machen.

1. Problemstellung

Autonome LLM-Agenten (Large Language Models) scheitern in realen Szenarien wie Web-Navigation oder API-Orchestrierung häufig. Studien zeigen, dass Modelle wie GPT-4o bei Aufgaben in WebArena nur eine Erfolgsquote von unter 15 % erreichen und bei ToolBench unter 55 % liegen.

Das zentrale Problem liegt im Datenverschwendungs-Paradigma des aktuellen Trainings:

Standard-Trainingspipelines werfen gescheiterte Trajektorien (Fehlerpfade) routinemäßig weg und nutzen nur erfolgreiche Beispiele für das Fine-Tuning (Supervised Fine-Tuning, SFT).
Da die Fehlerrate oft zwischen 60 % und 75 % liegt, geht der Großteil der gesammelten Erfahrung verloren.
Diese Fehler sind jedoch keine zufälligen Rauschen. Oft führt ein Agent einen korrekten, logischen Ablauf durch, scheitert aber nur am Ziel (z. B. er findet das richtige Produkt, aber der Preis liegt knapp über dem Budgetlimit). Diese Trajektorien enthalten wertvolle, faktisch korrekte Zwischenergebnisse, die für ein anderes, erreichbares Ziel eine perfekte Demonstration darstellen.

2. Methodik: AgentHER

Die Autoren stellen AgentHER vor, eine Pipeline, die das Prinzip des Hindsight Experience Replay (HER) aus dem Reinforcement Learning auf natürliche Sprach-Trajektorien von LLM-Agenten überträgt. Die Kernidee ist: Ein Pfad, der an Ziel A scheitert, ist oft eine korrekte Demonstration für ein alternatives, erreichbares Ziel B.

Die Pipeline besteht aus vier Stufen:

Failure Detector (Fehlererkennung):
- Klassifiziert den Fehlertyp (z. B. unvollständig, Constraint-Verletzung, falsches Ergebnis, Tool-Fehler, Halluzination).
- Bestimmt die Wiederherstellbarkeit (Recoverability) und gewichtet die Schwere des Fehlers (Severity Weighting).
- Trajektorien mit katastrophalen Fehlern (z. B. Halluzinationen) werden verworfen; andere werden weiterverarbeitet. Dies reduziert das Label-Rauschen.
Outcome Extractor (Ergebnis-Extraktion):
- Extrahiert die tatsächlichen, faktisch belegten Ergebnisse und Beobachtungen aus der gescheiterten Trajektorie (z. B. gefundene Preise, Entity-Namen).
- Dient als Anker, um sicherzustellen, dass das neue Ziel auf realen Daten basiert und nicht halluziniert wird.
Prompt Relabeler (Ziel-Neu-Beschriftung):
- Ein LLM synthetisiert basierend auf den extrahierten Ergebnissen ein neues, natürliches Benutzerziel (Prompt), das die Trajektorie tatsächlich erfüllt.
- Multi-Judge-Verifikation: Um die Qualität zu sichern, muss ein zweiter unabhängiger LLM-Richter (mit Temperatur 0) das neue Ziel bestätigen. Nur wenn beide Richter zustimmen, wird das Label akzeptiert. Dies erhöht die Präzision drastisch.
- Ein Vertrauensschwellenwert ( $\theta$ ) und Wiederholungsversuche (bis zu 3x) sorgen für weitere Filterung.
Data Augmenter (Datenaufbereitung):
- Die validierten Paare aus neuem Ziel ( $\hat{g}$ $\overset{g}{^}$ ) und ursprünglicher Trajektorie ( $\tau$ $τ$ ) werden in Trainingsdaten umgewandelt:
  - SFT: Als Konversationspaar (User: neues Ziel, Assistant: Rekonstruierte Antwort).
  - DPO (Direct Preference Optimization): Das Paar wird als „gewählt" ( $\hat{g}, \tau$ ) und das ursprüngliche gescheiterte Paar als „abgelehnt" ( $g_{orig}, \tau$ ) kodiert, um dem Modell beizubringen, dass $\hat{g}$ das korrekte Ziel für diese Ausführung war.
  - ShareGPT: Kompatible Formate für gängige Frameworks.

3. Schlüsselbeiträge

Neue Formulierung: Der erste systematische Ansatz, der HER auf die Synthese von Agentendaten in natürlicher Sprache überträgt. Im Gegensatz zu vorherigen Arbeiten, die nur existierende Paare neu gewichteten, generiert AgentHER neue, erreichbare Ziele.
Robustheitsmechanismen:
- Severity Weighting: Unterscheidung zwischen schweren und leichten Fehlern (inspiriert von MQM-Fehleranalysen).
- Multi-Judge Verification: Zwei unabhängige Richter reduzieren das Label-Rauschen von 5,9 % auf 2,3 % und erhöhen die Präzision von 94,1 % auf 97,7 %.
Effizienz und Skalierbarkeit: Die Methode funktioniert konsistent über verschiedene Modellgrößen (von 1,5B bis 72B Parametern) und erfordert keine zusätzlichen Interaktionen mit der Umgebung.

4. Ergebnisse

Die Evaluation erfolgte auf WebArena (Web-Navigation) und ToolBench (API-Nutzung) mit vier Modellfamilien (GPT-4o, Qwen2.5, LLaMA-3.1).

Leistungssteigerung: AgentHER verbessert die Erfolgsquoten im Vergleich zum reinen SFT mit nur erfolgreichen Beispielen (SFT-Success) um +7,1 bis +11,7 Prozentpunkte (pp).
- Beispiel Qwen-7B auf ToolBench: +11,7 pp.
- Beispiel LLaMA-8B auf ToolBench: +11,1 pp.
Dateneffizienz: AgentHER erreicht mit nur 50 % der erfolgreichen Demonstrationsdaten die gleiche Leistung wie ein Modell, das mit 100 % der Erfolgsdaten trainiert wurde (2-fache Effizienzsteigerung).
Skalierung: Die Verbesserungen sind über alle Modellgrößen hinweg konsistent. Kleinere Modelle (7B/8B) profitieren sogar stärker als sehr große Modelle, da sie von der breiteren Abdeckung von Aufgabentypen profitieren.
Iteratives Training: Durch mehrfaches Durchlaufen des Prozesses (Neues Modell sammelt neue Fehler, wird neu gelabelt und trainiert) lassen sich die Gewinne kumulieren (+2,1 pp über zusätzliche Runden).
Generalisierung: Modelle, die auf WebArena trainiert wurden, zeigen eine Transferleistung von +9,5 pp auf ToolBench, was beweist, dass generalisierte Verhaltensweisen gelernt wurden und nicht nur spezifische Aufgaben auswendig gelernt wurden.

5. Bedeutung und Fazit

AgentHER stellt einen Paradigmenwechsel in der Ausbildung von LLM-Agenten dar. Anstatt gescheiterte Versuche als wertloses Rausch zu betrachten, werden sie durch die Frage „Welche Aufgabe löst dieser Pfad tatsächlich?" in hochwertige Trainingsdaten umgewandelt.

Praktische Relevanz: Die Methode ist kosteneffizient (teilweise regelbasiert ohne LLM-Kosten in frühen Stufen) und erhöht die Datenmenge um den Faktor ~3,7, ohne neue Umgebungsinteraktionen zu benötigen.
Wissenschaftlicher Beitrag: Sie schließt die Lücke zwischen Reinforcement Learning (HER) und dem Training von Sprachmodellen, indem sie zeigt, dass „Fehler" oft nur eine falsche Zielzuweisung sind.
Zukunftsperspektive: Die Arbeit legt den Grundstein für iterative Selbstverbesserung von Agenten und könnte auf multimodale Szenarien (Screenshots, GUI-Interaktionen) erweitert werden.

Zusammenfassend demonstriert AgentHER, dass die Unterscheidung zwischen Erfolg und Misserfolg relativ zum Ziel ist, nicht absolut zur Trajektorie. Die Umwandlung gescheiterter Einsätze in ein Curriculum für die nächste Iteration ist ein effektiver Weg, um die Fähigkeiten von Agenten signifikant zu steigern.

1. Problemstellung

2. Methodik: AgentHER

3. Schlüsselbeiträge

4. Ergebnisse

5. Bedeutung und Fazit

Mehr davon