💬 NLP

Agent Learning via Early Experience

Dieser Beitrag führt „frühe Erfahrungen" ein, ein Paradigma, bei dem Sprachagenten aus ihren eigenen Interaktionsdaten ohne explizite Belohnungssignale durch implizite Weltmodellierung und Selbstreflexion lernen und dabei eine verbesserte Wirksamkeit und Generalisierung zeigen, während sie die Lücke zwischen überwachtem Feinabstimmen und bestärkendem Lernen überbrücken.

Ursprüngliche Autoren: Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, X

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, Xian Li, Ashish Shah, Dat Huynh, Hengduo Li, Zi Yang, Sara Cao, Lawrence Jang, Shuyan Zhou, Jiacheng Zhu, Huan Sun, Jason Weston, Yu Su, Yifan Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, wie er ein riesiges, komplexes Labyrinth navigiert. In der Vergangenheit gab es zwei Hauptmethoden, um diesen Roboter zu unterrichten:

Die „Schatten"-Methode (Imitationslernen): Sie stellen einen menschlichen Experten ein, der das Labyrinth bereits perfekt gelöst hat. Sie lassen den Roboter den Experten den Weg immer und immer wieder abgehen beobachten. Der Roboter merkt sich die Schritte: „Bei der roten Tür links abbiegen, dann geradeaus gehen."
- Das Problem: Der Roboter kennt nur den einen Weg, den der Experte genommen hat. Wenn der Experten einen winzigen Fehler gemacht hat oder wenn der Roboter leicht vom Kurs abweicht, gerät er in Panik, weil er keine Ahnung hat, was passiert, wenn er rechts statt links abbiegt. Es ist wie ein Schüler, der die Antworten eines Übungstests auswendig gelernt hat, aber bei der echten Prüfung durchfällt, weil die Fragen leicht anders sind.
Die „Versuch-und-Irrtum"-Methode (Bestärkendes Lernen): Sie lassen den Roboter das Labyrinth allein durchlaufen. Jedes Mal, wenn er gegen eine Wand läuft, erhält er einen „Stromschlag" (eine negative Belohnung). Jedes Mal, wenn er den Ausgang findet, erhält er einen „Keks" (eine positive Belohnung).
- Das Problem: In der realen Welt (wie beim Durchsuchen einer Website oder der Nutzung eines Werkzeugs) warten bei jedem Schritt keine „Stromschläge" oder „Kekse". Sie könnten einen Knopf drücken und nichts passiert, oder Sie könnten ein Formular ausfüllen und erst Tage später wissen, ob Sie es richtig gemacht haben. Ohne klares Feedback dreht der Roboter die Räder durch, probiert Millionen zufälliger Dinge aus, was unglaublich langsam und ineffizient ist.

Die neue Idee: „Frühe Erfahrung"

Dieser Artikel schlägt einen cleveren Mittelweg vor, der Frühe Erfahrung genannt wird.

Stellen Sie es sich so vor: Anstatt nur den Experten zu beobachten, darf der Roboter vor dem eigentlichen Training ein paar eigene „Übungsschwünge" machen.

So funktioniert es, unter Verwendung zweier spezifischer Strategien, die die Autoren entwickelt haben:

1. Der „Was-wäre-wenn"-Simulator (Implizite Weltmodellierung)

Stellen Sie sich vor, der Roboter steht an einer Gabelung im Weg.

Der Experte sagt: „Gehen Sie links."
Der Roboter fragt: „Was passiert, wenn ich rechts gehe?" oder „Was passiert, wenn ich springe?"

Bei der Methode der Frühen Erfahrung probiert der Roboter diese „Was-wäre-wenn"-Züge tatsächlich in einer sicheren Simulation aus. Er sieht das Ergebnis: „Oh, wenn ich rechts gehe, falle ich in eine Grube", oder „Wenn ich springe, stoße ich an die Decke."

Der Roboter braucht keinen „Keks" oder „Stromschlag", um dies zu lernen. Er lernt einfach die Regeln der Welt. Er baut eine innere Karte von Ursache und Wirkung auf: Aktion A führt zu Ergebnis X. Indem er vorhersagt, was als Nächstes passiert, versteht der Roboter die Umgebung viel besser als ein Roboter, der nur den Weg des Experten auswendig gelernt hat.

2. Das „Selbstreflexions"-Journal (Selbstreflexion)

Stellen Sie sich vor, der Roboter übt eine Rede.

Der Experte sagt: „Sag 'Hallo'."
Der Roboter versucht: „Sag 'Auf Wiedersehen'."
Das Ergebnis: Das Publikum sieht verwirrt aus.

Bei dieser Strategie betrachtet der Roboter seine eigenen „Fehler" und die „richtige" Wahl des Experten nebeneinander. Dann nutzt er sein eigenes Gehirn (ein großes Sprachmodell), um sich eine kleine Notiz zu schreiben: „Ich habe 'Auf Wiedersehen' gesagt, aber der Experte sagte 'Hallo'. Das Publikum sah verwirrt aus, als ich 'Auf Wiedersehen' sagte, aber sie lächelten, als der Experte 'Hallo' sagte. Daher ist 'Hallo' besser, weil es zur Situation passt."

Der Roboter merkt sich nicht nur das Wort „Hallo"; er lernt die Begründung, warum diese Wahl besser war. Er verwandelt seine eigenen Misserfolge in einen Lehrplan.

Warum dies wichtig ist (Die Ergebnisse)

Die Forscher testeten diese Idee an acht verschiedenen „Labyrinthen", darunter:

Das Navigieren von Websites (wie das Einkaufen eines bestimmten Hemdes).
Das Lösen von Wissenschaftsexperimenten.
Die Planung komplexer Reiseitinerare.
Die Nutzung von Computerwerkzeugen.

Die Erkenntnisse waren klar:

Besser als nur Beobachten: Roboter, die mit „Früher Erfahrung" trainiert wurden, waren viel besser darin, Probleme zu lösen, als Roboter, die nur Experten beobachteten.
Besser im Umgang mit Überraschungen: Wenn die Roboter neuen Situationen gegenüberstanden, die sie noch nie gesehen hatten (außerhalb des Bereichs), stürzten sie nicht so oft ab. Sie verstanden die Regeln des Spiels, nicht nur die Züge.
Weniger Daten benötigt: Sie erreichten eine hohe Leistung mit nur einem Bruchteil der normalerweise erforderlichen Expertendaten.
Eine Brücke in die Zukunft: Selbst wenn später klare Belohnungen verfügbar sind (wie in Videospielen), ließ das Starten mit „Früher Erfahrung" die Roboter noch schneller lernen.

Das große Ganze

Der Artikel argumentiert, dass wir nicht warten müssen, bis perfekte „Belohnungssysteme" (wie Kekse und Stromschläge) für jede Aufgabe in der realen Welt erfunden werden. Wir können Agenten jetzt schon lehren, aus ihren eigenen „Was-wäre-wenn"-Szenarien und ihren eigenen Reflexionen über Fehler zu lernen. Es ist ein Weg, einen Roboter von einem passiven Schüler, der Antworten auswendig lernt, in einen aktiven Lernenden zu verwandeln, der versteht, wie die Welt funktioniert.

Technische Zusammenfassung: Agentenlernen durch frühe Erfahrungen

1. Problemstellung

Das langfristige Ziel von Sprachagenten ist es, durch ihre eigenen Erfahrungen in komplexen, realweltlichen Aufgaben zu lernen und sich zu verbessern. Aktuelle Trainingsparadigmen stoßen jedoch auf erhebliche Grenzen:

Reinforcement Learning (RL): Obwohl RL in Domänen mit überprüfbaren Belohnungen (z. B. Spiele) erfolgreich ist, ist die Anwendung von RL auf reale Sprachagenten schwierig. Viele Umgebungen (z. B. Websites, mehrstufige Werkzeugnutzung) verfügen über keine überprüfbaren oder dichten Belohnungssignale oder erfordern ineffiziente Rollouts über lange Horizonte, was die Zuordnung von Krediten (Credit Assignment) instabil macht.
Supervised Fine-Tuning (SFT/Imitationslernen): Die meisten aktuellen Agenten verlassen sich auf SFT mit von Experten kuratierten Daten. Obwohl dieser Ansatz effizient ist, weist er inhärente Einschränkungen auf:
- Verteilungsverschiebung: Agenten interagieren während des Trainings nicht mit der Umgebung und beobachten daher niemals die Konsequenzen nicht-expertischer Aktionen. Dies führt zu sich kumulierenden Fehlern, wenn der Agent von der Trainingsverteilung abweicht.
- Begrenzte Generalisierung: Expertendemonstrationen erfassen nur einen engen Bereich von Szenarien, was die Fähigkeit des Agenten einschränkt, auf nicht gesehene Situationen zu generalisieren oder sich von Fehlern zu erholen.
- Skalierbarkeit: Hochwertige Expertendemonstrationen sind schwer zu skalieren.

Die Kernherausforderung besteht darin, Agenten so zu trainieren, dass sie aus ihren eigenen Erfahrungen wachsen, ohne sich auf externe Belohnungssignale zu verlassen oder streng durch den Abdeckungsbereich menschlicher Demonstrationen gebunden zu sein.

2. Methodik: Das Paradigma der frühen Erfahrungen

Die Autoren schlagen frühe Erfahrungen vor, ein Paradigma als Mittelweg zwischen Imitationslernen und Reinforcement Learning. In diesem Setting lernen Agenten nicht nur aus von Menschen kuratierten Daten, sondern auch aus zukünftigen Zuständen, die durch ihre eigenen vorgeschlagenen Aktionen in der Umgebung ausgelöst werden. Diese zukünftigen Zustände dienen als Supervisionssignale, ohne externe Belohnungen zu erfordern.

Das Paradigma nutzt einen Datensatz von Expertentrajektorien $D_{expert} = \{(s_i, a_i)\}$ und erweitert ihn um einen Rollout-Datensatz $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$ , wobei $a^j_i$ alternative Aktionen sind, die aus der Policy des Agenten gesampelt werden, und $s^j_i$ die daraus resultierenden nächsten Zustände sind, die in der Umgebung beobachtet werden.

Unter diesem Paradigma werden zwei spezifische Trainingsstrategien untersucht:

A. Implizite Weltmodellierung (IWM)

Konzept: Der Agent behandelt die Sammlung beobachteter zukünftiger Zustände als eine auxiliary Vorhersageaufgabe, um die Dynamik der Umgebung zu internalisieren.
Mechanismus: Für jedes Zustands-Aktions-Paar $(s_i, a^j_i)$ im Rollout-Datensatz wird das Modell trainiert, den resultierenden nächsten Zustand $s^j_i$ vorherzusagen.
Ziel: Das Trainingsziel ist ein Next-Token-Vorhersage-Verlust: $L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$ .
Vorteil: Dies ermöglicht der Policy, Regularitäten im Umgebungsverhalten (Übergänge, Nebeneffekte, ungültige Ergebnisse) direkt zu erlernen und den Agenten ohne ein separates Simulatormodul in seinem Handlungskontext zu verankern.

B. Selbstreflexion (SR)

Konzept: Der Agent lernt aus seinen suboptimalen Aktionen, indem er sie mit Expertenaktionen vergleicht und natürliche SprachErklärungen generiert, warum die Expertenwahl überlegen ist.
Mechanismus: Für jeden Experten-Zustand $s_i$ führt der Agent die Expertenaktion $a_i$ aus, um $s_{i+1}$ zu erhalten, sowie alternative Aktionen $a^j_i$ , um $s^j_i$ zu erhalten. Das Modell wird dann aufgefordert, eine Chain-of-Thought-Erklärung $c^j_i$ zu generieren, die begründet, warum $a_i$ aufgrund der Unterschiede in den Ergebnissen gegenüber $a^j_i$ vorzuziehen ist.
Ziel: Das Modell wird trainiert, sowohl die Begründung $c^j_i$ als auch die Expertenaktion $a_i$ gegeben den Zustand $s_i$ gemeinsam vorherzusagen: $L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$ .
Vorteil: Dies extrahiert feingranulare, übertragbare Entscheidungsprinzipien (z. B. Constraint-Satisfaction) aus den eigenen explorativen Fehlern des Agenten und geht über das bloße Imitieren hinaus.

3. Hauptbeiträge

Formalisierung früher Erfahrungen: Das Papier plädiert für die Formalisierung früher Erfahrungen als skalierbare, belohnungsfreie Brücke zwischen Imitationslernen und RL. Es befähigt Agenten, ihre eigenen Interaktionen in Lernsignale umzuwandeln, ohne externe Belohnungen.
Zwei Trainingsstrategien: Die Autoren schlagen vor und untersuchen systematisch Implizite Weltmodellierung (Internalisierung von Dynamiken durch Zustandsvorhersage) und Selbstreflexion (Destillation von Entscheidungsprinzipien durch Nachdenken über suboptimale Aktionen).
Umfassende Evaluation: Die Methoden werden über acht diverse Umgebungen hinweg evaluiert (embodied Navigation, Web-Navigation, mehrstufige Werkzeugnutzung, wissenschaftliche Simulation und Planung) sowie über mehrere Modellfamilien (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B).

4. Experimentelle Ergebnisse

Die Evaluation zeigt konsistente Verbesserungen gegenüber reinen Imitationslernen-Baselines:

Wirksamkeit: Über alle acht Benchmarks und Modellgrößen hinweg übertreffen sowohl IWM als auch SR das Standard-SFT.
- IWM zeigt stetige Gewinne in strukturierten Umgebungen mit vorhersagbarer Dynamik (z. B. ALFWorld, ScienceWorld, WebShop).
- SR liefert signifikante Verbesserungen bei Aufgaben, die mehrstufiges Schlussfolgern und Constraint-Satisfaction erfordern (z. B. TravelPlanner, BFCLv3).
- Bemerkenswert ist, dass IWM auf WebShop die Erfolgsraten im Vergleich zum Imitationslernen um bis zu 18,4 % verbesserte.
Generalisierung außerhalb der Verteilung (OOD): Methoden früher Erfahrungen decken konsistent einen erheblichen Teil der Leistungslücke in OOD-Splits wieder auf. In einigen Fällen (z. B. SearchQA) übersteigen die relativen Gewinne in OOD-Settings diejenigen in In-Domain-Settings, was darauf hindeutet, dass das Lernen aus eigenen Rollouts Agenten auf Zustände vorbereitet, die nicht durch Demonstrationen abgedeckt sind.
Dateneffizienz: Frühe Erfahrungen behalten auch bei deutlich weniger Expertendemonstrationen (z. B. 1/8 der Daten auf WebShop) einen Vorsprung gegenüber dem Imitationslernen.
Modellskalierung: Die Vorteile bleiben erhalten, wenn die Modellgröße auf 70 Milliarden Parameter skaliert wird (Llama-3.3-70B), wobei Checkpoints früher Erfahrungen konsistent die Top-Leistungskurve einnehmen.
Grundlage für RL: Wenn nachfolgendes RL (unter Verwendung von GRPO) auf Checkpoints angewendet wird, die mit frühen Erfahrungen trainiert wurden, liegen die finalen Leistungsobergrenzen deutlich höher als bei Startpunkten aus reinem Imitationslernen. Dies legt nahe, dass frühe Erfahrungen eine robuste Initialisierung für das „Zeitalter der Erfahrung" bieten.

5. Bedeutung und Behauptungen

Das Papier positioniert frühe Erfahrungen als notwendigen Zwischenschritt für die Entwicklung autonomer Sprachagenten. Ihre Bedeutung liegt in:

Überbrückung der Lücke: Sie bietet eine praktische Lösung für Umgebungen, in denen Belohnungen nicht verfügbar oder unzuverlässig sind, und ermöglicht es Agenten, aus Konsequenzen zu lernen, nicht nur aus statischen Demonstrationen.
Skalierbarkeit: Durch die Nutzung der eigenen Aktionen des Agenten zur Generierung von Supervision wird die Abhängigkeit von kostspieligen, hochwertigen menschlichen Demonstrationen reduziert.
Zukunftsfähigkeit: Sie fungiert als „Mid-Training"-Brücke, die Agenten auf vollständig erlebnisgetriebenes Lernen (RL) vorbereitet, sobald überprüfbare Belohnungen in neuen Umgebungen verfügbar werden, und ermöglicht weitere Gewinne ohne Neustart des Trainings.

Die Autoren schließen, dass frühe Erfahrungen Agenten befähigen, bereits jetzt aus ihren eigenen Interaktionen zu wachsen, die Grenzen aktueller imitationsbasierter Ansätze adressieren und gleichzeitig den Grundstein für das zukünftige Zeitalter erlebnisgetriebener Agenten legen.