🤖 machine learning

Training Language Agents to Learn from Experience

Dieser Beitrag stellt das In-context Training (ICT)-Framework und eine auf Bestärkendem Lernen basierende Pipeline vor, die Sprachagenten ermöglicht, Erfahrungen aus vergangenen Interaktionen in wiederverwendbare Systemprompts zu destillieren und dadurch eine selbstständige Verbesserung über verschiedene Aufgaben hinweg sowie eine Generalisierung auf unbekannte Umgebungen ohne menschliche Aufsicht zu erreichen.

Ursprüngliche Autoren: Yuval Shalev, Zifeng Ding, Mateja Jamnik

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuval Shalev, Zifeng Ding, Mateja Jamnik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber leicht naiven Roboter darin, Videospiele zu spielen.

Das Problem: Die „Einmal-und-fertig"-Amnesie
Derzeit sind diese KI-Roboter (genannt „Sprachagenten") gut darin, aus ihren Fehlern zu lernen, aber nur auf sehr spezifische Weise. Wenn sie ein Level in einem Spiel nicht schaffen, können sie zurückblicken, sagen: „Oh, ich habe die falsche Wand getroffen", und es sofort erneut versuchen. Sie werden besser in diesem spezifischen Level.

Sobald sie jedoch dieses Level gemeistert haben, vergessen sie alles. Wenn Sie ihnen ein neues Level geben, das nur geringfügig anders ist, verhalten sie sich so, als hätten sie das Spiel noch nie gespielt. Sie müssen die Lektion von Grund auf neu lernen. Es ist wie ein Schüler, der hart für einen Mathe-Test lernt, eine Eins bekommt und dann am nächsten Tag in den Physikunterricht geht, als hätte er noch nie eine Zahl gesehen. Sie können die allgemeinen Lehren (wie „überprüfe immer deine Umgebung") nicht in eine wiederverwendbare Regelmappe „destillieren".

Die Lösung: Der „Trainer" und der „Spieler"
Die Autoren dieser Arbeit haben ein neues Framework namens In-context Training (ICT) eingeführt. Stellen Sie sich dies als ein Zwei-Personen-Team vor:

Der Spieler (Der Akteur): Dies ist der Roboter, der versucht, die Aufgaben zu lösen. Er spielt das Spiel, macht Fehler und sammelt eine „Wiedergabe" dessen, was passiert ist.
Der Trainer (Der Reflektor): Dies ist eine zweite KI, die die Wiedergaben des Spielers beobachtet. Die Aufgabe des Trainers besteht nicht darin, das Spiel zu spielen; er schreibt ein neues Instruktionshandbuch (ein System-Prompt) für den Spieler.

Hier liegt der Zauber: Der Trainer sagt nicht einfach: „Triff nicht diese Wand." Er betrachtet eine Reihe verschiedener Levels, die der Spieler gerade versucht hat, findet gemeinsame Muster und schreibt eine allgemeine Regel für den Spieler, die er auf zukünftige, unvorhergesehene Levels anwenden kann.

Das Training: Lernen, zu coachen
Die große Frage war: Können wir dem Trainer beibringen, diese besseren Handbücher zu schreiben?

Die Forscher nutzten keine menschlichen Lehrer oder vorab geschriebene Beispiele. Stattdessen verwendeten sie eine „Versuch-und-Irrtum"-Schleife (Reinforcement Learning):

Der Trainer schreibt ein Handbuch.
Der Spieler versucht, eine Reihe neuer, unvorhergesehener Rätsel mit diesem Handbuch zu lösen.
Wenn der Spieler gut abschneidet, erhält der Trainer ein „gut gemacht"-Signal. Wenn der Spieler scheitert, erhält er ein „versuch es erneut"-Signal.
Der Trainer lernt aus diesem Feedback, um beim nächsten Mal noch bessere Handbücher zu schreiben.

Die Ergebnisse: Von Schach zum Kochen
Das Team testete dies an zwei sehr unterschiedlichen „Videospiele" (simulierten Umgebungen):

ALFWorld: Ein textbasiertes Haus, in dem der Roboter Objekte finden, sie reinigen und an bestimmte Orte stellen muss (wie „kühle eine Kartoffel und lege sie in den Kühlschrank").
MiniHack: Ein Rasterwelt-Spiel, in dem der Roboter Labyrinthe navigieren, Essen essen oder Zauberstäbe benutzen muss.

Was sie fanden:

Der Trainer wurde schlauer: Die trainierten Trainer waren viel besser darin, Instruktionshandbücher zu schreiben als untrainierte. Sie lehrten den Spieler erfolgreich, wie man neue Arten von Rätseln löst, die er noch nie gesehen hatte, indem er einfach Beispiele von anderen Arten von Rätseln betrachtete.
Überspiel-Zauber: In einer überraschenden Wendung nahmen sie einen Trainer, der nur auf dem Rasterwelt-Spiel (MiniHack) trainiert worden war, und baten ihn, den Spieler im Haus-Spiel (ALFWorld) zu coachen. Obwohl die Spiele völlig unterschiedlich waren, gelang es dem Trainer dennoch, ein Handbuch zu schreiben, das dem Spieler half, besser abzuschneiden als ein Roboter ohne jegliches Coaching. Er lernte die Fähigkeit zu lernen, nicht nur die spezifischen Spielregeln.
Mehr Runden, bessere Ergebnisse: Je mehr der Trainer das Schreiben von Handbüchern übte (durch mehr „Meta-Runden"), desto besser wurde der Spieler, sogar über die Anzahl der Übungsrunden hinaus, die der Trainer während des Trainings gesehen hatte.

Das Toolkit: MetaGym
Schließlich veröffentlichten die Autoren ein kostenloses Software-Tool namens MetaGym. Stellen Sie sich dies als einen „Lego-Bausatz" für Forscher vor. Es ermöglicht jedem, leicht eigene „Trainer-gegen-Spieler"-Trainingsumgebungen zu erstellen, um zu testen, ob ihre KI aus Erfahrungen lernen kann.

Auf den Punkt gebracht
Diese Arbeit beweist, dass KI-Agenten so trainiert werden können, dass sie aufhören, „Amnesiker" zu sein. Indem ein Trainer verwendet wird, der die Erfahrungen des Spielers beobachtet und bessere Regeln für die Zukunft schreibt, kann die KI allgemeine Lehren lernen, die auf neue, unvorhergesehene Herausforderungen anwendbar sind. Es ist der Unterschied zwischen einem Roboter, der eine einzige Karte auswendig lernt, und einem Roboter, der lernt, jede Karte zu lesen.

Technischer Zusammenfassung: Training von Sprachagenten zum Lernen aus Erfahrung

Problemstellung

Aktuelle reflexionsbasierte Methoden für Large Language Model (LLM)-Agenten konzentrieren sich primär auf die Selbstkorrektur innerhalb einer einzelnen Aufgabeninstanz. Obwohl diese Methoden effektiv sind, um das Verhalten bei einem spezifischen Problem durch wiederholte Versuche zu verfeinern, scheitern sie daran, Erfahrung in wiederverwendbare Lehren zu destillieren, die die Leistung bei zukünftigen, unbekannten Aufgaben verbessern. Diese Einschränkung ist in realen Szenarien kritisch, in denen Aufgaben nicht wiederholt werden können (z. B. Schachpartien oder Kochen) und in denen Erkenntnisse aus einer Aufgabeninstanz idealerweise auf ähnliche, unbekannte Aufgaben verallgemeinert werden sollten. Die zentrale Forschungsfrage lautet, ob LLMs so trainiert werden können, dass sie Selbstreflexionen generieren, die eine aufgabenübergreifende Selbstverbesserung ermöglichen, und wenn ja, wie dies ohne Rückgriff auf vom Menschen bereitgestellte Beispiele erreicht werden kann.

Methodik

Die In-Context-Training (ICT)-Aufgabe

Die Autoren stellen die In-Context-Training (ICT)-Aufgabe vor, ein Rahmenwerk, das entwickelt wurde, um die Fähigkeit eines LLMs zu bewerten, aus Erfahrung für eine aufgabenübergreifende Selbstverbesserung zu lernen. Das Rahmenwerk verwendet eine Dual-LLM-Architektur:

Akteur ( $LLM_{act}$ ): Ein operativer Agent, der basierend auf einem Systemprompt mit einer Umgebung interagiert. Entscheidend ist, dass der Akteur in jedem Zug der ICT-Aufgabe mit einem neuen, unbekannten Batch von Aufgaben konfrontiert wird und nur einen Versuch pro Aufgabe hat.
Reflektor ( $LLM_{refl}$ ): Ein Meta-Agent, der die vom Akteur gesammelten Trajektorien beobachtet und einen verbesserten Systemprompt ( $sp_i$ ) generiert, der darauf abzielt, die Leistung des Akteurs beim nächsten Batch unbekannter Aufgaben zu steigern.

Das Ziel besteht darin, dass der Reflektor Episoden aus einem Trainingsdatensatz ( $E_{train}$ ) analysiert und einen Systemprompt generiert, der die kumulative Belohnung des Akteurs auf einem zurückgehaltenen Validierungsdatensatz ( $E_{val}$ ) unbekannter Aufgabentypen maximiert.

Trainingspipeline

Um den Reflektor zu befähigen, diese Fähigkeit zu erlernen, schlagen die Autoren eine auf Reinforcement Learning (RL) basierende Feinabstimmungspipeline vor:

Datensatzerstellung: Die ICT-Schleife wird mehrfach mit einem Basismodell ausgeführt, um einen Datensatz von Tupeln $(sp_i, obs_i, \text{Aufgabenbatch})$ zu generieren. Dies erfasst diverse Systemprompts und die entsprechenden Meta-Beobachtungen (Interaktionstrajektorien).
Belohnungssignal: Das Trainingsbelohnungssignal wird direkt aus der Erfahrung abgeleitet. Für einen vom Reflektor generierten Kandidaten-Systemprompt wird die Belohnung berechnet, indem der vorherige Batch von Aufgaben mit dem Akteursmodell unter dem neuen Prompt erneut abgespielt wird. Dies ermutigt den Reflektor, Leistungsprobleme im vorherigen Batch zu identifizieren und Lösungen vorzuschlagen, die verallgemeinerbar sind, anstatt sich auf den unmittelbaren Batch zu überanpassen.
Optimierung: Der Reflektor wird mit dem GRPO-Algorithmus (Group Relative Policy Optimization) feinabgestimmt. Während des Trainings sampelt der Reflektor mehrere Kandidaten-Prompts, die durch das erneute Abspielen von Aufgaben mit einem eingefrorenen Akteur bewertet werden. Die Scores treiben die Vorteilsschätzung und Parameteraktualisierungen an.

Infrastruktur: MetaGym

Die Autoren stellen MetaGym vor, eine generische Python-Bibliothek zur Konstruktion von Meta-Umgebungen aus bestehenden Gym-ähnlichen Umgebungen. Dieses Werkzeug erleichtert die Erstellung des für ICT erforderlichen Dual-LLM-Setups, indem es die Aufgabeninstanziierung, parallele Ausführung und die Interaktion zwischen Akteur und Reflektor verwaltet.

Hauptbeiträge

Eine Trainingspipeline für aufgabenübergreifende Selbstverbesserung: Eine Methode zur Feinabstimmung von LLMs, um Reflexionen zu generieren, die die Leistung über unbekannte Aufgabeninstanzen hinweg verbessern, ohne auf vom Menschen bereitgestellte Labels oder Beispiele zurückzugreifen.
Die In-Context-Training (ICT)-Aufgabe: Ein neuartiges Evaluierungsrahmenwerk, das Online-Selbstverbesserungsfähigkeiten misst, bei denen Aufgaben nicht wiederholbar sind und das Modell gezwungen wird, übertragbare Strategien zu lernen, anstatt spezifische Lösungen auswendig zu lernen.
MetaGym: Eine Open-Source-Bibliothek, die die Konstruktion von Meta-Umgebungen für die Forschung an sich selbst verbessernden Sprachagenten ermöglicht.

Experimentelle Ergebnisse

Der Ansatz wurde an zwei Benchmarks evaluiert: ALFWorld (textbasierte Haushaltsaufgaben) und MiniHack (2D-Gitterwelt-Aufgaben). In beiden Fällen wurden Aufgabentypen in Meta-Trainings- und Meta-Test-Sets partitioniert, um sicherzustellen, dass der Reflektor verallgemeinerbare Strategien lernte und nicht spezifische Aufgabeninstanzen auswendig lernte.

Aufgabenübergreifende Verbesserung: Trainierte Reflektoren schnitten bei fast allen zurückgehaltenen Aufgabentypen in beiden Benchmarks konsistent besser ab als untrainierte Baselines (Qwen2.5-7B-Instruct) und initiale Prompts. Dies zeigt, dass die Fähigkeit, aus Erfahrung zu lernen, selbst eine erlernbare Metafertigkeit ist.
Verallgemeinerung über das Training hinaus: In einigen Fällen gelang es Reflektoren, die auf MiniHack trainiert wurden, die Leistung bei ALFWorld-Aufgaben zu verbessern (und umgekehrt), was eine Übertragbarkeit zwischen grundlegend unterschiedlichen Umgebungen indiziert.
Meta-Züge und Horizont: Die Leistung verbesserte sich über die Anzahl der während des Trainings gesehenen Meta-Züge (Zug 4) hinaus, was darauf hindeutet, dass das Modell seine selbst generierten Prompts rekursiv verfeinern kann.
Batch-Größeneffekte: Größere Batch-Größen ( $k=5$ ) lieferten im Allgemeinen bessere Ergebnisse, insbesondere in MiniHack, indem sie vielfältigere Erfahrungen boten und die Spärlichkeit der Belohnungssignale reduzierten. In ALFWorld waren jedoch kleinere Batches ( $k=3$ ) manchmal ausreichend, was auf abnehmende Grenzerträge bei größeren Batches je nach Umgebung hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Lernen aus Erfahrung eine erlernbare Fähigkeit ist. Durch die Verschiebung des Fokus von der Selbstkorrektur innerhalb einer einzelnen Aufgabe zur Selbstverbesserung über eine Familie von Aufgaben hinweg bieten die Autoren einen Weg zur Entwicklung allgemeiner Agenten, die sich an offene Umgebungen anpassen können.

Die Arbeit betont, dass:

Reflexionsmechanismen so trainiert werden können, dass sie wiederverwendbare Lehren extrahieren, und damit über das aktuelle Paradigma hinausgehen, bei dem Agenten für jede neue Aufgabe Lehren „neu lernen" müssen.
Diese Fähigkeit ohne menschliche Aufsicht erworben werden kann, indem sich ausschließlich auf die eigenen Interaktionsdaten des Agenten verlassen wird.
Das vorgeschlagene Rahmenwerk (ICT) und das Werkzeug (MetaGym) einen standardisierten Weg bieten, um sich selbst verbessernde Agenten zu evaluieren und zu erforschen, was möglicherweise die Aufmerksamkeit des Feldes auf aufgabenübergreifende Verallgemeinerung lenken könnte.

Die Autoren bleiben hinsichtlich der Einschränkungen bescheiden und weisen darauf hin, dass die Aufrechterhaltung separater Akteur- und Reflektor-Modelle rechenintensiv ist und dass die aktuelle Abhängigkeit von einem festen zurückgehaltenen Set für die Evaluierung reale Szenarien, in denen solche Sets nicht verfügbar sind, möglicherweise nicht perfekt widerspiegelt. Sie schlagen vor, dass zukünftige Arbeiten lebenslanges Lernen ohne feste Stoppkriterien erforschen könnten.