Can RL Improve Generalization of LLM Agents? An Empirical Study

Diese empirische Studie zeigt, dass Reinforcement Fine-Tuning zwar die Generalisierung von LLM-Agenten innerhalb einer Umgebung verbessert, aber bei der Übertragung auf neue Umgebungen schwächere Ergebnisse liefert, während sequenzielles Training und Mischtraining vielversprechende Lösungen für robustere Generalisierung bieten.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber noch etwas unerfahrenen Assistenten – einen KI-Agenten. Dieser Assistent kann Dinge tun, wie im Internet shoppen, Fragen beantworten oder in Videospielen herumlaufen. Das Problem ist: Wenn man ihn nur trainiert, um eine bestimmte Aufgabe perfekt zu meistern (z. B. nur in einem ganz bestimmten Online-Shop), wird er dort zum Meister. Aber sobald man ihn in einen anderen Shop schickt, mit einem anderen Layout oder anderen Regeln, stolpert er oft über die eigenen Füße.

Diese Forschungsarbeit von der Fudan-Universität fragt sich: Können wir unseren Assistenten durch „Bestrafung und Belohnung" (einem Verfahren namens Reinforcement Fine-Tuning oder RFT) so trainieren, dass er nicht nur in einem Umfeld klug ist, sondern auch in völlig neuen, unbekannten Situationen?

Hier ist die einfache Erklärung der Studie, verpackt in ein paar bildhafte Vergleiche:

1. Das große Experiment: Drei Wege zum Lernen

Die Forscher haben den Assistenten auf drei verschiedenen Wegen trainiert, um zu sehen, wie gut er sich anpasst:

• Weg 1: Vom Leichten zum Schweren (Im selben Haus)

  • Die Analogie: Stellen Sie sich vor, Sie trainieren einen Schüler für eine Matheprüfung. Zuerst lassen Sie ihn einfache Aufgaben lösen, dann schwierigere.
  • Das Ergebnis: Das funktioniert super! Wenn der Assistent in einer Umgebung (z. B. einem Web-Shop) erst einfache und dann schwierige Aufgaben lernt, wird er dort zum echten Profi. Er versteht die „Regeln des Hauses" so gut, dass er auch die kniffligsten Aufgaben meistert.

• Weg 2: Der Umzug ins Unbekannte (In ein anderes Haus)

  • Die Analogie: Jetzt schicken wir den Assistenten, der im Web-Shop trainiert wurde, plötzlich in ein Hausbau-Video-Spiel. Die Wände sind anders, die Werkzeuge sind anders, und die Sprache ist eine andere.
  • Das Ergebnis: Hier wird es knifflig. Der Assistent ist nicht mehr so klug. Er versucht, im Videospiel Dinge zu tun, die nur im Web-Shop funktionieren (wie „Suchen" statt „Bauen").
  • Der Grund: Der Assistent hat sich zu sehr auf die spezifischen Werkzeuge und die Art der Hinweise im ersten Training verlassen. Wenn diese Hinweise fehlen oder anders sind, verliert er den Boden unter den Füßen. Es ist, als würde ein Koch, der nur mit einem Messer kochen gelernt hat, versuchen, in einer Küche ohne Messer zu kochen – er weiß nicht, wie er mit den Löffeln umgehen soll.

• Weg 3: Die Weltreise (Mehrere Umgebungen nacheinander)

  • Die Analogie: Statt ihn nur in einem Haus zu lassen, schicken wir ihn auf eine Weltreise. Er lernt erst im Web-Shop, dann im Videospiel, dann im Hausbau-Simulator.
  • Das Ergebnis: Das ist der vielversprechendste Weg! Wenn man ihn nacheinander in verschiedenen Umgebungen trainiert, vergisst er das Gelernte aus dem ersten Schritt kaum. Er entwickelt eine Art „universelles Gespür" für das Lösen von Problemen. Er lernt nicht nur was zu tun ist, sondern wie man denkt.

2. Was ist das Geheimnis? (Die „Vertrauenskrise")

Die Forscher haben herausgefunden, warum der Assistent manchmal scheitert, wenn er in eine neue Umgebung kommt: Übermut (Confirmation Bias).

• Die Analogie: Ein junger Fahrer, der nur auf einer geraden Autobahn geübt hat, denkt, er sei ein Weltklasse-Fahrer. Wenn er dann plötzlich in eine kurvige Bergstraße kommt, vertraut er blind auf sein Gefühl und ignoriert die Warnschilder. Er denkt: „Ich kenne das!", obwohl die Situation völlig anders ist.
• Im Detail: Der trainierte Assistent wird oft zu selbstsicher. Er glaubt, er habe die richtige Antwort, ohne sie nochmal zu überprüfen. In neuen Umgebungen führt dieser Mangel an Selbstkritik zu Fehlern. Er sucht nicht mehr aktiv nach neuen Informationen, sondern rutscht in alte Muster.

3. Die wichtigsten Erkenntnisse für die Zukunft

• Training ist gut, aber nur im richtigen Mix: Wenn man einen Assistenten nur auf einer Sache trainiert, wird er dort super, aber in der echten Welt (die voller Überraschungen steckt) oft nutzlos.
• Vielfalt ist der Schlüssel: Um einen wirklich robusten Assistenten zu bauen, muss man ihn mit vielen verschiedenen Arten von Aufgaben und Umgebungen „füttern". Ein Mix aus verschiedenen Welten macht ihn widerstandsfähiger.
• Reihenfolge zählt: Es hilft, wenn man mit einfachen Aufgaben beginnt und dann zu schwierigen übergeht (wie beim Sporttraining). Aber man muss aufpassen, dass man ihn nicht zu sehr auf die „Werkzeuge" eines bestimmten Spiels fixiert, sonst kann er in einem anderen Spiel nicht mehr spielen.

Fazit

Diese Studie sagt uns: Ja, Reinforcement Learning (Belohnung durch Erfolg) kann KI-Agenten besser machen, aber nur wenn wir sie nicht in einer „Blase" trainieren.

Um einen Assistenten zu schaffen, der in der echten Welt funktioniert – wo alles anders ist als im Training – müssen wir ihn in vielen verschiedenen, sich ändernden Umgebungen trainieren. Nur so lernt er, nicht nur die Regeln zu befolgen, sondern wirklich zu verstehen, wie man Probleme löst, egal wo er sich gerade befindet. Es geht nicht darum, den perfekten Schachspieler zu bauen, sondern einen Menschen, der auch im Chaos des Alltags zurechtkommt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Can RL Improve Generalization of LLM Agents? An Empirical Study" von Zhiheng Xi et al. (Fudan NLP Lab, 2026) auf Deutsch.

1. Problemstellung

Reinforcement Fine-Tuning (RFT) hat sich als vielversprechende Methode erwiesen, um Large Language Model (LLM) Agenten für komplexe, interaktive Aufgaben wie Web-Navigation und Software-Engineering zu trainieren. Die meisten bestehenden Studien konzentrieren sich jedoch auf in-domänische Evaluationen, bei denen Training und Test in derselben Umgebung oder sogar auf denselben Aufgaben stattfinden.

In der realen Welt stoßen Agenten jedoch häufig auf unbekannte Umgebungen mit unterschiedlichem Hintergrundwissen, Beobachtungsräumen (Observation Spaces) und Aktionsinterfaces (Action Spaces). Die zentrale Forschungsfrage dieses Papers lautet: Generalisieren die durch RFT erzielten Verbesserungen über die Trainingsverteilung hinaus? Das Paper untersucht, ob RFT-Agenten robust gegenüber Distribution Shifts sind oder ob sie spezifische Umgebungen auswendig lernen (Overfitting) und dabei andere Fähigkeiten verlieren (Catastrophic Forgetting).

2. Methodik und Experimentelles Setup

Die Autoren führen eine systematische empirische Studie entlang drei Achsen durch, um das Generalisierungsprofil von RFT zu charakterisieren:

• Achse 1: Intra-Umgebungs-Generalisierung: Untersuchung der Leistungsfähigkeit innerhalb derselben Umgebung, aber bei variierender Aufgabenschwierigkeit (leicht vs. schwer).
• Achse 2: Inter-Umgebungs-Generalisierung: Bewertung der Transferfähigkeit auf völlig neue, ungesehene Umgebungen mit unterschiedlichen Semantiken und Schnittstellen.
• Achse 3: Sequenzielles Multi-Umgebungs-Training: Analyse des Lernverhaltens beim sequenziellen Training über mehrere Umgebungen hinweg, um Transfer und Vergessen (Forgetting) zu quantifizieren, im Vergleich zum gemeinsamen Training (Mixture Training).

Experimentelles Setup:

• Modelle: Qwen2.5-3B-Instruct und Qwen2.5-7B-Instruct.
• Umgebungen: Fünf repräsentative Agenten-Umgebungen aus dem AgentGym-Framework:
  1. WebShop (Web-Handel)
  2. SearchQA (Suchmaschinen-Q&A)
  3. TextCraft (Textbasiertes Crafting-Spiel)
  4. AlfWorld (Haushaltsaufgaben in einer textbasierten Welt)
  5. BabyAI (Embodied Agent in einem Gitternetz)
• Algorithmus: Group Relative Policy Optimization (GRPO) als RL-Algorithmus.
• Interaktionsparadigma: ReAct (Reasoning + Acting) mit Echtzeit-Feedback aus der Umgebung.
• Metriken: avg@8 (Durchschnittliche Erfolgswahrscheinlichkeit über 8 Versuche), durchschnittliche Interaktionsschritte und generierte Token.

3. Schlüsselbeiträge und Erkenntnisse

A. Generalisierung innerhalb derselben Umgebung (Intra-Environment)

• Robustheit: RFT-Agenten zeigen eine starke Generalisierung innerhalb derselben Umgebung, unabhängig von der Schwierigkeit der Trainingsdaten.
• Curriculum Learning: Ein Training nach dem Prinzip „einfach zu schwer" (Easy-to-Hard Curriculum) führt zu den besten Ergebnissen. Das Training nur auf schwierigen Daten oder nur auf leichten Daten ist weniger effektiv als die sequenzielle Kombination.
• Effizienz: RFT fördert effizientere Exploration. Die Anzahl der Interaktionsschritte und generierten Token sinkt signifikant, während die Erfolgsrate steigt.

B. Generalisierung über Umgebungen hinweg (Inter-Environment)

• Begrenzter Transfer: Während RFT die Fähigkeiten in der Trainingsumgebung massiv verbessert, ist der Transfer auf ungesehene Umgebungen schwächer und stark von der Zielumgebung abhängig.
• Positive Korrelation: Umgebungen mit ähnlichen Semantiken (z. B. SearchQA und WebShop, beide suchbasiert) zeigen einen positiven Transfer. Ein auf SearchQA trainierter Agent kann Suchabfragen flexibler formulieren und hilft beim WebShop-Task.
• Negative Interferenz: Bestimmte Umgebungen führen zu negativem Transfer. Beispielsweise führt das Training auf BabyAI (wo valide Aktionen explizit angeboten werden) dazu, dass Agenten von dieser Information abhängig werden. In Umgebungen ohne diese Hilfestellung (wie WebShop) bricht die Leistung stark ein, da die langfristige Reasoning-Fähigkeit leidet.
• Sensitivität: Die Generalisierung hängt stark von der Komplexität der Beobachtungs- und Aktionsräume sowie dem benötigten Vorwissen ab. Umgebungen mit strenger Aktionsvalidierung und spärlichem Feedback (wie AlfWorld) sind schwer zu generalisieren.

C. Sequenzielles vs. Gemeinsames Training

• Anti-Vergessen: Sequenzielles Training (zuerst Umgebung A, dann B) ermöglicht einen effektiven Transfer zu neuen Umgebungen, ohne die Leistung in der ursprünglichen Umgebung (Upstream) signifikant zu vergessen.
• Vergleich mit Mixture Training: Das sequenzielle Training erzielt vergleichbare Ergebnisse wie das gemeinsame Training auf einer Mischung aller Umgebungen (Joint Training), ist aber oft robuster gegenüber der Reihenfolge der Umgebungen, solange keine „schädlichen" Umgebungen (wie BabyAI für bestimmte Ziele) zu spät eingeführt werden.
• Reihenfolge-Effekt: Die Trainingsreihenfolge beeinflusst die Generalisierung. Ein „einfach-zu-schwer"-Ansatz über Umgebungen hinweg (z. B. BabyAI -> SearchQA) funktioniert besser als umgekehrt.

4. Fehleranalyse und Fallstudien

Die Autoren führen eine detaillierte Fehleranalyse durch und identifizieren acht häufige Fehlermodi. Zwei zentrale Erkenntnisse:

1. Confirmation Bias: Nach dem Training neigen Agenten zu Übermut und überprüfen ihre Entscheidungen nicht mehr ausreichend, was zu Fehlern führt, die durch Selbstreflexion hätten vermieden werden können.
2. Zustandsinkonsistenz: Bei Wechsel der Umgebung (Out-of-Distribution) steigt die Rate an Inkonsistenzen im Gedächtnis oder Zustand drastisch an.

• Fallstudie: Ein Agent, der auf SearchQA trainiert wurde, lernt, Suchabfragen zu verfeinern und relevante Informationen aus komplexem HTML zu extrahieren. Ein auf AlfWorld trainierter Agent fällt hingegen in eine Schleife aus redundanten Suchanfragen, wenn er auf SearchQA getestet wird, da er die Fähigkeit zur Query-Verfeinerung nicht transferieren konnte.

5. Bedeutung und Fazit

Das Paper liefert einen umfassenden Rahmen für das Verständnis von RFT-basierter Generalisierung bei LLM-Agenten. Die wichtigsten Implikationen sind:

• RFT ist kein Allheilmittel für Generalisierung: Es verbessert die Leistung in der Trainingsdomäne stark, erfordert aber sorgfältiges Design für den Einsatz in heterogenen Umgebungen.
• Curriculum Learning ist entscheidend: Die Reihenfolge des Trainings (einfach zu schwer) ist sowohl innerhalb als auch zwischen Umgebungen kritisch für den Erfolg.
• Umgebungsdesign: Die Art der Umgebung (z. B. Verfügbarkeit von validen Aktionen) bestimmt maßgeblich, ob ein Agent generalisierbare Fähigkeiten lernt oder auf spezifische Hilfen angewiesen wird.
• Praktische Anwendung: Für den realen Einsatz sollten Agenten nicht nur auf einer einzigen Umgebung trainiert werden, sondern sequenzielle oder gemischte Trainingsstrategien nutzen, um ein Gleichgewicht zwischen Spezialisierung und Generalisierung zu erreichen.

Zusammenfassend zeigt die Studie, dass RFT die Generalisierung von LLM-Agenten verbessern kann, aber diese Fähigkeit stark von der Trainingsstrategie, der Reihenfolge der Umgebungen und der Natur der Zielumgebung abhängt.