Technische Zusammenfassung: Skill-R1: Agenten-Fähigkeitsentwicklung durch Bestärkendes Lernen

Problemstellung

Agente Large Language Models (LLMs) verlassen sich zunehmend auf Fähigkeiten (Skills) – wiederverwendbare Verfahren in natürlicher Sprache, die Planung, Werkzeugnutzung und Aktionsverifikation steuern. Allerdings stoßen aktuelle Ansätze zur Verbesserung dieser Fähigkeiten auf erhebliche Einschränkungen:

1. Kosten und Durchführbarkeit: Die Optimierung von Fähigkeiten erfordert oft Prompt-Engineering oder das Fine-Tuning des eigentlichen Aufgaben-LLM. Letzteres ist rechenintensiv, modellspezifisch und für geschlossene oder proprietäre Modelle häufig unmöglich.
2. Ineffizienz aktueller Methoden: Viele Systeme behandeln die Fähigkeitsoptimierung als Ein-Schuss-Prompt-Editierungsproblem oder verlassen sich auf eine einmalige Selbstverfeinerung. Diese Strategien stimmen häufig nicht mit nachgelagerten Belohnungen überein und nutzen die wiederkehrende Natur der Fähigkeitsverbesserung nicht aus.
3. Komplexität der Kreditvergabe: Eine effektive Fähigkeitsoptimierung ist ein gekoppeltes, zweistufiges Problem. Eine nützliche Fähigkeit muss die Qualität der Rollouts (Ausführung) unter den aktuellen Konditionen verbessern, während eine nützliche Revision beobachtete Erfolge und Misserfolge erfolgreich in eine bessere Fähigkeit für die nächste Runde übersetzen muss.

Bestehende Methoden haben Schwierigkeiten, dies als wiederkehrendes Entscheidungsproblem zu behandeln, und fehlen oft ein prinzipielles Ziel für eine gerichtete Evolution über mehrere Generationen hinweg.

Methodik: Skill-R1

Die Autoren stellen Skill-R1 vor, ein Rahmenwerk für bestärkendes Lernen, das für die instanzebene, wiederkehrende Fähigkeitsoptimierung aus verifizierbaren Belohnungen entwickelt wurde. Die Kerninnovation liegt in der Entkopplung der Aufgabenausführung von der Fähigkeitsverbesserung.

Kernarchitektur

• Eingefrorener Aufgaben-LLM: Das primäre Modell zur Aufgabenerledigung ($\pi_{task}$) bleibt eingefroren. Es generiert Rollout-Trajektorien, die von der aktuellen Fähigkeit konditioniert sind. Dies gewährleistet die Kompatibilität sowohl mit Open-Source- als auch mit Closed-Source-Modellen und eliminiert die Notwendigkeit von Gradienten durch das Aufgabenmodell.
• Leichtgewichtiges Fähigkeitsgenerator: Eine separate, trainierbare Policy ($\pi_\theta$) fungiert als Fähigkeits-Editor. Sie nimmt den Aufgabenkontext, vorherige Rollouts und deren verifizierte Ergebnisse als Eingabe, um überarbeitete Fähigkeiten zu produzieren.
• Mehr-Generationen-Schleife: Der Prozess läuft über mehrere Generationen ($g$). In jeder Generation induziert die aktuelle Fähigkeit eine Gruppe von Rollouts aus dem eingefrorenen Aufgabenmodell. Ein Verifizierer bewertet diese Rollouts, und die Historie aus Versuchen, Fehlern und Belohnungen wird angehängt, um die nächste Fähigkeitsrevision zu steuern.

Zweistufige Gruppen-relative Policy-Optimierung (GRPO)

Um den Fähigkeitsgenerator zu trainieren, führen die Autoren ein zweistufiges GRPO-Ziel ein, das auf zwei Ebenen Kredit vergibt:

1. Intra-Generation-Vorteil ($A_{intra}$): Vergleicht Rollouts, die innerhalb einer einzigen Generation unter derselben Fähigkeit gesampelt wurden. Dies isoliert die Rollout-Qualität von der Fähigkeitsqualität, ähnlich wie bei der Standard-GRPO.
2. Inter-Generation-Vorteil ($A_{inter}$): Misst die Verbesserung der durchschnittlichen verifizierten Leistung der Rollout-Population im Verhältnis zur vorherigen Generation. Dies belohnt Revisionen, die die Verteilung in Richtung höherer Belohnungen verschieben.

Das finale Vorteilssignal ist eine gewichtete Kombination:
$$A(y^{(i)}_g) = A_{intra}(y^{(i)}_g) + \lambda A_{inter}(g)$$
wobei $\lambda$ zwischen reiner Optimierung innerhalb einer Generation und verbesserung über Generationen hinweg interpoliert. Der Fähigkeitsgenerator wird so optimiert, dass er diesen zweistufigen Vorteil maximiert, was die Produktion von Fähigkeiten fördert, die nicht nur sofort gut funktionieren, sondern sich auch über die Zeit gerichtet weiterentwickeln.

Hauptbeiträge

1. Formulierung: Die Arbeit formuliert die wiederkehrende instanzebene Fähigkeitsentwicklung als zweistufiges gruppenrelatives Policy-Optimierungsproblem, das die Ausführungsqualität innerhalb von Generationen explizit mit der Fähigkeitsverbesserung über Generationen hinweg koppelt.
2. Rahmenwerk: Es wird Skill-R1 vorgeschlagen, ein modellagnostisches Rahmenwerk, das einen leichtgewichtigen Fähigkeitsgenerator trainiert, während der Aufgaben-LLM eingefroren bleibt, was es für proprietäre Modelle anwendbar macht.
3. Algorithmus: Es wird ein wiederkehrender Mehr-Generationen-Rollout-Prozess eingeführt, gepaart mit einem zweistufigen GRPO-Ziel, das Intra- und Inter-Generation-Vorteile kombiniert, um eine gerichtete Evolution zu steuern.
4. Empirische Validierung: Das Rahmenwerk wurde an Agentenaufgaben mit verifizierbaren Belohnungen evaluiert und zeigte eine überlegene Leistung im Vergleich zu Baselines ohne Fähigkeiten und zur Standard-GRPO.

Experimentelle Ergebnisse

Die Autoren evaluierten Skill-R1 an zwei Benchmarks, die mehrstufiges Schlussfolgern und Werkzeugnutzung erfordern: GAIA (heterogene Quellen) und WebWalker (Multi-Hop-Webnavigation).

• GAIA-Benchmark:

  • Baseline: GPT-4o-mini ohne Fähigkeiten erreichte nur 6,1 % Genauigkeit.
  • Vanilla GRPO: Das Training eines Editors ohne zweistufige Zerlegung verbesserte die Genauigkeit auf 29,7 %.
  • Skill-R1 (Inferenz): Die Nutzung des Mehr-Generationen-Rahmenwerks ohne gradientenbasiertes Training am Editor erreichte 30,9 %, was darauf hindeutet, dass die Rollout-Struktur selbst Vorteile bietet.
  • Skill-R1 (GRPO): Das vollständige System mit trainierten Editoren erreichte 41,8 % Genauigkeit, ein +12,1-Punkte-Gewinn gegenüber Vanilla GRPO. Die Gewinne waren bei komplexen Level-3-Aufgaben am ausgeprägtesten (38,5 % vs. 0,0 % für die Baseline ohne Fähigkeiten).

• WebWalker-Benchmark:

  • Baseline: 2,0 % Genauigkeit.
  • Vanilla GRPO: 22,0 % Genauigkeit.
  • Skill-R1 (GRPO): Erreichte 26,0 % Genauigkeit, mit signifikanten Verbesserungen bei mittelschweren und Multi-Source-Aufgaben (jeweils 29,4 % und 28,6 %).

• Analyse der Evolution:

  • Generationenfortschritt: Die Leistungsgewinne waren weitgehend monoton, wobei die bedeutendsten Sprünge zwischen den Generationen 1 und 3 auftraten. Spätere Generationen (4 und 5) verbesserten primär die Konsistenz und Zuverlässigkeit der Rollouts, anstatt völlig neue Fähigkeiten zu entdecken.
  • Training vs. Inferenz: Der trainierte Editor (GRPO) schnitt konsistent besser ab als der Editor nur für die Inferenz, insbesondere bei WebWalker. Eine qualitative Analyse zeigte, dass der trainierte Editor grundlegende ausführbare Strukturen bewahrte und Sicherheitsvorkehrungen hinzufügte, während der Editor nur für die Inferenz dazu neigte, sich an zufällige Details anzupassen, was zu spröden Artefakten führte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Skill-R1 eine praktische und effiziente Alternative zur Anpassung auf Modellebene bietet. Indem die Fähigkeitsoptimierung als wiederkehrendes, zweistufiges Problem behandelt wird, ermöglicht das Rahmenwerk:

• Black-Box-Kompatibilität: Es funktioniert mit geschlossenen Modellen, bei denen Fine-Tuning unmöglich ist.
• Gerichtete Evolution: Es geht über heuristische Selbstverfeinerung hinaus zu einem prinzipiellen, belohnungsgesteuerten Prozess, der Fähigkeiten über die Zeit verbessert.
• Robustheit: Die wiederkehrende Struktur ermöglicht es dem System, Fähigkeiten auf Basis aggregierter Evidenz (Erfolge und Misserfolge) zu verfeinern, anstatt isolierte Versuche.

Die Autoren schließen, dass die Fähigkeitsentwicklung ein tragfähiger Mechanismus zur Verbesserung des Agentenverhaltens ist, insbesondere für komplexe, mehrstufige Aufgaben, bei denen Ein-Pass-Verfeinerungsmethoden Schwierigkeiten haben. Die Ergebnisse deuten darauf hin, dass eine kleine Anzahl von Editier-Runden die Mehrheit der Fähigkeitsverbesserungen erfassen kann, wobei nachfolgende Iterationen die Zuverlässigkeit erhöhen.