🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill ist ein neuartiges agentisches RL-Framework, das die Erstellung von Fähigkeiten mit der Optimierung von Policies versöhnt, indem es behauptungsgesteuerte Skill-Revision, Rollout-Sampling innerhalb einer Gruppe und Thompson-Sampling in den GRPO-Algorithmus einbettet, was die automatische Koevolution von wiederverwendbaren Strategien und Policies ermöglicht, um eine überlegene Generalisierung auf ungesehenen Aufgaben zu erreichen.

Ursprüngliche Autoren: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einem Roboter beibringen, während er lernt

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein komplexes Videospiel zu spielen.

Der alte Weg: Sie bringen dem Roboter die Regeln bei, lassen ihn spielen, und wenn er scheitert, schreiben Sie manuell eine neue Regel (einen „Skill“ oder eine Fertigkeit) auf, die er beim nächsten Mal befolgen soll. Aber hier liegt das Problem: Der Roboter ändert ständig seinen eigenen Spielstil, während er besser wird. Wenn Sie eine neue Regel basierend darauf schreiben, wie er gestern gespielt hat, könnte diese Regel ihn heute sogar verwirren, weil er sich bereits weiterentwickelt hat. Es ist, als würde man versuchen, einem Kleinkind das Schuhezubinden mit einer Anleitung zu erklären, die für einen Erwachsenen geschrieben wurde; das Kleinkind ist den alten Anweisungen bereits entwachsen, aber die neuen wurden noch nicht getestet.
Der RESKILL-Weg: Anstatt Regeln in einem separaten Notizbuch zu schreiben, macht RESKILL den Prozess der Regelerstellung zu einem Teil des Spiels selbst. Es erschafft eine „Regel-Maker-Fabrik“, die innerhalb der Trainingsschleife läuft. Der Roboter probiert neue Regeln aus, während er noch lernt, sieht, ob sie helfen, behält die guten und wirft die schlechten in Echtzeit wieder weg.

Das Kernproblem: Der „Mismatch“ (Die Unstimmigkeit)

Das Paper argumenttiert, dass aktuelle Methoden unter einem Skill-Policy-Konflikt leiden.

Die Policy (Strategie): Dies ist das Gehirn des Roboters (seine Strategie beim Spielen). Es verändert sich ständig, während er lernt.
Die Skills (Fertigkeiten): Dies sind wiederverwendbare Tricks oder Abkürzungen (wie „checke immer zuerst den Kühlschrank“ oder „suche, bevor du rätst“).
Der Konflikt: Bestehende Methoden erstellen Skills getrennt vom Training des Gehirns. Sie könnten einen Skill erstellen, der für das „alte“ Gehirn funktionierte, aber mit dem „neuen“ Gehirn kollidiert. Es ist, als würde ein Trainer einem Spieler ein neues Playbook geben, während der Spieler mitten im Spiel ist, ohne zu prüfen, ob der Spieler die neuen Spielzüge auch wirklich versteht.

Wie RESKILL funktioniert: Die „Geschmackstest“-Küche

RESKILL löst dies, indem es die Erstellung von Skills direkt in den Trainingsprozess integriert, mithilfe von drei Hauptmechanismen, die die Autoren als „Reconciling Skill Creation with Policy Optimization“ (Vereinigung von Skill-Erstellung und Strategie-Optimierung) bezeichnen.

1. Der „Gruppen-Geschmackstest“ (Within-Group Sampling)

Stellen Sie sich einen Kochwettbewerb vor, bei dem ein Chefkoch (die KI) ein Gericht zubereiten muss.

Standardmethode: Der Koch bereitet 10 Gerichte mit demselben Rezept zu. Dann schreibt ein Kritiker ein neues Rezept. Der Koch probiert das neue Rezept erst später.
RESKILL-Methode: Der Koch bekommt eine Gruppe von 10 Bestellungen. Für 5 Bestellungen verwendet er das alte Rezept. Für die anderen 5 Bestellungen verwendet er ein neues Rezept (das spontan erstellt wurde).
Warum es funktioniert: Da der Koch für alle 10 Bestellungen in exakt derselben Stimmung und im exakt gleichen Zustand ist, ist der einzige Unterschied das Rezept. Das System kann sofort sehen: „Hat das neue Rezept dem Koch geholfen, genau jetzt eine höhere Punktzahl zu erreichen?“ Dies ermöglicht einen fairen, kontrollierten Vergleich, ohne zusätzliche Zeit oder Ressourcen zu benötigen.

2. Das „selbstheilende“ Regelbuch (Assertion-Driven Creator)

Wenn der Koch ein Gericht vermasselt, muss normalerweise ein Mensch eingreifen und sagen: „Du hast vergessen, die Suppe zu salzen.“ RESKILL automatisiert dies.

Es führt ein Reservoir (einen Eimer), in dem jedes Mal gespeichert wird, wenn der Koch Erfolg hatte oder gescheitert ist.
Es nutzt einen „Detektiv“ (ein LLM), der in den Eimer schaut und fragt: „Was ist schiefgelaufen? Haben wir vergessen, den Ofen zu prüfen? Haben wir nach der falschen Zutat gesucht?“
Basierend auf diesen Mustern schreibt das System automatisch einen neuen „Skill“ (eine Regel wie: Wenn du einen Topf siehst, prüfe die Temperatur, bevor du umrührst).
Entscheidend ist: Es rät nicht einfach nur. Es testet diese neue Regel sofort gegen die alte mithilfe des oben beschriebenen „Gruppen-Geschmackstests“.

3. Der „Kluge Spieler“ (Thompson Sampling)

Wie entscheidet das System, wie oft das neue Rezept gegenüber dem alten Rezept ausprobiert werden soll?

Wenn das neue Rezept vielversprechend aussieht, probiert das System es häufiger aus.
Wenn das neue Rezept schlecht aussieht, probiert es es seltener aus.
Der Clou: Das Gehirn des Roboters entwickelt sich jede Sekunde weiter. Eine Regel, die vor 10 Minuten noch funktionierte, kann jetzt schon veraltet sein. RESKILL nutzt einen mathematischen Trick namens Thompson Sampling mit adaptiver Diskontierung (Adaptive Discounting).
- Denken Sie an einen Spieler, der weiß, dass die Gewinnzahlen des gestrigen Lottos für heute nutzlos sind.
- Wenn der Roboter das neue Rezept in letzter Zeit oft ausprobiert hat, vertraut das System den neuesten Daten und ignoriert die alten Daten (Diskontierung).
- Wenn der Roboter es bisher kaum ausprobiert hat, behält es die alten Daten bei, um keine voreilige Entscheidung aufgrund eines einzigen Fehlversuchs zu treffen.
- Dies stellt sicher, dass das System immer auf den Skill wettet, der am besten zum aktuellen Gehirn des Roboters passt, nicht zum Gehirn der Vergangenheit.

Die Ergebnisse: Warum es wichtig ist

Das Paper hat RESKILL in mehreren „Spielen“ (Aufgaben) getestet:

Haushaltsaufgaben (ALFWorld): Objekte in einem virtuellen Haus bewegen.
Suchmaschinen: Komplexe Fragen beantworten, indem im Web gesucht wird.
Wissenschaft & Programmierung: Physikprobleme lösen und SQL-Code schreiben.

Die Erkenntnisse:

Besser bei schwierigen Aufgaben: RESKILL war nicht nur etwas besser; es hat die Konkurrenz bei unbekannten Aufgaben (Aufgaben, die es noch nie gesehen hatte) förmlich überrollt. Das liegt daran, dass die gelernten Skills flexibel und allgemein gültig waren, statt nur auswendig gelernte Antworten zu sein.
Keine Zusatzkosten: Es war nicht erforderlich, dass der Roboter das Spiel doppelt so lange spielt. Die Skill-Tests fanden während der normalen Trainingsschritte statt.
Selbstkorrektur: Das System hat automatisch jene Skills „geprunt“ (gelöscht), die nicht mehr funktionierten, während der Roboter klüger wurde. Es ist eine lebendige Bibliothek von Skills, die wächst und schrumpft, wie es nötig ist.

Zusammenfassende Analogie

Stellen Sie sich eine Fußballmannschaft vor:

Alte Methode: Der Trainer beobdet das Spiel, schreibt einen neuen Spielzug auf ein Whiteboard und sagt dem Team, sie sollen ihn nächste Woche ausprobieren. In der Zwischenzeit hat sich jedoch die Formation der Spieler geändert, sodass der neue Spielzug nicht mehr passt.
RESKILL: Der Coach ist während des Spiels auf dem Feld. Jedes Mal, wenn das Team angreift, probiert die Hälfte der Spieler den alten Spielzug und die andere Hälfte einen auf der Stelle erfundenen neuen Spielzug, der auf dem letzten Fehler basiert. Der Coach sieht sofort, welcher Spielzug genau jetzt ein Tor erzielt, und sagt dem Team, sie sollen dabei bleiben. Das Team entwickelt seine Strategie und sein Playbook gleichzeitig, in perfekter Harmonie.

Kurz gesagt: RESKILL hört auf, „das Spielen lernen“ und „das Lernen der Regeln“ als zwei getrennte Aufgaben zu betrachten. Es verschmilzt sie und ermöglicht es der KI, gleichzeitig ein besseres Gehirn und ein besseres Regelbuch aufzubauen.

Technisches Resümee: RESKILL – Versöhnung von Skill-Erstellung und Policy-Optimierung in Agentic RL

Problemstellung

Agentic Reinforcement Learning (RL) ermöglicht es Large Language Model (LLM) Agenten, sich durch Umgebungsbelohnungen kontinuierlich zu verbessern. Es besteht jedoch eine kritische Einschränkung: Die resultierenden Policies scheitern oft daran, systematisch wiederverwendbare, transferierbare Strategien zu akkumulieren, die über Aufgaben hinweg generalisieren. Während modulare Skills (wiederverwendbare Snippets, die aufgabenspezifische Strategien kodieren) eine Lösung bieten, entkoppeln bestehende skill-augmentierte RL-Methoden typischerweise die Skill-Erstellung von der Policy-Optimierung.

Diese Entkopplung erzeugt einen „Skill-Policy-Konflikt“. Methoden, die Skills extern entwickeln (z. B. durch Human-in-the-loop-Tests oder statische Distillation), riskieren, Skills zu übernehmen, die nicht mit der sich entwickelnden Policy des Agenten übereinstimmen. Umgekehrt können Methoden, die Skills ohne prinzipielle Tests lernen, ineffektives Wissen akkumulieren. Die Kernherausforderung besteht darin, ein Framework zu schaffen, in dem Skill-Evolution und Policy-Lernen versöhnt werden, um sicherzustellen, dass Skills direkt als Reaktion auf den aktuellen Lernzustand der Policy dynamisch erstellt, getestet und verfeinert werden.

Methodik: Das RESKILL-Framework

RESKILL (Reconciling Skill Creation with Policy Optimization) adressiert dies, indem es den Skill-Erstellungszyklus direkt in die RL-Trainingsschleife einbettet, wobei es spezifisch die gruppenweise Struktur von Group Relative Policy Optimization (GRPO) nutzt. Das Framework operiert durch drei integrierte Mechanismen:

1. Within-Group Skill-Testing

Anstatt dedizierte, teure Test-Rollouts zu verwenden, nutzt RESKILL die Tatsache aus, dass GRPO eine Gruppe $G$ von Trajektorien für dieselbe Aufgabe unter derselben Policy sampelt.

Mechanismus: Innerhalb eines einzigen Trainingsschritts werden verschiedene Skill-Versionen (z. B. ein bestehender Bestand $S_{old}$ vs. ein Kandidat $S_{new}$ ) mittels Thompson Sampling verschiedenen Rollouts innerhalb derselben Gruppe zugewiesen.
Vorteil: Dies ermöglicht einen kontrollierten, kostenfreien Vergleich von Skill-Versionen. Da die Aufgabe und die Policy über die gesamte Gruppe hinweg identisch sind, ist die Skill-Version die einzige Variable, was eine direkte Attribuierung von Leistungsunterschieden auf die Skills selbst ermöglicht.
Triple-Duty Rollouts: Jeder Rollout dient gleichzeitig: (i) der Policy-Optimierung via GRPO-Gradienten, (ii) der Fehlerdiagnose für den Skill-Creator und (iii) der Bandit-Evaluierung zur Auswahl der Skill-Version.

2. RL-in-the-Loop Skill-Erstellung

RESKILL adaptiert Anthropics „Skill Creator“-Pipeline, ersetzt jedoch menschliches Feedback durch automatisierte, belohnungsgesteuerte Signale aus dem RL-Loop.

Experience Reservoir: Ein kontinuierlich aktualisiertes Reservoir $R$ sammelt Erfolg-Misserfolg-Trajektorien-Paare, die mit ihrer jeweiligen Skill-Version und Belohnung annotiert sind.
Assertion-Driven Diagnosis: Anstatt einzelne Trajektorien zu analysieren, wendet das System einen dynamischen Satz von regelbasierten Assertions (Prädikaten) auf das gesamte Reservoir an, um vorherrschende Fehlermodi zu identifizieren.
Conditional Revision: Ein LLM-basierter Agent schlägt Kandidaten-Skill-Versionen vor (ADD-, MODIFY-, DELETE-Operationen) basierend auf diesen Fehlerprofilen. Entscheidend ist, dass vorgeschlagene Trigger gegen das Reservoir validiert werden, um sicherzustellen, dass sie eine ausreichende Aktivierungsabdeckung aufweisen, bevor sie in die Testphase eintreten.

3. Adaptive Thompson Sampling für die Skill-Evolution

Um den Trade-off zwischen der Exploration neuer Skill-Versionen und der Exploitation bekannter effektiver Versionen während der Evolution der Policy zu managen, verwendet RESKILL Thompson Sampling mit adaptiver Diskontierung.

Allokation: In jedem Schritt wird die Wahrscheinlichkeit, einen Rollout einer neuen Skill-Version zuzuweisen, durch die Posterior-Wahrscheinlichkeit bestimmt, dass die neue Version überlegen ist ( $Pr(p_{new} > p_{old})$ ).
Adaptive Diskontierung: Da sich die Policy während des Evaluierungsfensters entwickelt, werden ältere Beobachtungen veraltet. RESKILL führt einen Memory-Parameter $M$ ein, um frühere Evidenzen zu diskontieren. Der Diskontierungsfaktor $w_t$ wird basierend auf der Anzahl der neuen Episoden $n_t$ angepasst: Wenn $n_t$ klein ist, bleibt die vergangene Evidenz erhalten; wenn $n_t$ groß ist, wird die vergangene Evidenz aggressiv diskontiert, um die aktuellen Fähigkeiten der Policy widerzuspiegeln.
Accept/Reject: Am Ende eines Evolutionszyklus wird eine neue Skill-Version nur dann akzeptiert, wenn ihre erwartete Performance unter der diskontierten Posterior-Verteilung die der alten Version übersteigt.

Zentrale Beiträge

Versöhnte Ko-Evolution: RESKILL ist das erste Framework, das die Skill-Erstellung direkt in den Policy-Optimierungsschleife integriert und so das Risiko einer Skill-Policy-Fehlausrichtung eliminiert, das bei entkoppelten Ansätzen besteht.
Zero-Overhead Testing: Durch die Nutzung der Gruppenstruktur von GRPO ermöglicht RESKILL den kontrollierten Vergleich von Skill-Versionen ohne zusätzliche Rollout-Budgets oder dedizierte Testphasen.
Adaptiver Skill-Lebenszyklus: Das Framework automatisiert den vollständigen Lebenszyklus von Skills – Erstellung, Testen, Verfeinerung und Pruning – basierend auf Echtzeit-Policy-Performance und Belohnungssignalen.
Robustheit gegenüber Policy-Drift: Die Einführung der adaptiven Diskontierung in Thompson Sampling ermöglicht es dem System, die Nicht-Stationarität der sich entwickelnden Policy zu handhaben und sicherzustellen, dass Skill-Evaluierungen relevant bleiben.

Experimentelle Ergebnisse

RESKILL wurde über fünf Domänen evaluiert: Embodied Reasoning (ALFWorld), Agentic Search (NQ, HotpotQA und fünf ungesehene Datensätze), Science Discovery (ScienceWorld), Coding (InterCode-SQL) und Web Shopping (WANDS).

Leistungssteigerungen: RESKILL übertraf die Baselines, einschließlich Vanilla GRPO, Memory-based RL (MEMRL) und bestehender skill-basierter Methoden (SKILLRL, INSPO), konsistent.
- Auf ALFWorld erreichte RESKILL eine Erfolgsrate von 90,0 % (4B Modell) und 92,7 % (8B Modell) und übertraf damit die stärkste Baseline (SKILLRL) deutlich.
- Bei Agentic Search verbesserte RESKILL die Performance gegenüber SKILLRL um 2,5–2,3 % auf gesehenen Splits und erzielte noch größere Gewinne auf ungesehenen Splits.
Generalisierung auf ungesehene Aufgaben: Die signifikantesten Verbesserungen wurden bei ungesehenen und schwierigen Aufgaben beobachtet. Beispielsweise erreichte RESKILL (8B) auf ungesehenen ALFWorld-Aufgaben 95,3 %, eine Differenz von 12,7 % gegenüber SKILLRL (82,6 %). Dies deutet darauf hin, dass die versöhnte Evolution nur jene Skill-Versionen behält, die besser generalisieren.
Domänenübergreifende Anpassung: In einem Test-Time-Adaption-Experiment wurde eine auf ALFWorld trainierte Policy eingefroren und auf ScienceWorld angewendet. RESKILL passte seine Skill-Bank schnell an die neue Domäne an, ohne die Policy zu aktualisieren, während die Baseline-Modelle keine Evolution zeigten.
Effizienz: RESKILL behielt im Vergleich zu GRPO kompetitive Trainings- und Inferenzgeschwindigkeiten bei. Sein Conditional-Trigger-Mechanismus stellte sicher, dass nur relevante Skills geladen wurden, was die Kontextlängen im Vergleich zu Methoden, die alle Skills bedingungslos laden, kompakt hielt.

Bedeutung und Behauptungen

Das Paper behauptet, dass RESKILL zeigt, dass Skill-Erstellung und Policy-Lernen nicht als separate Prozesse behandelt werden sollten. Durch die Versöhnung dieser beiden Prozesse entwickelt das System die allgemeine Fähigkeit, neuen Skills zu folgen und von ihnen zu profitieren, was zu einer überlegenen Performance bei komplexen, ungesehenen und Out-of-Domain-Aufgaben führt.

Die Autoren betonen, dass die Gewinne primlich aus dem Mechanismus der versöhnten Ko-Evolution stammen und nicht aus dem spezifischen LLM zur Skill-Erstellung (Ablationsstudien zeigten, dass die Performance hoch blieb, selbst wenn der Skill-Creator das Basismodell selbst war). Das Framework etabliert ein neues Paradigma für Agentic RL, in dem Skills keine statischen Instruktionen sind, sondern dynamische, sich entwickelnde Komponenten, die mit der Policy des Agenten ko-adaptieren.