🤖 AI

SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment

Das Papier schlägt SkillC vor, ein Framework, das die autonome Internalisierung von Fähigkeiten in LLM-Agenten durch die Einführung eines kontrastiven Skill-Credit-Assignments verbessert, um Strategien direkt auf erfolgsorientierte Fähigkeiten ohne Zugriff auf diese während der Laufzeit durch gepaarte Rollouts und adaptives Curriculum-Learning zu optimieren, und das bestehende Baselines bei Aufgaben mit langem Horizont ohne Zugriff auf Fähigkeiten zur Laufzeit übertrifft.

Ursprüngliche Autoren: Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten Roboter darin, komplexe Rätsel zu lösen, wie etwa ein unordentliches Haus zu organisieren oder bestimmte Artikel online zu kaufen. Um dem Roboter zu helfen, schneller zu lernen, geben Sie ihm einen „Spickzettel" (eine Fertigkeit), der ihm genau sagt, welche Schritte er unternehmen muss.

Es gibt zwei Hauptmethoden, dem Roboter beizubringen:

Die „Spickzettel für immer"-Methode: Sie lassen den Roboter den Spickzettel für immer behalten. Er lernt, das Rätsel zu lösen, aber er lernt nie, es ohne das Papier zu tun. Wenn Sie das Papier wegnehmen, scheitert er.
Die „Abgewöhnen"-Methode: Sie geben dem Roboter zunächst den Spickzettel, nehmen ihn aber langsam wieder weg. Das Ziel ist es, dass der Roboter das Rätsel schließlich ganz allein löst.

Das Problem: „Blindheit gegenüber der Internalisierung"
Die Arbeit argumentiert, dass die aktuellen „Abgewöhnen"-Methoden einen gravierenden Mangel haben, den die Autoren als Blindheit gegenüber der Internalisierung bezeichnen.

Stellen Sie sich einen Lehrer vor, der einen Schülertest bewertet.

Bei der alten Methode betrachtet der Lehrer einen Test, bei dem der Schüler einen Spickzettel benutzt hat, und vergibt eine Eins. Dann betrachtet er einen Test, bei dem der Schüler keinen Spickzettel benutzt hat, und vergibt eine Zwei.
Der Lehrer sagt: „Tolle Arbeit bei der Eins!" und gibt dem Schüler eine hohe Note.
Der Fehler: Der Lehrer erkennt nicht, dass die „Eins" nur wegen des Spickzettels möglich war. Der Lehrer belohnt den Schüler weiterhin für die Nutzung des Spickzettels, obwohl das Ziel darin besteht, dass der Schüler den Stoff ohne ihn beherrscht. Der Roboter wird verwirrt: „Habe ich Erfolg gehabt, weil ich schlau bin, oder weil ich Hilfe hatte?" Er kann den Unterschied nicht erkennen und lernt daher nie wirklich, unabhängig zu sein.

Die Lösung: SKILLC (Der „Nebeneinander"-Trainer)
Die Autoren schlagen ein neues Framework namens SKILLC vor, um dies zu beheben. Sie verwenden eine Technik namens Kontrastives Skill-Credit-Assignment (kontrastive Zuweisung von Skill-Leistungen).

So funktioniert es, anhand einer einfachen Analogie:

1. Das „Nebeneinander"-Rennen (Gepaarte Rollouts)

Anstatt nur zuzusehen, wie der Roboter einmal mit Hilfe und einmal ohne Hilfe versucht, lässt SKILLC den Roboter für jede einzelne Aufgabe zwei Rennen zur exakt gleichen Zeit absolvieren:

Rennen A: Der Roboter versucht, das Rätsel mit dem Spickzettel zu lösen.
Rennen B: Der Roboter versucht, das exakt gleiche Rätsel ohne den Spickzettel zu lösen.

2. Der „Faire Richter" (Dual-Stream-Vorteil)

Nun betrachtet der Lehrer (der Lernalgorithmus) beide Rennen nebeneinander.

Wenn der Roboter Rennen A (mit Hilfe) gewinnt, aber Rennen B (ohne Hilfe) verliert, erkennt der Lehrer: „Ah, der Roboter war nur wegen des Spickzettels erfolgreich. Ich sollte ihm noch nicht die volle Anerkennung für seine Intelligenz geben."
Wenn der Roboter beide Rennen gewinnt, sagt der Lehrer: „Toll! Du hast es ohne Hilfe gelöst. Das ist echte Fertigkeit!"

Das System belohnt den Roboter spezifisch mehr für das Gewinnen von Rennen B (der unabhängige Sieg) und belohnt ihn weniger für das Gewinnen von Rennen A, wenn er Rennen B verlor. Dies zwingt den Roboter zu lernen, dass das Einzige, was wirklich zählt, das Lösen des Problems allein ist.

3. Der „Schlaue Trainer" (Adaptiver Lehrplan)

Das System fungiert auch wie ein schlauer Trainer, der den Fortschritt des Roboters in Echtzeit beobachtet.

Am Anfang: Der Roboter ist ohne den Spickzettel schrecklich. Der Trainer sagt: „Bleib beim Spickzettel, aber lass uns versuchen, es ein wenig ohne ihn zu machen."
In der Mitte: Der Roboter wird besser. Der Trainer bemerkt, dass die Lücke zwischen „mit Hilfe" und „ohne Hilfe" kleiner wird. Der Trainer beginnt, den Spickzettel schneller wegzunehmen.
Am Ende: Der Roboter macht es allein großartig. Der Trainer sagt: „Du brauchst den Spickzettel nicht mehr. Lass uns ihn komplett in den Ruhestand schicken und das Training für diese spezifische Aufgabe einstellen."

Warum dies wichtig ist

Die Arbeit testete dies in zwei Umgebungen:

ALFWorld: Ein textbasiertes Spiel, bei dem ein Agent Hausarbeiten erledigen muss (wie „das saubere Hemd in die Schublade legen").
WebShop: Eine simulierte Online-Shopping-Aufgabe, bei der der Agent bestimmte Artikel finden und kaufen muss.

Die Ergebnisse:

SKILLC lernte, diese Aufgaben am Ende ohne jegliche Spickzettel zu lösen.
Es schnitt deutlich besser ab als frühere „Abgewöhnen"-Methoden (Verbesserung der Erfolgsraten um etwa 4–5 %).
Es performte sogar so gut wie Methoden, die die Spickzettel für immer behielten, was beweist, dass der Roboter die Fähigkeiten wirklich internalisieren kann.

Der Haken (Einschränkungen)

Die Arbeit gibt zu, dass diese Methode nicht perfekt ist:

Es ist teuer: Das gleichzeitige Ausführen von zwei Rennen (mit und ohne Hilfe) erfordert zu Beginn etwa 26 % mehr Rechenleistung.
Es benötigt gute Daten: Wenn der Roboter bei einer Aufgabe bereits sehr gut ist oder wenn die Aufgaben sehr selten sind, könnte das System verwirrt werden, wann er aufhören soll, den Spickzettel zu verwenden.

Zusammenfassung:
SKILLC ist eine neue Art, KI-Agenten zu trainieren. Anstatt Hilfe nur langsam zu entfernen, vergleicht es ständig „unterstützte" Versuche mit „ununterstützten" Versuchen. Indem es den Agenten spezifisch für das erfolgreiche Lösen ohne Hilfe belohnt, zwingt es die KI, die Fähigkeiten wirklich zu internalisieren und verwandelt einen „Spickzettel-Nutzer" in einen „selbstversorgenden Experten".

Technische Zusammenfassung: SKILLC – Lernen der autonomen Internalisierung von Fähigkeiten in LLM-Agenten durch kontrastives Kredit-Assignment

1. Problemstellung: Blindheit gegenüber Internalisierung

Strukturierte Fähigkeits-Prompts haben sich zu einem praktischen Mechanismus zur Verbesserung von Exploration und Stichprobeneffizienz in Reinforcement Learning (RL) für Agenten mit langem Zeithorizont entwickelt. In den aktuellen Ansätzen besteht jedoch eine Dichotomie:

Fähigkeitsaugmentiertes RL: Methoden behalten externe Fähigkeiten zur Inferenzzeit bei und optimieren die Leistung mit Laufzeit-Fähigkeitsunterstützung.
Fähigkeitsinternalisierendes RL: Methoden (z. B. SKILL0) ziehen Fähigkeiten während des Trainings zurück, um autonome Leistung zu ermöglichen, leiden jedoch unter einer kritischen Optimierungsfehlanpassung, die als „Internalisierungsblindheit" bezeichnet wird.

In bestehenden Internalisierungsrahmen generieren Politik-Updates (z. B. via GRPO) alle Rollouts für eine Aufgabe unter einer einzigen Prompt-Bedingung. Folglich kann der Gradient nicht zwischen einer erfolgreichen Trajektorie unterscheiden, die wirklich autonom ist, und einer, die lediglich von Fähigkeiten abhängig ist. Selbst wenn ein Curriculum weiß, dass eine Fähigkeit global nützlich ist, verstärkt das Politik-Update den Erfolg unter dem aktuellen Regime, anstatt den Agenten auf Erfolg ohne die Fähigkeit hinzusteuern. Dies verhindert, dass die Politik während der Trainingsphase lernt, autonom erfolgreich zu sein, und führt zu einer anhaltenden Lücke zwischen der Leistung „mit Fähigkeit" und „ohne Fähigkeit", die sich erst nach einem harten Curriculum-Wechsel schließt (wenn überhaupt).

2. Methodik: Das SKILLC-Framework

Die Autoren schlagen SKILLC vor, ein Framework auf Basis des Kontrastiven Fähigkeits-Kredit-Assignments (CSCA). SKILLC wandelt den Kontrast zwischen fähigkeitsinjizierter und fähigkeitsfreier Leistung in ein direktes Lernsignal um, um die Internalisierungsblindheit zu beheben. Das Framework arbeitet durch drei koordinierte Mechanismen:

A. Gepaarte kontrastive Rollouts

Für Aufgaben innerhalb des aktiven Fähigkeitssets sampelt SKILLC gepaarte Rollouts innerhalb desselben Politik-Updates:

Fähigkeitsinjiziert ( $\tau^+$ ): Generiert mit einem Fähigkeits-Prompt ( $z=1$ ).
Fähigkeitsfrei ( $\tau^-$ ): Generiert ohne den Fähigkeits-Prompt ( $z=0$ ).
Beide verwenden dieselben Politik-Parameter $\pi_\theta$ und schaffen ein selbst-kontrastives Design. Dies ermöglicht dem System, die aufgabenbezogene kontrastive Lücke $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$ zu messen. Eine positive Lücke zeigt Fähigkeitsabhängigkeit an; eine Lücke nahe Null zeigt Internalisierung an.

B. Dual-Stream-Advantage-Schätzer

Um diesen Kontrast in die Optimierung einzuspeisen, ohne globale Rangordnungen zu verzerren, verwendet SKILLC einen Dual-Stream-Advantage-Schätzer:

Stream 1 (Globale Rangordnung): Bewahrt den Standard-Gruppen-relativen Advantage unter Verwendung des Mittelwerts und der Varianz aller Trajektorien im Batch.
Stream 2 (Internalisierungsdruck): Wendet eine einseitige Korrektur basierend auf der kontrastiven Lücke an.
- Für fähigkeitsinjizierte Trajektorien ( $z=1$ ) wird der Advantage durch einen Korrekturterm $C(x)$ herabgestuft.
- Für fähigkeitsfreie Trajektorien ( $z=0$ ) wird der Advantage durch $C(x)$ heraufgestuft.
- Die Korrekturstärke $C(x)$ ist proportional zur geschätzten Lücke $\hat{\Delta}(x)$ und einer Zuordnungsstärke $\lambda$ .
  Dieser Mechanismus lenkt den Kredit explizit auf autonomen Erfolg („Erfolg ohne Fähigkeitsunterstützung") um, während der Agent noch lernt, anstatt auf einen Curriculum-Wechsel zu warten.

C. Internalisierungsbewusstes Curriculum

Ein geglättetes Validierungsniveau-Signal treibt ein adaptives Curriculum an, das drei Hyperparameter dynamisch steuert:

Zuordnungsstärke ( $\lambda$ ): Skaliert die kontrastive Korrektur.
Rollout-Allokation ( $\rho$ ): Passt den Anteil fähigkeitsinjizierter gegenüber fähigkeitsfreier Rollouts an.
Beschneidung des aktiven Fähigkeitssets: Beendet monoton Fähigkeitsarten, bei denen die Validierungslücke $\bar{\Delta}_{val}$ unter einen Schwellenwert fällt.
Im Gegensatz zu Methoden mit festem Zeitplan ist dieses Curriculum datengesteuert und reagiert auf den tatsächlich gemessenen Fortschritt der Internalisierung.

3. Hauptbeiträge

Identifizierung der Internalisierungsblindheit: Die Arbeit identifiziert, dass Internalisierung mit festem Zeitplan scheitert, weil Standard-Politik-Gradienten nicht zwischen autonomem Erfolg und fähigkeitsabhängigem Erfolg unterscheiden können, wenn alle Rollouts eine einzige Prompt-Bedingung teilen.
SKILLC-Framework: Die Autoren schlagen eine Lösung vor, die gepaarte kontrastive Rollouts und einen Dual-Stream-Advantage-Schätzer nutzt, um die Internalisierungslücke innerhalb jedes Gradientenschritts beobachtbar und handhabbar zu machen.
Adaptives Curriculum: Ein validierungsgetriebener Mechanismus, der Zuordnungsstärke, Rollout-Budget und Fähigkeitsbeendigung gemeinsam moduliert und sicherstellt, dass der Rückzug von Fähigkeiten mit der tatsächlichen Agentenfähigkeit übereinstimmt.
Kritische Charakterisierung der Anwendbarkeit: Die Arbeit bietet eine differenzierte Analyse, die zeigt, dass die Wirksamkeit von CSCA von der Signalqualität abhängt. Starke kontrastive Signale erzielen erhebliche Gewinne (z. B. +33,4 % bei der ALFWorld-Aufgabe „Pick2"), während schwache Signale bei Aufgaben mit Deckeneffekt zu Leistungsverschlechterungen führen können.

4. Experimentelle Ergebnisse

Experimente wurden auf ALFWorld (textbasierte Haushaltsaufgaben) und WebShop (Online-Einkaufen) mit dem Basismodell Qwen2.5-7B-Instruct durchgeführt.

Leistungssteigerungen: Ohne Zugriff auf Fähigkeiten zur Laufzeit übertrifft SKILLC die stärkste vorherige Basislinie für Fähigkeitsinternalisierung (SKILL0) auf ALFWorld um 5,5 % (85,9 % $\to$ 90,6 %) und auf WebShop um 4,4 % (70,9 % $\to$ 74,0 %).
Wettbewerbsfähigkeit: SKILLC bleibt mit fähigkeitsaugmentierten Methoden (die Fähigkeiten zur Inferenzzeit behalten) konkurrenzfähig. Auf ALFWorld erreicht es die Leistung von D2Skill (einer fähigkeitsaugmentierten Methode), obwohl es während der Inferenz keinen Zugriff auf Fähigkeiten hat.
Ablationsstudien:
- Das Entfernen gepaarter Rollouts (Updates unter einzelnen Bedingungen) senkt die Leistung um 3,3 %.
- Das Ersetzen der Dual-Stream-Normalisierung durch gemischte Normalisierung senkt die Leistung um 2,2 %.
- Das Fixieren des Curriculum-Gates oder das Entfernen der Beschneidung führt zu kleineren, aber konsistenten Leistungsabfällen.
Trainingsdynamik: Im Gegensatz zu SKILL0, das bis zu einem harten Wechsel eine große Lücke zwischen Erfolgsraten mit und ohne Fähigkeit aufrechterhält, zeigt SKILLC einen monotonen Rückgang dieser Lücke, die während der mittleren Trainingsphase die Nulllinie kreuzt. Dies bestätigt, dass die Politik kontinuierlich Autonomie lernt, anstatt sich auf passiven Transfer zu verlassen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SKILLC eine fundamentale Einschränkung im aktuellen agentic RL adressiert: die Unfähigkeit, während des Trainingsprozesses auf Autonomie zu optimieren, wenn Fähigkeiten vorhanden sind. Indem SKILLC die „Hilfreichkeit" einer Fähigkeit in ein direktes Kredit-Assignment-Signal für autonomen Erfolg umwandelt, eliminiert es die „Internalisierungsblindheit", die früheren Methoden innewohnt.

Die Autoren betonen, dass ihr Ansatz keine Änderung des zugrunde liegenden Politik-Optimierungsrahmens (GRPO) erfordert, sondern lediglich den Mechanismus des Kredit-Assignments modifiziert. Die Bedeutung liegt darin, eine autonome Leistung zu erzielen, die mit fähigkeitsaugmentierten Methoden mithalten kann, ohne den Laufzeit-Overhead des Fähigkeitsabrufs, und dies alles mit einem datengesteuerten, adaptiven Mechanismus für die Beendigung von Fähigkeiten.

Anerkannte Einschränkungen:
Die Arbeit stellt fest, dass SKILLC auf festen, vordefinierten Fähigkeitsinventaren basiert und in offenen Umgebungen mit dynamischer Fähigkeitsrelevanz Schwierigkeiten haben könnte. Zudem verursacht die Methode in der frühen Trainingsphase aufgrund des gepaarten Samplings einen Rechenaufwand von etwa 26 %, der jedoch abnimmt, sobald Fähigkeiten zurückgezogen werden. Die Wirksamkeit der Methode hängt zudem von der Qualität des kontrastiven Signals ab; bei Aufgaben, bei denen die Leistung bereits nahe am Maximum liegt, kann das Signal zu schwach sein, um eine weitere Internalisierung voranzutreiben.