🤖 AI

SkillMaster: Toward Autonomous Skill Mastery in LLM Agents

SkillMaster ist ein neuartiges Trainingsframework, das LLM-Agenten ermöglicht, Fähigkeiten autonom durch trajektorieninformierte Überprüfung, kontrafaktische Nutzenbewertung und einen Dual-Vorteil-Reinforcement-Learning-Algorithmus zu erstellen, zu verfeinern und auszuwählen, wodurch signifikante Leistungsverbesserungen und Selbstverbesserungsfähigkeiten bei komplexen Aufgaben ohne externe Anleitung erreicht werden.

Ursprüngliche Autoren: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Vom Bibliothekar zum selbstgelehrten Experten

Stellen Sie sich vor, Sie bringen einem Roboter (einem KI-Agenten) bei, Hausarbeiten zu erledigen, wie das Putzen eines Hauses oder das Online-Einkaufen.

Der alte Weg (Aktuelle Technologie):
Stellen Sie sich den Roboter als Schüler mit einem sehr strengen, externen Bibliothekar vor.

Der Roboter versucht, eine Aufgabe zu erledigen.
Wenn er scheitert, betrachtet der Bibliothekar (ein externes Computerprogramm), was passiert ist, schreibt eine neue „Regel" oder „Fertigkeit" auf ein Blatt Papier und legt sie in ein Buch.
Der Roboter weiß nicht, wie man diese Regeln schreibt; er muss sie nur nachschlagen, wenn er sie braucht.
Das Problem: Der Roboter ist passiv. Er kann nicht entscheiden, ob eine Regel gut oder schlecht ist, und er kann eine Regel, die leicht falsch ist, nicht korrigieren. Er folgt einfach den Anweisungen des Bibliothekars.

Der neue Weg (SKILLMASTER):
SKILLMASTER verwandelt den Roboter in einen selbstgelehrten Experten, der sein eigenes Notizbuch verwaltet.

Der Roboter versucht eine Aufgabe.
Anschließend betrachtet er seine eigene Leistung und fragt: „Habe ich gut gemacht? Habe ich einen Schritt übersehen? Gibt es einen besseren Weg, dies zu tun?"
Er verwendet dann ein spezielles Werkzeug, um eine neue Regel zu schreiben, eine alte Regel zu korrigieren oder die aktuellen Regeln in seinem eigenen Notizbuch zu behalten.
Entscheidend ist, dass er lernt, wie man diese Regeln schreibt, indem er sieht, ob sie ihm tatsächlich helfen, beim nächsten Mal besser zu sein.

Wie es funktioniert: Die drei magischen Tricks

Das Papier stellt drei spezifische Tricks vor, um dieses selbstgesteuerte Lernen möglich zu machen.

1. Das „Nachspiel-Review" (Trajectory-Informed Skill Review)

Die Analogie: Stellen Sie sich einen Basketballspieler vor, der sich unmittelbar nach dem Spiel eine Aufzeichnung seines Spiels ansieht.

Alter Weg: Ein Trainer schaut sich das Band an und sagt dem Spieler: „Nächstes Mal schießen Sie von der linken Seite."
SKILLMASTER-Weg: Der Spieler schaut sich das Band an, erkennt: „Ich habe ständig daneben geschossen, weil ich nicht zuerst die Ecke geprüft habe", und schreibt diese Notiz in sein eigenes Spielbuch.
Im Papier: Nachdem die KI eine Aufgabe abgeschlossen hat (z. B. eine Tomate im Kühlschrank zu finden), überprüft sie die gesamte Geschichte dessen, was passiert ist. Sie verwendet dann einen „Tool Call" (wie einen digitalen Stift), um zu entscheiden: Eine neue Fertigkeit vorschlagen, eine alte aktualisieren oder die Dinge so lassen, wie sie sind.

2. Die „Probefahrt" (Counterfactual Utility Reward)

Die Analogie: Stellen Sie sich vor, Sie erfinden eine neue Art, Ihre Schuhe zu binden. Wie wissen Sie, ob sie tatsächlich besser ist? Sie raten nicht einfach; Sie probieren sie an einem anderen Paar Schuhe aus, um zu sehen, ob es schneller geht.

Das Problem: Wenn der Roboter sein Regelbuch ändert, wie weiß er dann, ob die Änderung gut ist? Nur weil er einmal erfolgreich war, bedeutet das nicht, dass die neue Regel perfekt ist.
SKILLMASTER-Weg: Wenn der Roboter eine Änderung seiner Fertigkeiten vorschlägt, führt das System eine „Probefahrt" durch. Es nimmt eine andere, aber ähnliche Aufgabe (eine „Sondieraufgabe") und versucht, sie mit den alten Regeln versus den neuen Regeln zu erledigen.
- Wenn die neuen Regeln den Roboter schneller fertig werden lassen oder dort zum Erfolg führen, wo er früher gescheitert ist, erhält der Roboter eine „Gut gemacht"-Belohnung.
- Wenn die neuen Regeln die Dinge verschlechtern, erhält er eine Strafe.
Ergebnis: Der Roboter lernt, nur Änderungen beizubehalten, die seine Leistung bei ähnlichen zukünftigen Aufgaben tatsächlich verbessern.

3. Das „Zwei-Spur-Gehirn" (DualAdv-GRPO)

Die Analogie: Stellen Sie sich einen Fahrer vor, der auch Mechaniker ist.

Spur A (Fahren): „Ich muss das Lenkrad nach links drehen, um ein Schlagloch zu vermeiden." (Dies benötigt sofortiges Feedback).
Spur B (Mechaniker): „Ich sollte diese Schraube festziehen, damit das Auto nächste Woche besser läuft." (Dies benötigt langfristiges Feedback).
Das Problem: Wenn man diese beiden Ziele vermischt, wird das Gehirn verwirrt. „Soll ich nach links lenken oder die Schraube festziehen?"
SKILLMASTER-Weg: Das System trennt diese beiden Gedanken. Es berechnet die „Bewertung" für Fahraktionen separat von der „Bewertung" für das Schreiben neuer Regeln. Dann kombiniert es sie sorgfältig, damit der Roboter lernt, zu fahren und zu lernen, wie man lernt, ohne dass das eine das andere stört.

Was geschah in den Experimenten?

Die Forscher testeten dies in zwei berühmten „Videospiele"-Welten für KI:

ALFWorld: Ein simuliertes Haus, in dem der Roboter Objekte bewegen muss (z. B. „Stellen Sie die kalte Tomate in den Kühlschrank").
WebShop: Ein simulierter Online-Shop, in dem der Roboter spezifische Artikel finden und kaufen muss (z. B. „Kaufen Sie ein blaues Hemd für unter 20 Dollar").

Die Ergebnisse:

Bessere Scores: SKILLMASTER schlug alle anderen Methoden, einschließlich solcher, die leistungsstarke, vortrainierte „Lehrer"-Modelle verwendeten. Es verbesserte die Erfolgsraten um etwa 8,8 % bis 9,3 %.
Selbstverbesserung: Der Roboter hatte nicht nur Glück; er lernte tatsächlich, seine eigenen Fehler zu erkennen. Wenn er beispielsweise ständig die falschen Schubladen nach Essen durchsuchte, schrieb er eine neue Regel: „Suchen Sie nicht zuerst Zonen mit geringer Wahrscheinlichkeit ab."
Internalisierung von Fertigkeiten: Überraschenderweise musste der Roboter nach dem Training nicht einmal mehr so oft in sein „Notizbuch" schauen. Er hatte die Fertigkeiten so gut gelernt, dass sie Teil seines natürlichen Denkprozesses wurden, wie ein Mensch, der Radfahren lernt und nicht mehr über das Gleichgewicht nachdenken muss.

Zusammenfassung

SKILLMASTER ist ein Rahmenwerk, das aufhört, KI-Fertigkeiten als statische Dateien zu behandeln, die von einem externen Computer verwaltet werden. Stattdessen gibt es der KI die Fähigkeit, ihre eigenen Regeln zu schreiben, zu bearbeiten und zu testen, basierend auf ihren eigenen Erfahrungen. Es ist der Unterschied zwischen einem Schüler, dem ein Lehrbuch übergeben wird, und einem Schüler, der sein eigenes Lehrbuch schreibt, die Kapitel testet und nur diejenigen behält, die ihm helfen, eine „Eins" zu bekommen.

Technische Zusammenfassung: SKILLMASTER

Problemstellung

Aktuelle Large Language Model (LLM)-Agenten haben Schwierigkeiten mit der autonomen Beherrschung von Fähigkeiten. Während Fähigkeiten effektive Mechanismen zur Leistungsverbesserung bei komplexen Aufgaben darstellen, behandeln bestehende Frameworks Fähigkeiten als externe Ressourcen, die von externen Lehrern, handgefertigten Regeln oder Hilfsmodulen verwaltet werden. In diesen Setup-Strukturen ist die Policy des Agenten darauf beschränkt, vordefinierte Fähigkeiten abzurufen und aufzurufen; sie kann diese nicht aktiv entwickeln, verfeinern oder auf Basis eigener Erfahrungen internalisieren.

Diese Abhängigkeit von externem Management schafft drei Hauptprobleme:

Fehlende Internalisierung: Das Fähigkeitenmanagement ist ein Wartungsprozess außerhalb des Agenten und keine erlernbare Fähigkeit innerhalb der Policy des Agenten.
Sparsames Feedback für die Fähigkeitenqualität: Aufgaben-Ergebnis-Belohnungen (Erfolg/Misserfolg) sind zu grob, um zu bestimmen, ob eine spezifische Fähigkeit-Änderung (Vorschlag oder Aktualisierung) vorteilhaft war. Eine Aufgabe könnte aufgrund von Glück erfolgreich sein oder aufgrund nicht zusammenhängender Faktoren scheitern, was kein explizites Signal über die Qualität der Fähigkeit selbst liefert.
Optimierungsinterferenz: Die gemeinsame Optimierung der Aufgabenausführung und des Fähigkeitenmanagements in einer einzigen Policy ist schwierig, da sie unterschiedliche Belohnungsstrukturen aufweisen (binäre Umweltbelohnungen vs. kontinuierliche Fähigkeitenqualitäts-Belohnungen), was häufig zu instabilem Training führt.

Methodik: SKILLMASTER

Die Autoren schlagen SKILLMASTER vor, ein Trainingsframework, das das Fähigkeitenmanagement direkt in den Lernzyklus des Agenten integriert und dem Agenten ermöglicht, Fähigkeiten autonom zu erstellen, zu verfeinern und auszuwählen. Das Framework besteht aus drei Kernkomponenten:

1. Trajektorieninformierte Fähigkeitenüberprüfung

SKILLMASTER erweitert das Standard-Reinforcement-Learning (RL)-Training um eine explizite Fähigkeits-Beherrschungs-Phase, die nach jedem Episode angehängt wird.

Aktionsphase: Der Agent interagiert mit der Umgebung und ruft relevante Fähigkeiten aus einem Fähigkeiten-Speicher ( $B$ ) ab, um Aktionen zu steuern.
Fähigkeits-Beherrschungsphase: Nach Beendigung der Episode überprüft der Agent die Aufgabenbeschreibung, die abgerufenen Fähigkeiten, die Trajektorie und das Ergebnis. Er wird angewiesen, genau einen Werkzeugaufruf auszugeben: propose_skill (neue hinzufügen), update_skill (bestehende überarbeiten) oder keep_skill (aktuelle beibehalten).
Mechanismus: Diese Phase nutzt Tool-Integrated Reasoning (TIR), wodurch der Agent den Fähigkeiten-Speicher als veränderbares Objekt behandeln kann, das er über strukturierte Funktionsaufrufe bearbeiten kann, anstatt als statische Datenbank.

2. Counterfactual-Skill-Utility-Belohnung

Um das Problem des sparsamen Feedbacks zu lösen, führen die Autoren eine Downstream-Utility-Belohnung basierend auf einer counterfactual-Evaluation ein.

Probe-Aufgaben: Wenn eine Fähigkeiten-Änderung vorgeschlagen wird, wählt das System $K$ semantisch verwandte „Probe-Aufgaben" (z. B. aus derselben Aufgabenfamilie) aus.
Counterfactual-Vergleich: Das System bewertet die Probe-Aufgaben zweimal: einmal mit dem ursprünglichen Fähigkeiten-Speicher ( $B$ ) und einmal mit dem modifizierten Speicher ( $B'$ ).
Belohnungssignal: Die Belohnung wird basierend auf zwei Metriken berechnet:
1. Erfolgsrate: Hilft die Änderung zuvor gescheiterten Aufgaben beim Erfolg?
2. Effizienz: Reduziert die Änderung die Schrittzahl für Aufgaben, die bereits lösbar waren?
Formel: Die Utility-Belohnung ( $R_{utility}$ ) kombiniert die durchschnittliche Leistungsänderung ( $\bar{\delta}$ ) über die Proben hinweg mit einem Richtungskonsistenz-Term, wodurch Änderungen nur dann belohnt werden, wenn sie die Downstream-Leistung konsistent verbessern.

3. DualAdv-GRPO (Entkoppelte Optimierung)

Um die Instabilität der gemeinsamen Optimierung heterogener Ziele (Aufgabenausführung vs. Fähigkeitenbearbeitung) zu adressieren, schlagen die Autoren DualAdv-GRPO vor.

Dual-Stream-Vorteilsschätzung: Die Standard-Group Relative Policy Optimization (GRPO) normalisiert Belohnungen über eine Gruppe von Trajektorien. SKILLMASTER trennt dies in zwei Ströme:
- Aktionsvorteile ( $A_{act}$ ): Normalisiert unter Verwendung ausschließlich von Umweltbelohnungen ( $r_{env}$ ).
- Fähigkeitsvorteile ( $A_{skill}$ ): Normalisiert unter Verwendung ausschließlich von Fähigkeiten-Beherrschungs-Belohnungen ( $R_{skill}$ ).
Zusammenführung: Diese normalisierten Vorteile werden auf Token-Ebene unter Verwendung eines einstellbaren Gewichts $\gamma$ zusammengeführt. Aktions-Token erhalten $A_{act}$ , während Fähigkeitenmanagement-Token $\gamma \cdot A_{skill}$ erhalten. Dies verhindert, dass die sparsamen, kontinuierlichen Fähigkeiten-Belohnungen das Lernsignal für unmittelbare Aufgabenaaktionen verzerren, und ermöglicht ein stabiles gemeinsames Training.

Hauptbeiträge

SKILLMASTER-Framework: Eine einheitliche Policy, die sowohl Aufgabenausführung als auch Fähigkeitenmanagement End-to-End lernt und die Notwendigkeit externer Lehrer beseitigt.
Downstream-Utility-Belohnung: Ein neuartiger Belohnungsmechanismus, der Fähigkeiten-Änderungen durch counterfactual-Vergleiche an Probe-Aufgaben bewertet und explizite, dichte Signale für die Fähigkeitenqualität liefert.
DualAdv-GRPO: Ein Optimierungsalgorithmus, der die Vorteilsschätzung für Aufgabenaaktionen und Fähigkeitenentscheidungen entkoppelt und das gemeinsame Training heterogener Ziele stabilisiert.
Empirische Leistung: Demonstrierte State-of-the-Art-Ergebnisse auf ALFWorld und WebShop, die zeigen, dass Agenten ihre eigenen prozeduralen Kenntnisse autonom verbessern können.

Experimentelle Ergebnisse

Das Framework wurde an zwei Benchmarks evaluiert: ALFWorld (embodied household manipulation) und WebShop (Online-Shopping).

ALFWorld: SKILLMASTER erreichte eine Gesamterfolgsrate von 98,7 % und übertraf die stärkste Baseline (SkillRL, die einen externen Lehrer verwendet) um 8,8 Prozentpunkte. Es erreichte bei vier der sechs Aufgabenfamilien einen perfekten Erfolg (100 %).
WebShop: Die Erfolgsrate verbesserte sich von 72,7 % (SkillRL) auf 82,0 %, wobei die Gesamtpunktzahl von 85,2 auf 95,0 stieg.
Fähigkeiten-Internalisierung: Ein entscheidendes Ergebnis ist, dass SKILLMASTER-Agenten erlernte Fähigkeiten internalisieren können. Wenn sie ohne Fähigkeitenabruf zur Testzeit evaluiert wurden, behielten die Agenten eine Leistung bei, die nahezu identisch mit der war, wenn der Abruf aktiviert war (nur ein Rückgang von 0,7 % insgesamt), was darauf hindeutet, dass das prozedurale Wissen in die Policy-Parameter absorbiert wurde, anstatt sich ausschließlich auf externe Nachschlagevorgänge zu verlassen.
Ablationsstudien: Das Entfernen der Utility-Belohnung oder der entkoppelten Vorteilsschätzung verschlechterte die Leistung erheblich, was die Notwendigkeit sowohl des counterfactual-Signals als auch der stabilen Optimierungsstrategie bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SKILLMASTER einen Wandel von extern verwalteten Fähigkeitssystemen hin zur autonomen Fähigkeitenbeherrschung darstellt. Indem das Fähigkeitenmanagement als lernbares Ziel innerhalb der Policy des Agenten behandelt wird, ermöglicht das Framework Agenten:

Lücken in ihrem prozeduralen Wissen zu identifizieren (z. B. zu erkennen, dass eine Suchstrategie ineffizient ist).
Bestehende Fähigkeiten auf Basis von Trajektorien-Evidenz zu verfeinern (z. B. eine „Erhitzen"-Anweisung zu korrigieren, die fehlschlägt, wenn ein Objekt in eine Mikrowelle gestellt wird).
Verbesserungen auf zukünftige Aufgaben zu übertragen, wobei nur minimale Änderungen am Fähigkeiten-Speicher erforderlich sind.

Die Autoren positionieren diese Arbeit als Schritt hin zu selbstverbessernden Agenten, die in der Lage sind, ihre eigenen Fähigkeitsrepertoires zu entwickeln und anzupassen, anstatt lediglich statische Werkzeuge zu verwenden, die von externen Systemen bereitgestellt werden. Die Arbeit anerkennt Einschränkungen, wie den Rechenaufwand für Probe-Evaluierungen und die Abhängigkeit von vordefinierten Aufgaben-Gruppierungen für die Proben-Auswahl, behauptet jedoch, dass der Kernmechanismus domänenagnostisch ist und auf jede Umgebung mit verwandten Aufgaben anwendbar ist.