💬 NLP

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

Das Papier schlägt SKILLGRAPH vor, ein Framework, das Fähigkeiten als Knoten in einem sich entwickelnden gerichteten Graphen repräsentiert, um Agenten auf Basis großer Sprachmodelle zu ermöglichen, für zusammengesetzte Aufgaben geordnete Teilgraphen von Fähigkeiten abzurufen, wodurch sowohl die Bibliothekspflege als auch der Stand der Technik in der Verstärkungslernung verbessert werden.

Ursprüngliche Autoren: Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „flache Liste" versus das „Rezeptbuch"

Stellen Sie sich vor, Sie unterrichten einen Roboter Butler, wie man ein komplexes Gericht zubereitet.

Alter Weg (Flache Bibliotheken): Sie geben dem Roboter eine riesige, flache Liste mit 1.000 Tipps. Er sucht in der Liste nach Schlüsselwörtern. Wenn Sie ihn bitten, „ein Sandwich zu machen", findet er vielleicht Tipps wie „Brot holen", „Käse holen" und „Messer benutzen". Aber die Liste sagt dem Roboter nicht, welcher Tipp zuerst kommt, oder dass man den Käse nicht auf das Brot legen kann, bevor man das Brot geholt hat. Der Roboter wird verwirrt, versucht Dinge in der falschen Reihenfolge und scheitert.
Die Lösung des Papiers (SKILLGRAPH): Statt einer flachen Liste führt der Roboter eine strukturierte Karte (ein Graph). In dieser Karte ist „Brot holen" mit „Käse auflegen" durch einen Pfeil verbunden, der sagt: „Mach dies danach". Er weiß, dass „Messer benutzen" beim „Käse schneiden" hilft, und dass „Kühlschrank öffnen" eine Voraussetzung für „Käse holen" ist.

Wie SKILLGRAPH funktioniert: Die Drei-Schritte-Schleife

Das Papier schlägt ein System vor, bei dem das „Gehirn" des Roboters (die Strategie) und seine „Fertigkeitskarte" (der Graph) gemeinsam in einer geschlossenen Schleife wachsen und sich verbessern. Denken Sie daran wie an einen Schüler, der lernt, ein Videospiel zu spielen, während er gleichzeitig den Strategieguide für das Spiel schreibt.

1. Die Karte erstellen (Graph-Konstruktion)

Der Roboter versucht, Aufgaben zu lösen. Manchmal gewinnt er, manchmal verliert er.

Der Lehrer: Eine intelligente „Lehrer-KI" beobachtet diese Versuche.
Verdichten von Fertigkeiten: Der Lehrer verwandelt erfolgreiche Versuche in kurze, wiederverwendbare „Fertigkeiten" (wie „Mikrowelle prüfen"). Er verwandelt Misserfolge in Lektionen darüber, was man nicht tun sollte.
Pfeile zeichnen: Der Lehrer schreibt die Fertigkeiten nicht nur auf; er zieht Pfeile zwischen ihnen. Er notiert: „Sie müssen das Objekt aufheben, bevor Sie es erhitzen können." Er erstellt ein Netz von Verbindungen, das zeigt, welche Fertigkeiten von anderen abhängen.

2. Die Karte lesen (Graph-bewusste Suche)

Wenn der Roboter eine neue Aufgabe hat, sucht er nicht nur nach Schlüsselwörtern. Er reist durch die Karte.

Startpunkt-Auswahl: Er findet den Ausgangspunkt (z. B. „Ich muss etwas erhitzen").
Vorwärts- und Rückwärts-Reise: Er schaut rückwärts, um zu sehen, welche Schritte davor nötig sind (z. B. „Ich muss zuerst das Objekt finden") und vorwärts, um zu sehen, was danach kommt (z. B. „Dann muss ich es platzieren").
Die geordnete Liste: Er zieht eine perfekt geordnete Liste von Schritten heraus, von einfach bis komplex, und stellt sicher, dass der Roboter niemals versucht, Schritt 5 vor Schritt 1 auszuführen.

3. Die Karte aktualisieren (Graph-Evolution)

Das ist der magische Teil. Die Karte ist nicht statisch; sie verändert sich, während der Roboter lernt.

Fehler beheben: Wenn eine Fertigkeit ständig scheitert (wie „Kühlschrank öffnen", aber der Roboter trifft immer die Wand), markiert das System sie als „veraltet" (wegwerfen).
Neue Fertigkeiten hinzufügen: Wenn der Roboter scheitert, weil er nicht weiß, wie man „die Temperatur prüft", erfindet der Lehrer eine neue Fertigkeit dafür und fügt sie der Karte hinzu.
Zusammenführen und Aufteilen: Wenn zwei Fertigkeiten im Wesentlichen gleich sind, führt das System sie zusammen. Wenn eine Fertigkeit zu vage ist, teilt sie das System in zwei klarere auf.
Pfade stärken: Wenn ein bestimmter Pfad auf der Karte zu einem Sieg führt, macht das System diesen Pfad „dicker" (stärker), damit der Roboter ihn beim nächsten Mal wahrscheinlicher nutzt.

Das „Level hoch"-System (Progressive Freischaltung)

Stellen Sie sich ein Videospiel vor, in dem Sie den Endboss nicht bekämpfen können, bevor Sie die grundlegenden Schwertbewegungen gemeistert haben.

SKILLGRAPH organisiert Fertigkeiten in Leveln.
Level 0: Grundfertigkeiten (z. B. „Vorwärts bewegen").
Level 1: Mittlere Fertigkeiten (z. B. „Objekt aufheben").
Level 2: Komplexe Fertigkeiten (z. B. „Ein Gericht zubereiten").
Der Roboter ist von Level-2-Fertigkeiten ausgesperrt, bis er beweist, dass er gut im Level 1 ist. Dies verhindert, dass der Roboter von komplexen Anweisungen überwältigt wird, bevor er die Grundlagen versteht.

Was die Ergebnisse zeigen

Die Forscher testeten dies an drei Arten von Herausforderungen:

ALFWorld: Ein textbasiertes Haus, in dem der Roboter aufräumen, kochen und organisieren muss.
WebShop: Ein simulierter Online-Shop, in dem der Roboter nach bestimmten Artikeln suchen und diese kaufen muss.
Search QA: Beantwortung kniffliger Fragen, die das Nachschlagen von Informationen in mehreren Schritten erfordern.

Das Ergebnis:

SKILLGRAPH schlug fast jede andere Methode, einschließlich sehr intelligenter „geschlossener" Modelle (wie GPT-4o) und anderer speicherbasierter Systeme.
Es war besonders gut bei komplexen Aufgaben, die das Verketten vieler Schritte erforderten.
Es lernte schneller und machte weniger Fehler, weil es nicht jedes Mal das „Rad neu erfinden" musste; es folgte einfach der aktualisierten Karte.

Auf den Punkt gebracht

SKILLGRAPH ist ein System, das aufhört, die Erfahrung einer KI als einen chaotischen Haufen Notizen zu behandeln. Stattdessen organisiert es die Erfahrung in einer lebendigen, atmenden Karte von Fertigkeiten. Während die KI besser wird, wird die Karte schlauer, fügt neue Pfade hinzu, entfernt Sackgassen und lehrt die KI genau, welche Schritte sie in welcher Reihenfolge auszuführen hat. Es ist der Unterschied zwischen einem Schüler, der einen Stapel zufälliger Lernkarten erhält, und einem Schüler, der ein gut organisiertes Lehrbuch erhält, das sich aktualisiert, während er lernt.

Technische Zusammenfassung: SKILLGRAPH

Problemstellung

Large Language Model (LLM)-Agenten haben Fähigkeiten in komplexen interaktiven Aufgaben wie Webnavigation und körperlicher Manipulation unter Beweis gestellt. Allerdings behandeln aktuelle Agenten Aufgaben oft als isolierte Episoden und scheitern daran, aus vergangenen Erfolgen oder Misserfolgen zu lernen, selbst wenn sie strukturell ähnlichen Problemen begegnen. Während bestehende Ansatzweisen Skill-Bibliotheken nutzen, um wiederverwendbare Wissenseinheiten zu speichern, funktionieren diese Bibliotheken typischerweise als flache Sammlungen, in denen Skills als unabhängige Einträge gespeichert und ausschließlich auf Basis semantischer Ähnlichkeit abgerufen werden.

Diese flache Organisation stellt zwei kritische Einschränkungen für kompositorische Aufgaben dar:

Nicht-kompositorische Abrufung: Komplexe Aufgaben erfordern oft eine geordnete Sequenz von Skills mit spezifischen Abhängigkeiten (z. B. ein Objekt erhitzen, bevor es platziert wird). Flache Abrufsysteme können relevante Skills identifizieren, versagen jedoch darin, ihre Ausführungsreihenfolge oder ihre Voraussetzungsbeziehungen anzugeben.
Unstrukturierte Wartung: Ohne explizite strukturelle Hinweise fehlt flachen Bibliotheken die Mechanik, um zu bestimmen, wann Skills zusammengeführt, aufgeteilt oder entfernt werden sollten, was die Verwaltung von Redundanzen oder die Weiterentwicklung der Bibliothek parallel zur Verbesserung der Agenten-Policy erschwert.

Methodik: SKILLGRAPH

Die Autoren schlagen SKILLGRAPH vor, ein Framework, das wiederverwendbare Skills in einem strukturierten, gerichteten Abhängigkeitsgraphen organisiert und diesen Graphen gemeinsam mit der Policy des Agenten durch Reinforcement Learning (RL) weiterentwickelt. Das Framework arbeitet in einem geschlossenen Regelkreis, der drei Hauptphasen umfasst:

1. Graph-Konstruktion

Das System destilliert Skills aus Agenten-Trajektorien (sowohl erfolgreichen als auch gescheiterten) unter Verwendung eines Teacher-Sprachmodells.

Knoten: Stellen Skills dar, die entweder als allgemein (domänenunabhängige Strategien) oder aufgaben spezifisch kategorisiert sind. Jeder Knoten verfolgt Nutzungszahlen und empirische Erfolgsquoten.
Kanten: Typisierte Kanten modellieren explizit Beziehungen zwischen Skills:
- Voraussetzung ( $A \to B$ ): Skill $A$ muss vor $B$ angewendet werden.
- Verbessert ( $A \to B$ ): Ein allgemeiner Skill verbessert die Wirksamkeit eines aufgabenspezifischen Skills.
- Koeignen ( $A \leftrightarrow B$ ): Skills, die häufig gemeinsam in erfolgreichen Episoden auftreten.
Level: Knoten werden basierend auf Abhängigkeitshierarchien topologischen Leveln zugewiesen (Level 0 für grundlegende Skills ohne Voraussetzungen).

2. Graph-bewusster Abruf

Anstatt eine Menge isolierter Skills abzurufen, ruft das System einen abhängigkeitsgeordneten Teilgraphen ab, um die mehrstufige Entscheidungsfindung zu steuern.

Seed-Auswahl: Identifiziert aufgabenrelevante Einstiegspunkte (allgemeine Skills und aufgabenangepasste Skills) aus dem derzeit „entsperrten" aktiven Set.
Graph-Erweiterung:
- Rückwärts-Erweiterung: Durchläuft eingehende Voraussetzungs-Kanten, um grundlegende Skills wiederherzustellen.
- Vorwärts-Erweiterung: Nutzt Beam Search, um ausgehende Kanten zu erkunden und Pfade mit hohen Kantengewichten zu priorisieren.
Topologische Sortierung: Die abgerufenen Knoten werden topologisch sortiert, um eine kohärente Skill-Sequenz zu erzeugen, die dem logischen Fluss von Teilaufgaben (einfach bis komplex) entspricht.

3. Graph-Evolution

Der Skill-Graph wird während des Trainings dynamisch auf Basis von Feedback auf Trajektorienebene aktualisiert, wodurch sichergestellt wird, dass die Bibliothek an die wachsende Kompetenz des Agenten angepasst wird.

Knoten-Level-Anpassung:
- Einfügen: Generiert neue Skills, um spezifische Fehlermodi zu adressieren, die in Trajektorien identifiziert wurden.
- Zusammenführen: Kombiniert redundante Skills mit hoher Überlappung im Nachbarschaftsbereich.
- Aufteilen: Zerlegt zu breite Skills, die trotz hoher Nutzung nur moderate Erfolgsquoten aufweisen.
- Verwerfen: Entfernt Skills, die häufig abgerufen werden, aber konsistent scheitern.
Kanten-Level-Anpassung:
- Verstärkung: Erhöht die Gewichte von Kanten, die in erfolgreichen Trajektorien durchlaufen wurden.
- Entdeckung: Fügt neue Koeignen-Kanten hinzu, wenn Skills gemeinsam im Erfolg auftreten.
- Abklingen & Beschneiden: Wendet multiplikatives Abklingen auf Kantengewichte an und entfernt schwache Kanten, um veraltete Beziehungen zu verhindern.
Progressive Entsperrung: Implementiert einen Lehrplan, bei dem höherstufige Skills erst aktiviert werden, sobald die durchschnittliche Erfolgsquote des aktuellen grundlegenden Levels einen Schwellenwert überschreitet.

Policy-Optimierung

Die Agenten-Policy wird mittels GRPO (Group Relative Policy Optimization) optimiert. Die Policy wird auf die Aufgabenbeschreibung und die abgerufene, geordnete Skill-Sequenz konditioniert. Das System minimiert ein geklipptes Surrogat-Ziel mit einer KL-Strafe, die an eine Referenz-Policy gebunden ist, die durch Supervised Fine-Tuning (SFT) initialisiert wurde.

Hauptbeiträge

Graph-strukturierte Skill-Formulierung: Die Arbeit führt eine neuartige Formulierung ein, bei der Skills durch explizite Voraussetzungs-, Verbesserungs- und Koeignen-Beziehungen verbunden sind und damit über den flachen semantischen Abruf hinausgehen.
SKILLGRAPH-Framework: Ein geschlossenes System, das abhängigkeitsbewussten Skill-Abruf und strukturierte Skill-Updates (Einfügen, Zusammenführen, Aufteilen) während des RL-Trainings ermöglicht.
Empirische Validierung: Umfassende Experimente zeigen, dass strukturierte Skill-Graphen im Vergleich zu flachen, speichererweiterten RL-Methoden die Sample-Effizienz und Leistung bei komplexen, mehrstufigen Aufgaben verbessern.

Experimentelle Ergebnisse

Das Framework wurde auf ALFWorld (körperliche Manipulation), WebShop (Webnavigation) und sieben suchergänzten QA-Benchmarks evaluiert.

ALFWorld & WebShop: SKILLGRAPH erzielte State-of-the-Art-Leistung und übertraf signifikant geschlossene LLMs (z. B. GPT-4o, Gemini-2.5-Pro) sowie prompt-basierte oder speichererweiterte Baselines. Bemerkenswert ist, dass es die stärkste vorherige Methode, SkillRL, auf WebShop um 11,7 Punkte übertraf. Die Gewinne waren am ausgeprägtesten bei Teilaufgaben, die eine strikte Reihenfolge erfordern (z. B. „Reinigen" und „Erhitzen" in ALFWorld).
Suchergänzte QA: Auf NQ und HotpotQA trainiert, generalisierte SKILLGRAPH zero-shot auf fünf ungesichtete Datensätze (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle) und erzielte die höchste durchschnittliche Leistung (48,9) unter allen Baselines.
Ablationsstudien: Das Entfernen des graph-bewussten Abrufs verursachte den größten Leistungsabfall bei ALFWorld (-31,2 %), was die Notwendigkeit geordneter Skill-Sequenzen bestätigt. Das Entfernen der Graph-Evolution hatte den größten Einfluss auf WebShop (-14,1 %), was den Wert eines dynamisch verfeinerten Skill-Sets unterstreicht.
Effizienz: Der graph-geführte Abruf hielt im Vergleich zum flachen Abruf kürzere Prompt-Längen aufrecht, was die Inferenzkosten und das Signal-zu-Rausch-Verhältnis verbesserte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SKILLGRAPH die Kernbeschränkungen flacher Skill-Bibliotheken adressiert, indem es kompositorische Planung durch abhängigkeitsbewussten Abruf und prinzipielle Evolution durch strukturierte Updates ermöglicht. Die Autoren behaupten, dass die explizite Modellierung von Inter-Skill-Beziehungen Agenten erlaubt:

Kompositorisches Wissen von einfacheren auf komplexere Aufgaben zu übertragen.
Redundante Exploration durch strukturierte Führung zu reduzieren.
Die Skill-Bibliothek und die Agenten-Policy kontinuierlich in einem sich gegenseitig verstärkenden Regelkreis zu verfeinern.

Die Arbeit positioniert sich als Schritt hin zu Agenten, die strukturiertes Wissen aus Erfahrung akkumulieren können, was die Sample-Effizienz und Zuverlässigkeit in Bereichen wie Haushaltsassistenz und Informationsretrieval verbessert. Die Autoren erkennen Einschränkungen hinsichtlich der Abhängigkeit von einem starken Teacher-Modell für Graph-Operationen und der derzeitigen Beschränkung auf Training in einer einzigen Umgebung an und schlagen Cross-Environment-Transfer sowie leichte Selbst-Distillation als zukünftige Richtungen vor.