🤖 AI

SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale

SkillDAG führt ein selbstentwickelndes, typisiertes gerichtetes Graph-Framework ein, das es LLM-Agenten ermöglicht, während der Ausführung dynamisch zwischen Skill-Beziehungen abzurufen und strukturell über diese zu schlussfolgern, wobei es bestehende Baselines in komplexen Aufgabenumgebungen durch die Akkumulation von aus der Ausführung gewonnenem Wissen und die Aufrechterhaltung eines robusten Kandidaten-Rankings bei Skalierung der Skill-Bibliotheken signifikant übertrifft.

Ursprüngliche Autoren: Tong Bai, Zhenglin Wan, Pengfei Zhou, Xingrui Yu, Wangbo Zhao, Yang You, Ivor W. Tsang

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tong Bai, Zhenglin Wan, Pengfei Zhou, Xingrui Yu, Wangbo Zhao, Yang You, Ivor W. Tsang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein riesiges Team aus spezialisierten Arbeitern (Fähigkeiten) ein, um einem Roboter zu helfen, komplexe Rätsel zu lösen. In der Vergangenheit, als das Team noch klein war, konnten Sie einfach alle Lebensläufe lesen und die richtigen Leute auswählen. Aber jetzt stellen Sie sich vor, Ihr Team ist auf tausende von Arbeitern angewachsen.

Wenn Sie versuchen, alle Lebensläufe auf einmal zu lesen, gehen Ihnen die Zeit und der Platz aus. Wenn Sie einen Computer einfach nur bitten, den „ähnlichsten“ Lebenslauf zur Aufgabe zu finden, könnten Sie die entscheidende Person übersehen, die Sie eigentlich benötigen, weil ihr Lebenslauf nicht so aussieht wie die Aufgabe, obwohl sie dafür essenziell ist.

SkillDAG ist ein neues System, das entwickelt wurde, um dieses „Zu viele Arbeiter“-Problem für KI-Agenten zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „flache“ Liste vs. die „Karte“

Aktuelle KI-Systeme behandeln Fähigkeiten oft wie eine flache Liste von Namen. Wenn Sie nach einer „Koch-Fähigkeit“ fragen, findet das System das Wort „kochen“. Es könnte aber übersehen, dass Sie auch eine „Hack-Fähigkeit“ (eine Voraussetzung) benötigen oder dass Sie nicht gleichzeitig „kochen“ und „einfrieren“ verwenden sollten (ein Konflikt).

Der alte Weg: Es ist, als würde man versuchen, eine Stadt zu navigieren, indem man nur eine Liste von Straßennamen verwendet. Man weiß vielleicht, wo das Ziel ist, aber man weiß nicht, welche Straßen dorthin führen, welche Sackgassen sind oder welche Einbahnstraßen sind.
Der SkillDAG-Weg: Er erstellt eine lebendige Karte (einen Graphen), in der jede Fähigkeit ein Stadtblock ist und die Verbindungen zwischen ihnen klar beschriftete Straßen sind. Einige Straßen sagen „Du musst diesen Weg nehmen, um dorthin zu gelangen“ (Voraussetzung), andere sagen „Dies ist eine Abkürzung“ (Spezialisierung) und andere sagen „Gehe hier nicht hin“ (Konflikt).

2. Die Innovation: Der Agent hält die Karte

In früheren Systemen entschied ein fest programmiertes Computerprogramm, welche Fähigkeiten basierend auf der Karte geladen werden sollten, und der KI-Agent erhielt lediglich eine vorgefertigte Liste. Der Agent konnte nicht fragen: „Warum hast du das ausgewählt?“ oder „Kann ich eine neue Straße hinzufügen?“

SkillDAG dreht dies um.

Der Agent ist der Navigator: Dem KI-Agenten wird die Karte selbst gegeben. Er kann die Verbindungen betrachten, Fragen stellen und entscheiden, welche Fähigkeiten er lädt.
Das „Such“-Werkzeug: Anstatt nur eine Liste von Namen zu erhalten, fragt der Agent die Karte: „Wer ist nah an dieser Aufgabe?“ (Matches/Übereinstimmungen), „Wer ist mit ihnen verbunden?“ (Nachbarn) und „Wen sollte ich vermeiden?“ (Konflikte). Dies gibt dem Agenten drei verschiedene Arten von Hinweisen, um eine kluge Entscheidung zu treffen.

3. Der „selbstentwickelnde“ Teil: Neue Straßen zeichnen

Die Karte ist zu Beginn nicht perfekt. Sie wird aus einem „Cold Start“ (dem Lesen der Lebensläufe) aufgebaut, aber sie übersieht Dinge, die erst entstehen, wenn der Roboter die Arbeit tatsächlich ausführt.

Das „Propose and Commit“-Protokoll (Vorschlagen und Festlegen): Wenn der Agent eine Aufgabe versucht und feststellt: „Hey, ich brauchte Fähigkeit A, bevor ich Fähigkeit B nutzen konnte“, kann er eine neue Straße auf der Karte vorschlagen, die sie miteinander verbindet.
Die Sicherheitsleitplanken: Bevor die neue Straße gezeichnet wird, prüft das System drei Regeln:
1. Keine Schleifen: Man kann keinen Kreis erstellen, in dem A nach B braucht und B nach A (das würde den Agenten in einer Endlosschleife fangen).
2. Keine Widersprüche: Man kann keine Straße zeichnen, die sagt „Gehe hierher“, und gleichzeitig eine andere, die sagt „Gehe nicht hierher“ für dasselbe Paar.
3. Die Rückgängig-Taste: Wenn der Agent einen Fehler macht, führt das System ein Protokoll, damit die Straße später gelöscht werden kann.

Das bedeutet, dass die Karte mit jedem Mal, wenn der Agent ein Rätsel löst, intelligenter und detaillierter wird und aus der eigenen Erfahrung lernt.

4. Die Ergebnisse: Schlauer und schneller

Das Paper testete dies auf zwei Arten von Herausforderungen:

ALFWorld (Virtuelles Haus): Der Agent musste Objekte in einem Haus bewegen.
SkillsBench (Codierungsaufgaben): Der Agent musste Code schreiben, um Probleme zu lösen.

Das Ergebnis:

Bessere Erfolgsquote: Der SkillDAG-Agent löste signifikant mehr Rätsel als die bisher besten Methoden. Er war besonders gut darin, die richtigen Werkzeuge auszuwählen, wenn die Bibliothek der Werkzeuge riesig war.
Besseres Gedächtnis: Selbst als die Anzahl der Fähigkeiten um das Zehnfache anstieg, wurde der SkillDAG-Agent nicht verwirrt. Er fand weiterhin die richtigen Fähigkeiten, während andere Methoden begannen, zu scheitern.
Inhärente Verbesserung: Das System wurde nicht einfach nur glücklich; es rief tatsächlich häufiger die korrekten „Ground Truth“-Fähigkeiten ab, was beweist, dass die Kartenstruktur funktionierte.

Zusammenfassende Analogie

Betrachten Sie SkillDAG als ein GPS, das sich selbst aktualisiert, das ein KI-Agent erhält.

Altes System: Sie geben dem Agenten eine statische Papierkarte. Wenn sich eine Straße ändert oder eine neue Abkürzung eröffnet wird, ist der Agent mit der alten Karte aufgeschmissen.
SkillDAG: Der Agent hält ein digitales GPS. Er kann den Verkehr sehen (Konflikte), die Verbindungen (Abhängigkeiten) und während er fährt, zeichnet er neue Abkürzungen auf die Karte für zukünftige Fahrten. Der Agent entscheidet, wohin er fährt, und nutzt die Karte als Werkzeug, nicht als Regel.

Das Paper behauptet, dass dieser Ansatz KI-Agenten viel besser darin macht, die richtigen Werkzeuge aus einer massiven Bibliothek auszuwählen, was zu höheren Erfolgsraten bei komplexen Aufgaben führt.

Technisches Resümee: SkillDAG

1. Problemstellung

Da LLM-Agenten (Large Language Model Agents) zunehmend umfangreiche externe Skill-Bibliotheken nutzen, verschiebt sich der Engpass von der Erstellung von Skills hin zur Skill-Selektion. Wenn sich die Bibliotheken auf tausende Einträge skalieren, scheitern traditionelle Retrieval-Methoden daran, die komplexen strukturellen Beziehungen zwischen den Skills zu erfassen.

Einschränkungen der flachen Retrieval-Verfahren: Standardansätze (z. B. Top- $K$ Cosine-Ähnlichkeit oder BM25) behandeln Skills als unabhängige Vektoren. Dies führt zu „Silent Failures“ (stillem Versagen), bei denen strukturell notwendige Voraussetzungen ausgelassen werden, redundante oder interferierende Skills ausgewählt werden oder synergetische Paare übersehen werden.
Einschränkungen statischer Graphen: Vorarbeiten wie Graph of Skills (GoS) modellieren die Inter-Skill-Beziehungen, verlassen sich jedoch auf eine feste, Offline-Retrieval-Pipeline (z. B. Personalized PageRank). Das resultierende Skill-Bundle ist für den Agenten opak; der LLM kann die Graphstruktur nicht abfragen, nicht begründen, warum ein Skill gewählt wurde, ein verrauschtes Retrieval nicht zurückziehen oder neue während der Ausführung entdeckte Beziehungen aufzeichnen.

Das Kernproblem besteht darin, dass aktuelle Systeme die relationale Struktur der Bibliothek vor dem Agenten verbergen, was verhindert, dass das LLM während der Inferenz fundierte strukturelle Entscheidungen trifft.

2. Methodik: SkillDAG

SkillDAG schlägt eine fundamentale Inversion vor: Anstatt den Graphen in einen festen Ranking-Algorithmus einzubetten, wird der typisierte Skill-Relationsgraph als eine vom Agenten aufrufbare strukturelle Retrieval-Schnittstelle exponiert. Der Graph wird vom LLM während der Ausführung abgefragt, inspiziert und weiterentwickelt.

2.1. Typisierter Skill-Relationsgraph

Die Skill-Bibliothek wird als gerichteter Graph $G = (V, E, \tau)$ modelliert, wobei Kanten einem von fünf operativen Typen zugewiesen sind:

depends_on: Skill $A$ benötigt Voraussetzung $B$ .
specializes: Skill $D$ ist eine engere, bevorzugte Variante von $A$ .
composes_with: Die Skills $A$ und $B$ weisen eine synergistische gemeinsame Nutzung auf.
similar_to: Funktionale Redundanz; der Agent sollte einen auswählen, nicht beide.
conflicts_with: Die Skills $A$ und $B$ sollten nicht gleichzeitig ausgewählt werden (Pruning-Signal).

Wichtige Designentscheidung: conflicts_with wird als Pruning-Signal behandelt und nicht als Traversalkante, um zu verhindern, dass der Agent zu Skills navigiert, die er explizit zu vermeiden hat. Das Rückgrat (depends_on, specializes) wird als azyklisch definiert.

2.2. Agent-Callable Interface (Vom Agent aufrufbare Schnittstelle)

Der Agent interagiert mit dem Graphen über eine search-Funktion, die drei distinkte Evidenzkanäle zurückgibt, anstatt eines einzelnen gerankten Bundles:

Matches: Top- $K$ Skills basierend auf der Embedding-Ähnlichkeit des Query-Knotens.
Neighbors: Skills, die über eine begrenzte BFS-Traversierung (Tiefe $D$ ) über die vier „positiven“ Kanten-Typen (depends_on, specializes, composes_with, similar_to) erreicht werden.
Conflicts: Ein-Hop conflicts_with-Kanten, die an einen Match angrenzen.

Diese Dekomposition ermöglicht es dem Agenten, spezifische Felder unter engen Kontext-Budgets zu verwerfen, Suchen dynamisch zu planen und einen Reasoning-Trace für Selektions- oder Exklusionsentscheidungen zu führen.

2.3. Cold-Start-Konstruktion

Um den Graphen vor der Agenten-Ausführung zu initialisieren, wird eine Two-View-Embedding-Strategie eingesetzt, um cross-funktionale Paare zu erfassen, die die Single-View-Ähnlichkeit übersieht:

$e_{self}$ : Embeddet die Identität, Beschreibung und den Body (was der Skill tut) des Skills.
$e_{needs}$ : Ein LLM generiert eine HyDE-ähnliche Zusammenfassung dessen, was der Skill benötigt (Voraussetzungen) basierend auf imaginierten Aufruftasks, welche dann eingebettet wird.

Kandidatenpaare werden gebildet, wenn entweder das Ranking einen adaptiven Schwellenwert überschreitet, gefolgt von einem LLM-Paarklassifizierer zur Zuweisung der Kanten-Typen. conflicts_with wird in dieser statischen Phase ausgeschlossen, da dies Evidenz aus der Ausführung erfordert.

2.4. Online-Graph-Evolution

SkillDAG führt ein Propose-then-Commit-Protokoll für Online-Graph-Updates ein:

propose-edge: Ein Dry-Run, bei dem der Agent eine potenzielle Kantenänderung vorschaut und die bestehende Historie für dieses Skill-Paar überprüft.
edit-edge: Der Agent committet die Änderung mit einer Begründung in natürlicher Sprache und einem Execution-Trace.

Strukturelle Invarianten: Um Inkohärenz zu vermeiden, muss jeder Commit drei Prüfungen bestehen:

Azyklizität: Verhindert Zyklen im depends_on/specializes-Rückgrat.
Nicht-Widersprüchlichkeit: Verhindert, dass ein Paar gleichzeitig eine positive Kante (z. B. depends_on) und eine conflicts_with-Kante besitzt.
Reversibilität: Ein Append-only-History-Log ermöglicht das Rollback fehlerhafter Edits.

3. Kernbeiträge

Identifikation struktureller Fehlermodi: Die Arbeit identifiziert, dass flaches Retrieval silent die strukturell notwendigen Skills auslässt und redundante Skills zusammenfügt – ein Versagen, das allein durch Ähnlichkeitsmatching unsichtbar bleibt.
Agent-Callable Interface: SkillDAG exponiert einen typisierten Relationsgraphen über search/show/propose-edge/edit-edge und ersetzt feste Ranking-Policies durch strukturelle Evidenz, über die der Agent direkt reasoniert.
Online-Evolutionsprotokoll: Ein Mechanismus, der es Agenten ermöglicht, den Graphen basierend auf Single-Episode-Evidenz unter strengen strukturellen Invarianten zu erweitern, gepaart mit einem Two-View-Cold-Start-Konstruktor zur Wiederherstellung cross-funktionaler Paare.
Empirische Validierung: Erfolgreiche Demonstration auf ALFWorld und SkillsBench über verschiedene Modell-Backbones hinweg.

4. Experimentelle Ergebnisse

Die Experimente wurden auf ALFWorld (textbasierte, verkörperte Umgebung) und SkillsBench (containerisierte Code-Generierungs-Aufgaben) unter Verwendung von MiniMax-M2.7 und gpt-5.2-codex durchgeführt.

Leistungssteigerungen (MiniMax-M2.7):
- ALFWorld: Die Erfolgsrate stieg von 54,3 % (GoS Baseline) auf 67,1 % (+12,8 Punkte).
- SkillsBench: Die Belohnung (Reward) stieg von 18,7 % auf 27,3 % (+8,6 Punkte).
- Intrinsisches Retrieval: Ret@K auf SkillsBench stieg von 65,5 % auf 78,2 %, was zeigt, dass die Retrieval-Pipeline selbst vor der Ausführung präziser ist.
Leistungssteigerungen (gpt-5.2-codex):
- SkillDAG erreichte auf ALFWorld ein Gleich niveau mit der GoS-Baseline (93,6 %) und verbesserte die Leistung auf SkillsBench (34,4 % $\to$ 36,8 %).
- Das Paper stellt fest, dass die Signatur der „Routing-Hilfe“ dort am größten ist, wo das Backbone-Modell nicht in der Lage ist, über ein schlechtes Bundle hinaus zu reasonen, und verschwindet, sobald das Backbone stark genug ist, um opake Bundles zu verarbeiten.
Skalierbarkeit: Die Qualität des SkillDAG-Retrievals blieb stabil (Ret@K $\approx$ 78,2 %), während sich der Skill-Pool verzehnfachte (von 200 auf 2000 Skills), wohingegen die GoS-Baseline signifikant degradierte.
Edit-Persistenz: Während des Trainings vorgenommene Online-Edits übertrugen sich effektiv auf gehaltene Test-Episoden, und der editierte Graph rief pro Query mehr Ground-Truth-Skills ab, ohne vorherige Treffer zu verdrängen (Set-Monotonie-Eigenschaft).

5. Bedeutung und Behauptungen

Das Paper behauptet, dass SkillDAG die Hypothese validiert, dass Graphstruktur am besten als Interface für Routing-Entscheidungen funktioniert, nicht als opake Policy.

Inversion des Designs: Durch die Bereitstellung des Graphen als vom Agent aufrufbare Schnittstelle statt als Substrat eines festen Retrievers ermöglicht das System dem LLM zu entscheiden, wie die strukturelle Evidenz die Ausführung beeinflusst.
Robustheit: Der Ansatz isoliert den Gewinn der Retrieval-Pipeline und zeigt, dass typisiertes Graph-Retrieval Diffusion-basiertes Ranking (PPR) beim Skalieren der Bibliothek übertrifft, ohne darauf angewiesen zu sein, dass der Agent die Fehler im Retrieval-System behebt.
Selbst-Evolution: Das System ermöglicht präzise, auditierbare Updates der Skill-Struktur basierend auf Ausführungs-Evidenz, wodurch der Graph Wissen über Episoden hinweg ohne menschliche Kuration akkumulieren kann.

Die Autoren räumen Einschränkungen hinsichtlich des Long-Horizon-Verhaltens der Single-Observation Self-Evolution ein und merken an, dass, obwohl die aggregierten Edit-Effekte positiv sind, die Stabilität einer solchen Evolution über sehr lange Zeiträume eine offene Frage für zukünftige Arbeiten bleibt.