🤖 AI

SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale

SkillDAG introduceert een zelfevolvend, getypeerd gerichte graafframework dat LLM-agenten in staat stelt om tijdens de uitvoering dynamisch inter-skill relaties op te halen en er structureel over te redeneren, waarbij het bestaande baselines in complexe taakomgevingen aanzienlijk overtreft door executie-ondersteunde kennis te accumuleren en een robuuste kandidaat-ranking te behouden naarmate skill-bibliotheken schalen.

Oorspronkelijke auteurs: Tong Bai, Zhenglin Wan, Pengfei Zhou, Xingrui Yu, Wangbo Zhao, Yang You, Ivor W. Tsang

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tong Bai, Zhenglin Wan, Pengfei Zhou, Xingrui Yu, Wangbo Zhao, Yang You, Ivor W. Tsang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm team van gespecialiseerde werkers (vaardigheden) inhuurt om een robot te helpen complexe puzzels op te lossen. In het verleden, toen het team klein was, kon je gewoon ieders cv lezen en de juiste mensen kiezen. Maar nu stel je je voor dat je team is gegroeid naar duizenden werkers.

Als je probeert om alle cv's tegelijk te lezen, kom je tijd en ruimte tekort. Als je een computer simpelweg vraagt om het "meest vergelijkbare" cv bij de taak te vinden, kun je de cruciale persoon die je eigenlijk nodig hebt missen, omdat hun cv niet op de taak lijkt, ook al is die persoon essentieel voor deze.

SkillDAG is een nieuw systeem dat ontworink is om dit "te veel werkers"-probleem voor AI-agenten op te lossen. Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Platte" Lijst versus de "Kaart"

Huidige AI-systemen behandelen vaardigheden vaak als een platte lijst met namen. Als je vraagt om een "kookvaardigheid", vindt het systeem het woord "koken". Maar het kan missen dat je ook een "snijvaardigheid" (een vereiste) nodig hebt of dat je "koken" en "vriezen" niet tegelijkertijd mag gebruiken (een conflict).

De Oude Manier: Het is alsof je door een stad probeert te navigeren met alleen een lijst met straatnamen. Je weet misschien de bestemming, maar je weet niet welke straten erheen leiden, welke doodlopende wegen zijn, of welke eenrichtingsverkeer zijn.
De SkillDAG-manier: Het bouwt een levende kaart (een graaf) waarbij elke vaardigheid een straatblok is, en de verbindingen tussen hen duidelijk gelabelde wegen zijn. Sommige wegen zeggen "Je moet deze nemen om daar te komen" (Vereiste), sommige zeggen "Dit is een kortere route" (Specialisatie), en sommige zeggen "Ga hier niet heen" (Conflict).

2. De Innovatie: De Agent Houdt de Kaart Vast

In eerdere systemen besliste een vast computerprogramma welke vaardigheden geladen moesten worden op basis van de kaart, en de AI-agent kreeg slechts een vooraf samengestelde lijst. De agent kon niet vragen: "Waarom heb je dit gekozen?" of "Kan ik een nieuwe weg toevoegen?".

SkillDAG draait dit om.

De Agent is de Navigator: De AI-agent krijgt zelf de kaart gegeven. De agent kan naar de verbindingen kijken, vragen stellen en beslissen welke vaardigheden te laden.
Het "Zoek"-instrument: In plaats van alleen een lijst met namen te krijgen, vraagt de agent aan de kaart: "Wie staat dicht bij deze taak?" (Matches), "Wie is verbonden met hen?" (Buren), en "Wie moet ik vermijden?" (Conflicten). Dit geeft de agent drie verschillende soorten aanwijzingen om een slimme beslissing te nemen.

3. Het "Zelf evoluerende" Deel: Nieuwe Wegen Tekenen

De kaart is niet perfect wanneer deze begint. Deze wordt gebouwd vanuit een "cold start" (het lezen van de cv's), maar het mist dingen die pas gebeuren wanneer de robot daadwerkelijk het werk doet.

Het "Propose and Commit"-protocol: Als de agent een taak probeert en beseft: "Hé, ik had Vaardigheid A nodig voordat ik Vaardigheid B kon gebruiken," kan de agent een nieuwe weg op de kaart voorstellen die hen verbindt.
De Veiligheidshekjes: Voordat de nieuwe weg wordt getekend, controleert het systeem drie regels:
1. Geen Lussen: Je kunt geen cirkel creëren waarbij A B nodig heeft, en B A nodig heeft (dat zou de agent vastzetten).
2. Geen Tegenstrijdigheden: Je kunt niet een weg tekenen die zegt "Ga hierheen" en een andere die zegt "Ga hier niet heen" voor hetzelfde paar.
3. Ongedaan maken-knop: Als de agent een fout maakt, houdt het systeem een logboek bij zodat de weg later gewist kan worden.

Dit betekent dat de kaart slimmer en gedetailleerder wordt telkens wanneer de agent een puzzel oplost, en leert van de eigen ervaring.

4. De Resultaten: Slimmer en Sneller

Het paper testte dit op twee soorten uitdagingen:

ALFWorld (Virtueel Huis): De agent moest objecten door een huis bewegen.
SkillsBench (Codeeropdrachten): De agent moest code schrijven om problemen op te lossen.

De Uitkomst:

Betere Succesratio: De SkillDAG-agent loste aanzienlijk meer puzzels op dan de vorige beste methoden. Het was vooral goed in het kiezen van de juiste hulpmiddelen wanneer de bibliotheek met tools enorm groot was.
Beter Geheugen: Zelfs toen het aantal vaardigheden 10 keer groter werd, raakte de SkillDAG-agent niet in de war. Hij bleef de juiste vaardigheden vinden, terwijl andere methoden begonnen te falen.
Intrinsieke Verbetering: Het systeem werd niet alleen toevallig beter; het haalde daadwerkelijk vaker de juiste "ground truth" vaardigheden op, wat bewees dat de kaartstructuur werkte.

Samenvattende Analogie

Denk aan SkillDAG als het geven van een GPS die zichzelf bijwerkt aan een AI-agent.

Oud Systeem: Je geeft de agent een statische papieren kaart. Als de weg verandert of er een nieuwe kortere route opent, zit de agent vast met de oude kaart.
SkillDAG: De agent houdt een digitale GPS vast. De agent kan het verkeer zien (conflicten), de verbindingen (afhankelijkheden), en terwijl hij rijdt, tekent hij nieuwe routes op de kaart voor toekomstige ritten. De agent beslist waar hij heen gaat, waarbij hij de kaart als een hulpmiddel gebruikt, niet als een regel.

Het paper beweert dat deze aanpak AI-agenten veel beter maakt in het kiezen van de juiste hulpmiddelen uit een enorme bibliotheek, wat leidt tot hogere succespercentages bij complexe taken.

Technische Samenvatting: SkillDAG

1. Probleemstelling

Naarmate Large Language Model (LLM) agents uitgebreide externe bibliotheken met vaardigheden (skills) adopteren, verschuift de flessenhals van het creëren van vaardigheden naar de selectie van vaardigheden. Wanneer bibliotheken schalen naar duizenden vermeldingen, schieten traditionele retrieval-methoden tekort in het vastleggen van de complexe structurele relaties tussen vaardigheden.

Beperkingen van Flat Retrieval: Standaard benaderingen (bijv. top- $K$ cosinus-gelijkenis of BM25) behandelen vaardigheden als onafhankelijke vectoren. Dit leidt tot "stille fouten" waarbij structureel noodzakelijke vereisten worden weggelaten, redundante of interfererende vaardigheden worden geselecteerd, en synergetische paren worden gemist.
Beperkingen van Statische Grafen: Voorgaand werk zoals Graph of Skills (GoS) modelleert de onderlinge relaties tussen vaardigheden, maar vertrouwt op een vaste, offline retrieval-pipeline (bijv. Personalized PageRank). De resulterende bundel aan vaardigheden is opaak voor de agent; de LLM kan de grafenstructuur niet bevragen, niet redeneren over waarom een vaardigheid is gekozen, een ruisende retrieval niet intrekken, of nieuwe relaties die tijdens uitvoering zijn ontdekt, niet vastleggen.

Het kernprobleem is dat huidige systemen de relationele structuur van de bibliotheek verbergen voor de agent, waardoor de LLM geen geïnformeerde structurele beslissingen kan nemen tijdens de inferentie.

2. Methodologie: SkillDAG

SkillDAG stelt een fundamentele inversie voor: in plaats van de graaf te embedden in een vaste ranking-algoritme, exposeert het de getypeerde vaardigheidsrelatie-graaf als een agent-aanroepbare structurele retrieval-interface. De graaf wordt door de LLM bevraagd, geïnspecteerd en geëvolueerd tijdens de uitvoering.

2.1. Getypte Vaardigheidsrelatie-graaf

De vaardigheidsbibliotheek wordt gemodelleerd als een gerichte graaf $G = (V, E, \tau)$ waarbij randen (edges) worden toegewezen aan een van vijf operationele typen:

depends_on: Vaardigheid $A$ vereist de voorwaarde $B$ .
specializes: Vaardigheid $D$ is een nauwer, geprefereerd variant van $A$ .
composes_with: Vaardigheden $A$ en $B$ hebben een synergetische gezamenlijke toepassing.
similar_to: Functionele redundantie; de agent moet er één kiezen, niet beide.
conflicts_with: Vaardigheden $A$ en $B$ mogen niet samen worden geselecteerd (pruning-signaal).

Belangrijke Ontwerpkeuze: conflicts_with wordt behandeld als een pruning-signaal, niet als een traversale-rand, om te voorkomen dat de agent navigeert naar vaardigheden die hij expliciet moet vermijden. De ruggengraat (depends_on, specializes) wordt beperkt tot een acyclische structuur.

2.2. Agent-Aanroepbare Interface

De agent interageert met de graaf via een search-functie die drie verschillende bewijskanalen teruggeeft, in plaats van een enkele gerankte bundel:

Matches: Top- $K$ vaardigheden gebaseerd op query-node embedding gelijkenis.
Neighbors: Vaardigheden bereikt via een begrensde BFS-traversal (diepte $D$ ) over de vier "positieve" randtypen (depends_on, specializes, composes_with, similar_to).
Conflicts: One-hop conflicts_with randen incidenteel aan een match.

Deze decompositie stelt de agent in staat om specifieke velden te laten vallen onder strikte context-budgetten, zoekopdrachten dynamisch te plannen en een redeneerspoor bij te houden voor selectie/uitsluitingsbeslissingen.

2.3. Cold-Start Constructie

Om de graaf te initialiseren voordat er enige agent-executie plaatsvindt, wordt een two-view embedding strategie toegepast om cross-functionele paren te herstellen die single-view gelijkenis mist:

$e_{self}$ : Embedt de identifier, beschrijving en body (wat het doet) van de vaardigheid.
$e_{needs}$ : Een LLM genereert een HyDE-stijl samenvatting van wat de vaardigheid vereist (voorwaarden) op basis van verbeelde aanroep-taken, welke vervolgens wordt geembed.

Kandidaat-paren worden gevormd als een van de twee rankings een adaptieve drempel overschrijdt, gevolgd door een LLM pair-classifier om de randtypen toe te wijzen. conflicts_with wordt uit deze statische fase uitgesloten, omdat dit executie-bewijs vereist.

2.4. Online Graaf Evolutie

SkillDAG introduceert een propose-then-commit protocol voor online graaf-updates:

propose-edge: Een droge loop waarbij de agent een potentiële wijziging van een rand vooruit bekijkt en de bestaande historie voor dat vaardigheidspaar beoordeelt.
edit-edge: De agent committeert de wijziging met een natuurlijke reden en een executie-trace.

Structurele Invarianten: Om incoherentie te voorkomen, moet elke commit voldoen aan drie controles:

Acyclicity: Voorkomt cycli in de depends_on/specializes ruggengraat.
Non-contradiction: Voorkomt dat een paar zowel een positieve rand (bijv. depends_on) als een conflicts_with rand heeft.
Reversibility: Een append-only historie log maakt het mogelijk om foutieve edities terug te draaien.

3. Belangrijkste Bijdragen

Identificatie van Structurele Foutmodi: Het artikel identificeert dat flat retrieval structureel noodzakelijke vaardigheden stilletjes weglaat en redundante vaardigheden samenvoegt, een fout die onzichtbaar is voor louter gelijkenis-matching.
Agent-Aanroepbare Interface: SkillDAG exposeert een getypeerde relatie-graaf via search/show/propose-edge/edit-edge, wat vaste ranking-policies vervangt door structureel bewijs waarover de agent direct redeneert.
Online Evolutie Protocol: Een mechanisme waarmee agents de graaf kunnen laten groeien vanuit single-episode bewijs onder strikte structurele invarianten, gekoppeld aan een two-view cold-start constructor om cross-functionele paren te herstellen.
Empirische Validatie: Gedemonstreerd verbeteringen op ALFWorld en SkillsBench over verschillende model-backbones heen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ALFWorld (tekst-gebaseerde belichaamde omgeving) en SkillsBench (gecontaineriseerde code-generatie taken) met behulp van MiniMax-M2.7 en gpt-5.2-codex.

Prestatiewinst (MiniMax-M2.7):
- ALFWorld: Succespercentage steeg van 54.3% (GoS baseline) naar 67.1% (+12.8 punten).
- SkillsBench: Beloning steeg van 18.7% naar 27.3% (+8.6 punten).
- Intrinsic Retrieval: Ret@K op SkillsBench steeg van 65.5% naar 78.2%, wat aangeeft dat de retrieval-pipeline zelf nauwkeuriger is vóór de uitvoering.
Prestatiewinst (gpt-5.2-codex):
- SkillDAG tie met de GoS baseline op ALFWorld (93.6%) en verbeterde op SkillsBench (34.4% $\to$ 36.8%).
- Het artikel merkt op dat het "routing aid" signature het grootst is waar het backbone-model niet verder kan redeneren dan een slechte bundel, en verdwijnt zodra de backbone sterk genoeg is om opaak-bundels te verwerken.
Schaalbaarheid: De kwaliteit van de retrieval van SkillDAG bleef stabiel (Ret@K $\approx$ 78.2%) terwijl de vaardigheidspool 10x werd uitgebreid (van 200 naar 2000 vaardigheden), terwijl de GoS baseline significant degradeerde.
Edit Persistentie: Online edities die tijdens de training zijn gecommitteerd, werden effectief overgedragen naar held-out test episodes, en de bewerkte graaf haalde meer ground-truth vaardigheden op per query zonder eerdere hits te verdringen (set-monotone eigenschap).

5. Betekenis en Claims

Het artikel claimt dat SkillDAG de hypothese valideert dat grafenstructuur het beste werkt als een interface voor routing-beslissingen, en niet als een opaak beleid.

Inversie van Ontwerp: Door de graaf een agent-aanroepbare interface te maken in plaats van een vast onderdeel van een retriever, stelt het systeem de LLM in staat om te beslissen hoe structureel bewijs de uitvoering beïnvloedt.
Robuustheid: De benadering isoleert de winst in de retrieval-pipeline, waarbij het aantoont dat getypeerde-graaf retrieval beter presteert dan diffusie-gebaseerde ranking (PPR) naarmate de bibliotheek schaalt, zonder te vertrouwen op de executie van de agent om een defect retrieval-systeem te repareren.
Zelfevolutie: Het systeem maakt precieze, controleerbare updates van de vaardigsheidsstructuur mogelijk op basis van executie-bewijs, waardoor de graaf kennis kan accumuleren over episodes heen zonder menselijke curatie.

De auteurs erkennen beperkingen met betrekking tot de long-horizon gedrag van single-observation zelfevolutie, waarbij zij opmerken dat hoewel de geaggregeerde edit-effecten positief zijn, de stabiliteit van een dergelijke evolutie over zeer lange tijdlijnen een open vraag blijft voor toekomstig werk.