💬 NLP

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

Het artikel stelt SKILLGRAPH voor, een raamwerk dat vaardigheden voorstelt als knopen in een evoluerende gerichte graaf om agenten op basis van grote taalmodellen in staat te stellen geordende vaardigheids-subgrafieën op te halen voor compositieve taken, waardoor zowel het onderhoud van bibliotheken als de state-of-the-art prestaties in versterkend leren worden verbeterd.

Oorspronkelijke auteurs: Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Vlakke Lijst" versus het "Receptenboek"

Stel je voor dat je een robotbutler leert hoe je een complexe maaltijd moet bereiden.

Oude Methode (Vlakke Bibliotheken): Je geeft de robot een gigantische, vlakke lijst met 1.000 tips. Het zoekt de lijst af op trefwoorden. Als je vraagt om "een sandwich te maken", vindt het misschien tips als "brood halen", "kaas halen" en "een mes gebruiken". Maar de lijst vertelt de robot niet welke tip eerst komt, of dat je geen kaas op het brood kunt doen voordat je het brood hebt gehaald. De robot raakt in de war, probeert dingen in de verkeerde volgorde en faalt.
De Oplossing uit het Artikel (SKILLGRAPH): In plaats van een vlakke lijst, houdt de robot een gestructureerde kaart (een graaf) bij. In deze kaart is "Brood halen" verbonden met "Kaas leggen" met een pijl die zegt: "Doe dit na." Het weet dat "Mes gebruiken" helpt bij "Kaas snijden", en dat "Koelkast openen" een voorwaarde is voor "Kaas halen".

Hoe SKILLGRAPH Werkt: De Drie-Stappenlus

Het artikel stelt een systeem voor waarbij de "hersenen" van de robot (het beleid) en zijn "vaardigheidskaart" (de graaf) samen groeien en verbeteren in een gesloten lus. Denk hierbij aan een student die leert een videospelletje te spelen terwijl het tegelijkertijd de strategiehandleiding voor het spel schrijft.

1. De Kaart Bouwen (Graafconstructie)

De robot probeert taken op te lossen. Soms wint het, soms verliest het.

De Leraar: Een slimme "Leraar-AI" kijkt naar deze pogingen.
Vaardigheden Distilleren: De Leraar zet succesvolle pogingen om in korte, herbruikbare "vaardigheden" (zoals "Controleer de magnetron"). Het zet mislukkingen om in lessen over wat je niet moet doen.
Pijlen Tekenen: De Leraar schrijft de vaardigheden niet alleen op; het tekent pijlen tussen hen. Het noteert: "Je moet het object Oppakken voordat je het kunt Verwarmen." Het creëert een web van verbindingen dat laat zien welke vaardigheden afhankelijk zijn van anderen.

2. De Kaart Lezen (Graafbewuste Retrieval)

Wanneer de robot geconfronteerd wordt met een nieuwe taak, zoekt het niet alleen op trefwoorden. Het reist door de kaart.

Zaadselectie: Het vindt het startpunt (bijvoorbeeld: "Ik moet iets verwarmen").
Terugwaarts en Voorwaarts Reizen: Het kijkt terug om te zien welke stappen voor dit nodig zijn (bijvoorbeeld: "Ik moet eerst het object vinden") en vooruit om te zien wat er na komt (bijvoorbeeld: "Dan moet ik het neerzetten").
De Gesorteerde Lijst: Het haalt een perfect gesorteerde lijst van stappen op, van eenvoudig tot complex, zodat de robot nooit probeert stap 5 te doen voordat stap 1 is gedaan.

3. De Kaart Bijwerken (Graafevolutie)

Dit is het magische deel. De kaart is niet statisch; het verandert naarmate de robot leert.

Fouten Oplossen: Als een vaardigheid blijft mislukken (zoals "Koelkast openen" maar de robot botst altijd tegen de muur), markeert het systeem het als "Verouderd" (weggooien).
Nieuwe Vaardigheden Toevoegen: Als de robot faalt omdat het niet weet hoe het de "Temperatuur moet controleren", bedenkt de Leraar een nieuwe vaardigheid daarvoor en voegt deze toe aan de kaart.
Samenvoegen en Opsplitsen: Als twee vaardigheden in feite hetzelfde zijn, voegt het systeem ze samen. Als één vaardigheid te vaag is, splitst het deze op in twee duidelijkere.
Paden Versterken: Als een specifiek pad op de kaart leidt tot een overwinning, maakt het systeem dat pad "dikker" (sterker) zodat de robot de volgende keer eerder geneigd is het te gebruiken.

Het "Level Up"-Systeem (Progressieve Ontgrendeling)

Stel je een videospel voor waarin je de eindbaas niet kunt bevechten totdat je de basiszwaardbewegingen hebt beheerst.

SKILLGRAPH organiseert vaardigheden in Levels.
Level 0: Basisvaardigheden (bijvoorbeeld: "Vooruit bewegen").
Level 1: Intermediaire vaardigheden (bijvoorbeeld: "Object oppakken").
Level 2: Complexe vaardigheden (bijvoorbeeld: "Een maaltijd bereiden").
De robot is afgesloten voor Level 2-vaardigheden totdat het bewijst dat het goed is in Level 1. Dit voorkomt dat de robot overweldigd raakt door complexe instructies voordat het de basis begrijpt.

Wat de Resultaten Tonen

De onderzoekers testten dit op drie soorten uitdagingen:

ALFWorld: Een tekstgebaseerd huis waar de robot moet schoonmaken, koken en ordenen.
WebShop: Een gesimuleerde online winkel waar de robot specifieke items moet zoeken en kopen.
Search QA: Het beantwoorden van lastige vragen die vereisen dat informatie in meerdere stappen wordt opgezocht.

De Uitkomst:

SKILLGRAPH sloeg bijna elke andere methode, inclusief zeer slimme "gesloten-bron" modellen (zoals GPT-4o) en andere geheugengebaseerde systemen.
Het was vooral goed in complexe taken waarbij veel stappen aan elkaar gekoppeld moesten worden.
Het leerde sneller en maakte minder fouten omdat het niet elke keer het "wiel opnieuw hoefde uit te vinden"; het volgde gewoon de bijgewerkte kaart.

In het Kort

SKILLGRAPH is een systeem dat stopt met het behandelen van de ervaring van een AI als een rommelige stapel notities. In plaats daarvan organiseert het ervaringen in een levende, ademende kaart van vaardigheden. Naarmate de AI beter wordt, wordt de kaart slimmer, voegt het nieuwe paden toe, verwijdert het doodlopende straten en leert het de AI precies welke stappen het moet nemen en in welke volgorde. Het is het verschil tussen een student een stapel willekeurige flashcards geven versus hen een goed georganiseerd leerboek geven dat zichzelf bijwerkt naarmate ze leren.

Technische Samenvatting: SKILLGRAPH

Probleemstelling

Grote Taalmodellen (LLM)-agenten hebben capaciteiten aangetoond in complexe interactieve taken zoals webnavigatie en belichaamde manipulatie. Echter, huidige agenten behandelen taken vaak als geïsoleerde episodes, waardoor ze niet leren van eerdere successen of mislukkingen, zelfs niet wanneer ze structureel vergelijkbare problemen tegenkomen. Hoewel bestaande benaderingen vaardigheidsbibliotheken gebruiken om herbruikbare kennisunits op te slaan, functioneren deze bibliotheken doorgaans als platte verzamelingen waarbij vaardigheden worden opgeslagen als onafhankelijke vermeldingen en uitsluitend worden opgehaald op basis van semantische gelijkenis.

Deze platte organisatie presenteert twee kritieke beperkingen voor compositieve taken:

Niet-compositieve Ophaling: Complexe taken vereisen vaak een geordende volgorde van vaardigheden met specifieke afhankelijkheden (bijvoorbeeld een object verwarmen voordat het wordt geplaatst). Platte ophalers kunnen relevante vaardigheden identificeren, maar geven niet aan in welke volgorde ze moeten worden uitgevoerd of welke voorwaardelijke relaties er bestaan.
Ongestructureerd Onderhoud: Zonder expliciete structurele aanwijzingen missen platte bibliotheken mechanismen om te bepalen wanneer vaardigheden moeten worden samengevoegd, gesplitst of verwijderd, wat het moeilijk maakt om redundantie te beheren of de bibliotheek te laten evolueren samen met het verbeterende beleid van de agent.

Methodologie: SKILLGRAPH

De auteurs stellen SKILLGRAPH voor, een raamwerk dat herbruikbare vaardigheden organiseert in een gestructureerde, gerichte afhankelijkheidsgrafiek en deze grafiek co-evolueert met het beleid van de agent via Versterkend Leren (RL). Het raamwerk werkt in een gesloten lus die bestaat uit drie hoofdfasen:

1. Grafiekconstructie

Het systeem distilleert vaardigheden uit agenttrajecten (zowel succesvolle als mislukte) met behulp van een leraar-taalmodel.

Knopen: Vertegenwoordigen vaardigheden die worden gecategoriseerd als algemeen (domeinonafhankelijke strategieën) of taakspecifiek. Elke knop houdt gebruiksfrequenties en empirische succespercentages bij.
Randen: Getypeerde randen modelleren expliciet relaties tussen vaardigheden:
- Voorwaarde ( $A \to B$ ): Vaardigheid $A$ moet worden toegepast voordat $B$ wordt toegepast.
- Versterkt ( $A \to B$ ): Een algemene vaardigheid verbetert de effectiviteit van een taakspecifieke vaardigheid.
- Komt voor ( $A \leftrightarrow B$ ): Vaardigheden die frequent samen voorkomen in succesvolle episodes.
Niveaus: Knopen krijgen topologische niveaus toegewezen op basis van afhankelijkheidshierarchieën (Niveau 0 voor fundamentele vaardigheden zonder voorwaarde).

2. Grafiekbewuste Ophaling

In plaats van een set geïsoleerde vaardigheden op te halen, haalt het systeem een afhankelijkheidsgeordende subgrafiek op om multi-stap besluitvorming te sturen.

Zaadselectie: Identificeert taakrelevante insteekpunten (algemene vaardigheden en taak-gematchte vaardigheden) uit de momenteel "ontgrendelde" actieve set.
Grafiekuitbreiding:
- Achterwaartse uitbreiding: Doorloopt inkomende voorwaardelijke randen om fundamentele vaardigheden te herstellen.
- Voorwaartse uitbreiding: Gebruikt beam search om uitgaande randen te verkennen, met prioriteit voor paden met hoge randgewichten.
Topologische Ordening: De opgehaalde knopen worden topologisch gesorteerd om een coherente vaardigheidsvolgorde te produceren die de logische stroom van subtaken weerspiegelt (eenvoudig tot complex).

3. Grafiekevolutie

De vaardigheidsgrafiek wordt dynamisch bijgewerkt tijdens training op basis van feedback op trajectniveau, zodat de bibliotheek zich aanpast aan de groeiende competentie van de agent.

Knopniveau-aanpassing:
- Invoegen: Genereert nieuwe vaardigheden om specifieke faalmodi te adresseren die in trajecten zijn geïdentificeerd.
- Samenvoegen: Combineert redundante vaardigheden met hoge overlap in de omgeving.
- Splitsen: Decomposeert te brede vaardigheden die, ondanks hoog gebruik, gematigde succespercentages vertonen.
- Verouderen: Verwijdert vaardigheden die frequent worden opgehaald maar consequent falen.
Randniveau-aanpassing:
- Versterking: Verhoogt de gewichten van randen die in succesvolle trajecten zijn doorlopen.
- Ontdekking: Voegt nieuwe co-occurrence-randen toe wanneer vaardigheden samen in succes voorkomen.
- Verval en Snoeien: Past multiplicatief verval toe op randgewichten en verwijdert zwakke randen om verouderde relaties te voorkomen.
Progressieve Ontgrendeling: Implementeert een curriculum waarbij hogere niveaus vaardigheden pas worden geactiveerd zodra het gemiddelde succespercentage van het huidige fundamentele niveau een drempelwaarde overschrijdt.

Beleidsoptimalisatie

Het agentbeleid wordt geoptimaliseerd met GRPO (Group Relative Policy Optimization). Het beleid is gekoppeld aan de taakbeschrijving en de opgehaalde, geordende vaardigheidsvolgorde. Het systeem minimaliseert een afgeknipt surrogaatdoel met een KL-boete die is verankerd in een referentiebeleid dat is geïnitieerd via Supervised Fine-Tuning (SFT).

Belangrijkste Bijdragen

Gestructureerde Vaardigheidsformulering: Het artikel introduceert een nieuwe formulering waarbij vaardigheden worden verbonden door expliciete voorwaarde-, versterkings- en co-occurrence-relaties, wat verder gaat dan platte semantische ophaling.
SKILLGRAPH-raamwerk: Een gesloten-lus systeem dat afhankelijkheidsbewuste vaardigheidsophaling en gestructureerde vaardigheidsupdates (invoegen, samenvoegen, splitsen) mogelijk maakt tijdens RL-training.
Empirische Validatie: Uitgebreide experimenten die aantonen dat gestructureerde vaardigheidsgrafieken de sample-efficiëntie en prestaties verbeteren bij complexe, multi-stap taken in vergelijking met platte, geheugenaugmenteerde RL-methoden.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op ALFWorld (belichaamde manipulatie), WebShop (webnavigatie) en zeven zoek-augmenteerde QA-benchmarks.

ALFWorld & WebShop: SKILLGRAPH behaalde state-of-the-art prestaties, en presteerde aanzienlijk beter dan gesloten-bron LLM's (zoals GPT-4o, Gemini-2.5-Pro) en op prompts gebaseerde/geheugenaugmenteerde baselines. Opmerkelijk is dat het de sterkste eerdere methode, SkillRL, met 11,7 punten versloeg op WebShop. De winsten waren het meest uitgesproken bij subtaken die strikte ordening vereisten (bijvoorbeeld "Schoonmaken" en "Verwarmen" in ALFWorld).
Zoek-augmenteerde QA: Getraind op NQ en HotpotQA, generaliseerde SKILLGRAPH zero-shot naar vijf ongezette datasets (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle), waarbij het de hoogste gemiddelde prestatie (48,9) behaalde onder alle baselines.
Ablatiestudies: Het verwijderen van grafiekbewuste ophaling veroorzaakte de grootste prestatiedaling op ALFWorld (-31,2%), wat de noodzaak van geordende vaardigheidssequenties bevestigt. Het verwijderen van grafiekevolutie had de grootste impact op WebShop (-14,1%), wat de waarde van een dynamisch verfijnende vaardigheidsset benadrukt.
Efficiëntie: De grafiekgeleide ophaling behield kortere promptlengten in vergelijking met platte ophaling, wat de inferentiekosten en het signaal-ruisverhouding verbeterde.

Betekenis en Claims

Het artikel beweert dat SKILLGRAPH de kernbeperkingen van platte vaardigheidsbibliotheken aanpakt door compositieve planning mogelijk te maken via afhankelijkheidsbewuste ophaling en geprincipeerde evolutie via gestructureerde updates. De auteurs stellen dat het expliciet modelleren van inter-vaardigheidsrelaties agenten in staat stelt om:

Compositieve kennis over te dragen van eenvoudigere taken naar complexere taken.
Redundante exploratie te verminderen door gestructureerde begeleiding te bieden.
Zowel de vaardigheidsbibliotheek als het agentbeleid continu te verfijnen in een wederzijds versterkende lus.

Het werk positioneert zichzelf als een stap richting agenten die gestructureerde kennis kunnen accumuleren uit ervaring, waardoor de sample-efficiëntie en betrouwbaarheid verbeteren in domeinen zoals huishoudelijke assistentie en informatievergaring. De auteurs erkennen beperkingen met betrekking tot de afhankelijkheid van een sterke leraar voor grafiekoperaties en de huidige beperking tot training in één omgeving, en suggereren cross-omgevingsoverdracht en lichtgewicht zelfdistillatie als toekomstige richtingen.