🤖 AI

MIND-Skill: Quality-Guaranteed Skill Generation via Multi-Agent Induction and Deduction

Het artikel introduceert MIND-Skill, een multi-agentkader dat automatisch hoogwaardige, herbruikbare LLM-vaardigheden genereert via een induktie-deductiecyclus die is geoptimaliseerd aan de hand van tekstuele verliezen (reconstructie, uitkomst en rubric) om robuustheid en generaliseerbaarheid op complexe taken te waarborgen.

Oorspronkelijke auteurs: Yixuan Li, Mingshu Cai, Ziyang Xiao, Wanyuan Wang, Yanchen Deng, Bo An

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yixuan Li, Mingshu Cai, Ziyang Xiao, Wanyuan Wang, Yanchen Deng, Bo An

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar iets onhandige robotassistent hebt. Je leert het een specifieke taak aan, zoals "een terugbetaling doen aan een vriend op Venmo", door het een video te laten zien van jou die het perfect doet. De robot kijkt toe, maar in plaats van je exacte bewegingen te kopiëren, probeert het een regelschrift voor zichzelf te schrijven zodat het in de toekomst vergelijkbare taken kan uitvoeren.

Het probleem is dat de robot, als het een slecht regelschrift schrijft, vast kan lopen. Het kan de naam van jouw specifieke vriend memoriseren (te specifiek) of instructies schrijven die te vaag zijn om nuttig te zijn (te abstract).

MIND-Skill is een nieuw systeem dat is ontworpen om deze AI-agenten te helpen automatisch perfecte, hoogwaardige regelschriften te schrijven. Het doet dit met behulp van een slim "Leraar en Student"-spel dat garandeert dat de regels daadwerkelijk werken.

Hier is hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. De Twee Personages: De Leraar en de Student

Het systeem gebruikt twee AI-agenten die samenwerken:

De Leraar (Inductie-agent): Deze agent bekijkt een succesvolle video van een taak die wordt uitgevoerd. Zijn taak is een algemeen regelschrift (een "vaardigheid") te schrijven dat uitlegt hoe de taak moet worden gedaan, zonder specifieke namen of nummers te noemen.
De Student (Deductie-agent): Deze agent is de test. Het krijgt alleen het regelschrift geschreven door de Leraar en de oorspronkelijke taakbeschrijving. Het probeert de taak vanaf nul uit te voeren met uitsluitend die instructies.

2. De "Reconstructie"-test

Dit is de magische truc. Het systeem vraagt niet alleen: "Heeft de Student het juiste antwoord gekregen?" Het vraagt: "Volgde de Student dezelfde logica als de originele video?"

Als de Leraar een regelschrift schrijft dat zegt "Klik op de rode knop", maar de originele video toonde het klikken op een blauwe knop, zal de Student falen. Het systeem vangt dit op.
Als de Leraar een regelschrift schrijft dat te vaag is (bijvoorbeeld "Doe het ding"), zal de Student in de war raken en falen.
Als de Leraar een regelschrift schrijft dat te specifiek is (bijvoorbeeld "Klik op de knop voor Gebruiker #123"), beseft het systeem dat dit voor niemand anders zal werken.

Het systeem vergelijkt de prestaties van de Student met de originele video. Als ze overeenkomen, is het regelschrift goed. Als ze niet overeenkomen, weet het systeem dat het regelschrift gebrekkig is.

3. De Drie "Rapporten"

Om ervoor te zorgen dat het regelschrift perfect is, geeft het systeem de Leraar na elke poging drie specifieke rapporten (genaamd "losses"):

Het "Heb je de Stappen Gevolgd?"-rapport (Reconstructie Loss): Volgde de Student dezelfde strategie als de originele video? (Bijvoorbeeld: Hebben ze beiden eerst de e-mail gecontroleerd en toen op verzenden geklikt?)
Het "Heb je de Taak Klaar Gemaakt?"-rapport (Outcome Loss): Heeft de Student de taak in de echte wereld daadwerkelijk succesvol voltooid?
Het "Is dit een Goed Handboek?"-rapport (Rubric Loss): Is het regelschrift goed geschreven? Is het duidelijk? Vermijdt het het kopiëren van specifieke details (zoals namen of ID's) die er niet zouden moeten staan? Dit zorgt ervoor dat het regelschrift een bruikbaar hulpmiddel is, en niet slechts een kopie-plak van één specifieke gebeurtenis.

4. De Cyclus van Verbetering

Het systeem draait dit spel keer op keer.

De Leraar schrijft een concept.
De Student probeert het.
Het systeem beoordeelt het concept met de drie rapporten.
Het systeem vertelt de Leraar precies wat er mis was (bijvoorbeeld: "Je hebt een specifieke naam opgenomen; verwijder deze," of "Je hebt een veiligheidscontrole overgeslagen").
De Leraar herschrijft het regelschrift op basis van deze feedback.

Dit gebeurt automatisch, waarbij het regelschrift wordt verfijnd totdat het foutloos is.

Waarom is dit speciaal?

De meeste eerdere methoden probeerden regelschriften te schrijven door gewoon een slimme AI te vragen een video te "samenvatten". Maar de AI maakt vaak fouten: het is ofwel te vaag of te specifiek.

MIND-Skill is anders omdat het het regelschrift direct test. Het is alsof een chef-kok een recept schrijft en het vervolgens direct aan een sous-chef geeft om het gerecht te bereiden. Als de sous-chok het eten verbrandt of de verkeerde ingrediënten gebruikt, weet de chef dat het recept slecht was en repareert hij het voordat iemand anders het probeert.

De Resultaten

Het artikel testte dit op twee moeilijke werelden:

AppWorld: Een simulatie van het gebruik van echte apps (zoals geld overmaken, tickets boeken, bestanden beheren).
BFCL-v3: Een test van het correct aanroepen van computerfuncties.

De resultaten toonden aan dat agenten die regelschriften van MIND-Skill gebruikten, veel beter waren in het oplossen van nieuwe, onbekende taken dan agenten die regelschriften gebruikten die door andere methoden waren gemaakt. Zelfs wanneer de "Leraar"-AI niet het slimste beschikbare model was, maakte het testproces de uiteindelijke regelschriften zo goed dat ze even goed presteerden als die gemaakt door de slimste modellen.

Kortom: MIND-Skill verandert AI-agenten in zelfverbeterende leraren die hun eigen perfecte instructiehandleidingen schrijven door constant te testen of die handleidingen daadwerkelijk werken.

Technische Samenvatting: MIND-Skill

Probleemstelling

AI-agenten aangedreven door Large Language Models (LLM) hebben succes aangetoond in autonoom probleemoplossen, maar worstelen met complexe, meerstaps taken uit de echte wereld die domeinspecifieke procedurele kennis vereisen (bijvoorbeeld API-gebruik, meerstaps tooloproepen). Hoewel herbruikbare "agent-vaardigheden" gestructureerde documenten zijn die succesvolle strategieën bevatten en een oplossing bieden, blijft het cureren ervan grotendeels een handmatig, door experts gedreven proces. Bestaande methoden voor automatische vaardigheidsgeneratie lijden aan drie kritieke beperkingen:

Gebrek aan kwaliteitsgaranties: Veel methoden genereren vaardigheden direct uit taakspecificaties of trajecten zonder een gesloten-lus validatiepijplijn om fouten op basis van uitvoeringsresultaten te corrigeren.
Slechte documentatiekwaliteit: gegenereerde vaardigheden voldoen vaak niet aan technische schrijfstandaarden (logische opbouw, probleemoplossingsrichtlijnen), wat hun portabiliteit en herbruikbaarheid vermindert.
Ongeverifieerde abstractietrouw: Trajectdistillatiemethoden generaliseren vaak te ver of falen in het behoud van essentiële afhandeling van randgevallen en controles van preconditions, wat leidt tot vaardigheden die het brongedrag niet trouw reconstrueren.

Methodologie: MIND-Skill

De auteurs stellen MIND-Skill (Multi-agent INductie en Deductie voor Vaardigheden) voor, een framework dat automatisch generaliseerbare vaardigheden synthetiseert met robuuste kwaliteitsgaranties. Het framework werkt via een gesloten-lus induktie-deductieproces dat is geoptimaliseerd met TextGrad.

Kernarchitectuur

Inductie-agent ( $A_I$ ): Opdracht om een succesvol traject ( $\tau$ ) en taakspecificatie ( $t$ ) te abstraheren tot een gestructureerd vaardigheidsdocument ( $s$ ). De systeemprompt ( $P_I$ ) van de agent is de enige variabele die tijdens het proces wordt geoptimaliseerd.
Deductie-agent ( $A_D$ ): Een "bevroren" agent die probeert het originele traject ( $\tau$ ) uitsluitend te reconstrueren met behulp van de taakspecificatie ( $t$ ) en de geïnduceerde vaardigheid ( $s$ ). Het heeft geen toegang tot het brontraject of externe begeleiding. Dit zorgt ervoor dat elke reconstructiefout direct kan worden toegeschreven aan tekortkomingen in de vaardigheid zelf.

Optimalisatie via Tekstuele Verliezen

Het framework optimaliseert gezamenlijk de induktieprompt ( $P_I$ ) met behulp van drie complementaire tekstuele verliesfuncties, die worden geëvalueerd door LLM-rechters en uitvoering in de omgeving:

Reconstructieverlies ( $L_{recon}$ ): Meet de procedurele uitlijning tussen het brontraject ( $\tau$ ) en het gereconstrueerde traject ( $\hat{\tau}$ ). Een LLM-rechter evalueert equivalentie op tactisch niveau (bijvoorbeeld hetzelfde patroon van ophalen-aggregatie) in plaats van letterlijke stap-voor-stap gelijkenis.
Resultaatverlies ( $L_{outcome}$ ): Dwingt uitvoeringscorrectheid af door het gereconstrueerde traject in een live-omgeving uit te voeren. Het biedt een ground-truth-signaal op basis van of het taakdoel wordt bereikt.
Rubriekverlies ( $L_{rubric}$ ): Beoordeelt de documentatiekwaliteit en regulariseert het abstractieniveau. Het straft "ground-truth-lekkage" af (het memoriseren van specifieke API-paden of entiteits-ID's) en zorgt ervoor dat de vaardigheid actiegericht, overdraagbaar, compleet en beknopt is.

Optimalisatieprocedure

Het systeem maakt gebruik van lexicografische minimalisatie waarbij het Resultaatverlies het primaire doel is, met Reconstructie- en Rubriekverliezen als beslissingscriteria bij gelijkspel. Met TextGrad analyseert een gradiënt-LLM de tekstuele feedback van alle drie de verliezen om faalpatronen te diagnosticeren en herzieningen van de induktieprompt ( $P_I$ ) voor te stellen. Een optimizer-LLM werkt de prompt vervolgens bij. Dit iteratieve proces gaat door voor een vast aantal stappen, waarbij de tot nu toe beste gevonden vaardigheid wordt behouden.

Belangrijkste Bijdragen

Nieuw Framework: Introductie van MIND-Skill, een multi-agent induktie- en deductieframework dat generaliseerbare vaardigheden synthetiseert uit succesvolle trajecten zonder menselijke tussenkomst.
Kwaliteitsborgingsmechanisme: Voorstellen van een optimalisatiestrategie met gesloten lus met drie tekstuele verliezen (Reconstructie, Resultaat, Rubriek) om ervoor te zorgen dat vaardigheden trouw, correct en goed gedocumenteerd zijn. Cruciaal is dat de deductie-agent bevroren blijft om de kwaliteit van de vaardigheid als enige variabele te isoleren.
Empirische Validatie: Aantonen dat MIND-Skill de prestaties van agenten verbetert op zowel brontaken als achtergehouden taken die niet tijdens de generatie zijn gezien, en dat het concurrente state-of-the-art-methoden overtreft.

Experimentele Resultaten

De auteurs hebben MIND-Skill geëvalueerd op twee benchmarks: AppWorld (interactieve coderingsagent-benchmark) en BFCL-v3 (meerdere-rondes function-calling-benchmark).

Prestaties: MIND-Skill presteerde consistent beter dan baselines, waaronder ReAct, In-Context Learning (ICL), Skill-extract (one-shot induktie), ACE (levenslang evoluerend) en Trace2Skill (trajectdistillatie).
- Op AppWorld-Challenge behaalde MIND-Skill een Taakdoelvoltooiing (TGC) van 51,8% en een Scenario-doelvoltooiing (SGC) van 39,6%, wat significant beter is dan de volgende beste methode (ACE met 51,1% TGC en 34,5% SGC).
- Op BFCL-v3 behaalde MIND-Skill de hoogste nauwkeurigheid (77,3% met Qwen3.5-basis, 78,7% met GPT-5.4-basis).
Ablatiestudies:
- Het verwijderen van een van de drie verliesfuncties resulteerde in prestatiedalingen, wat hun onmisbaarheid bevestigt. Het Reconstructieverlies was het meest kritiek voor Challenge-taken, terwijl het Rubriekverlies vitaal was om overfitting op Normal-taken te voorkomen.
- De gesloten-lus optimalisatie presteerde significant beter dan one-shot vaardigheidsextractie (Skill-extract), wat de waarde van iteratieve verfijning onderstreept.
Modelonafhankelijkheid: MIND-Skill stelde een zwakkere basismodel (Qwen3.5-122B) in staat prestaties te behalen die vergelijkbaar waren met een sterker model (GPT-5.4) wanneer het werd gebruikt als vaardigheidsgenerator, wat suggereert dat het framework effectief competentiekloven compenseert via uitlijning en optimalisatie.
Efficiëntie: MIND-Skill genereert compacte vaardigheden, waarbij tijdens de inferentie 3–6 keer minder tokens worden ingebracht dan bij monolithische playbooks van baselines zoals ACE.

Betekenis

Het artikel beweert dat MIND-Skill de kritieke kloof in geautomatiseerde vaardigheidsgeneratie aanpakt door kwaliteitsgaranties te bieden via een principieel, gesloten-lus proces. In tegenstelling tot eerdere methoden die vertrouwen op post-hoc foutdiagnose of ongeverifieerde abstractie, valideert MIND-Skill vaardigheden expliciet door te proberen het brongedrag te reconstrueren. Het framework toont aan dat hoogwaardige, generaliseerbare procedurele kennis automatisch kan worden gedistilleerd uit succesvolle trajecten, waardoor de afhankelijkheid van handmatige curatie wordt verminderd en agenten complexere taken met een langere horizon effectiever kunnen uitvoeren. De resultaten suggereren dat het induktie-deductieparadigma, gekoppeld aan optimalisatie van tekstuele verliezen, een robuuste aanpak is voor het schalen van agentcapaciteiten.