💬 NLP

MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

Dit artikel introduceert MMG2Skill, een closed-loop framework en de bijbehorende benchmark (MMG2Skill-Bench), die AI-agenten in staat stellen om ruisgevoelige, multimodale webgidsen via gestructureerde compilatie en trajectgestuurde revisie te distilleren tot zelfevoluerende uitvoerbare vaardigheden, waarmee zij baseline-agenten aanzienlijk overtreffen over diverse domeinen heen.

Oorspronkelijke auteurs: Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar ietwat naïeve robotassistent hebt. Je wilt dat deze complexe taken uitvoert, zoals het bewerken van een foto, het bouwen van een huis in een videogame, of het spelen van een strategisch kaartspel. Je hebt een enorme bibliotheek aan door mensen geschreven handleidingen, tutorials en wiki's op het internet die uitleggen hoe je deze dingen doet.

Het probleem is dat deze gidsen zijn geschreven voor mensen, niet voor robots. Ze zijn rommelig, gaan ervan uit dat je dingen weet die de robot niet weet, en raken in de war als de robot een kleine fout maakt. Als je de robot zomaar een link geeft naar een artikel over "Hoe bouw je een huis", raakt de robot misschien overweldigd door de tekst, mist het cruciale stappen, of probeert het dingen in de verkeerde volgorde uit te voeren.

Dit paper introduceert MMG2Skill, een nieuwe manier om robots te leren met behulp van deze rommelige menselijke gidsen. Zie het als een "Vertaler en Coach"-systeem dat menselijke instructies omzet in de persoonlijke speelboekjes van een robot.

Zo werkt het, onderverdeeld in drie eenvoudige fasen:

1. De Vertaler: "Mensentaal" omzetten in een "Robot Speelboekje"

In plaats van de hele rommelige artikel aan de robot te geven, leest het systeem de gids en extraheert de kernstappen. Het zet het artikel om in een schone, gestructureerde checklist genaamd een Skill.

De Analogie: Stel je een menselijke chefkok voor die een complex receptenblog leest. In plaats van de hele blog aan de sous-chef te geven, schrijft de chefko een beknopte, overzichtelijke "SOP" (Standard Operating Procedure) kaart: "Stap 1: Snijd uien. Stap 2: Verhit de pan. Stap 3: Voeg olie toe."
Het Resultaat: De robot heeft nu een duidelijke, bewerkbare instructiekaart (een SKILL.md bestand) in plaats van een verwarrende muur van tekst.

2. De Coach: Leren van fouten in real-time

De robot probeert de taak uit te voeren met behulp van deze nieuwe checklist. Als het mislukt, zegt het systeem niet alleen "Probeer het opnieuw". Het treedt op als een detective.

De Detective: Het kijkt naar wat de robot precies heeft gedaan, vergelijkt dit met het doel, en ontdekt waarom het is mislukt. Is de robot vergeten te wachten tot het bestand is opgeslagen? Heeft het op de verkeerde knop geklikt?
De Fix: Het systeem bewerkt vervolgens de checklist. Het voegt een notitie toe zoals: "Wacht 5 seconden tot het bestand is opgeslagen voordat je op 'Gereed' klikt."
De Analogie: Het is als een rijinstructeur die toekijkt hoe een leerling faalt voor een parkeerproef. In plaats van alleen te zeggen "Je bent gezakt", schrijft de instructeur een notitie op het oefenblad van de leerling: "Vergeet niet in de achteruitkijkspiegel te kijken voordat je achteruitrijdt." De volgende keer gebruikt de leerling dat bijgewerkte blad.

3. De Slimme Stopper: Weten wanneer te stoppen

Soms blijft een robot proberen, zelfs nadat hij is geslaagd, of blijft hij in een lus hangen omdat hij steeds faalt. Het systeem bevat een "Slimme Stopper".

De Analogie: Stel je een GPS voor die beseft dat je al op je bestemming bent aangekomen. In plaats van je rond het blok te laten rijden om maar zeker te weten dat je er bent, zegt het: "Je bent er. Zet de motor uit."
Het Voordeel: Dit bespaart tijd en geld (rekenkracht) door de robot te stoppen zodra er duidelijke tekenen van succes zichtbaar zijn, in plaats van het te dwingen een vast aantal pogingen uit te voeren.

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest in drie zeer verschillende werelden:

Desktopcomputers: Het besturen van software zoals Word of Photoshop.
Videogames: Het spelen van Minecraft om grondstoffen te verzamelen en items te maken.
Kaartspellen: Het spelen van strategische spellen zoals Doudizhu of Mahjong.

De Resultaten:

Ruwe gidsen zijn schadelijk: Wanneer ze de robot alleen de ruwe, rommelige menselijke gidsen gaven, werd de robot zelfs slechter in de taken. De extra ruis maakte het hem in de war.
Het Speelboekje wint: Wanneer ze het "Vertaler en Coach" systeem (MMG2Skill) gebruikten om die gidsen om te zetten in schone, bewerkbare skills, werden de robots aanzienlijk beter. Ze verbeterden met 12% tot 25% over de hele linie.
De Magie van Bewerken: De grootste winst kwam voort uit het vermogen van het systeem om de checklist aan te passen na een fout. Een eenmalige vertaling was niet genoeg; de robot moest leren van zijn eigen fouten en zijn eigen speelboekje bijwerken.

De Kernboodschap

Dit paper laat zien dat we niet voor elke robottaak perfecte code hoeven te schrijven. We kunnen de miljoenen menselijke gidsen die al op internet staan gebruiken, maar we moeten ze vertalen naar een formaat dat de robot begrijpt en de robot laten bewerken terwijl hij leert. Het verandert een rommelige menselijke handleiding in een zelfverbeterend speelboekje voor robots.

Technische Samenvatting: MMG2Skill

Probleemstelling

Vision-language model (VLM) agents krijgen steeds vaker de taak om langdurige procedurele werkzaamheden uit te voeren in interactieve omgevingen, zoals desktop GUI-besturing, open-world gaming en strategische kaartspellen. Een primaire hindernis voor succes in deze domeinen is zwakke procedurele gronding: het onvermogen van agents om herbruikbare procedures te verankeren in hun runtime-status. Hoewel het web vol staat met multimodale procedurele kennis (gidsen, tutorials, documentatie), is dit materiaal ontworpen voor menselijke uitvoerders. Het is vaak multimodaal, heterogeen, ruisgevoelig en gaat impliciet uit van een menselijke context (bijv. zusterprocedures, aannames over vereisten, navigatietekst).

Het direct prompten van agents met ruwe gidsen faalt vaak omdat de agent niet gemakkelijk de toepasbare stappen kan onderscheiden van irrelevante inhoud of de gids kan aanpassen wanneer de agent afwijkt van het nominale pad. Omgekeerd is het handmatig schrijven van vaardigheden voor elke taak arbeidsintensief, en zijn vaardigheden die uitsluitend door exploratie van de agent worden ontdekt, beperkt door de eigen fouten van de agent. De centrale vraag die dit werk adresseert is: Kunnen VLM-agents in-the-wild multimodale gidsen distilleren tot executie-gegronde vaardigheden die verbeteren door hun eigen rollouts?

Methodologie: MMG2Skill Framework

De auteurs stellen MMG2Skill voor, een closed-loop framework ontworpen om multimodale gidsen om te zetten in bewerkbare, uitvoerbare vaardigheden en deze continu te verbeteren zonder te vertrouwen op benchmark-scores tijdens het revisieproces. Het framework werkt in drie stadia:

Multimodale Vaardigheidsconstructie (Tutorial-naar-Skill):
Het systeem normaliseert ruwe multimodale gidsen (HTML, afbeeldingen, screenshots) naar een bewerkbare SKILL.md-representatie. Een VLM-vaardigheidsextractor zet de gids om in een reeks gestructureerde vaardigheden $S = \{z_i\}$ , waarbij elke vaardigheid $z_i$ bevat:
- $u_i$ : een herbruikbare procedure.
- $c_i$ : toepasbaarheidsvoorwaarden.
- $v_i$ : cues voor de verwachte status.
- $q_i$ : herstel-kennis (recovery knowledge).
  Deze stap transformeert ongestructureerde menselijke artefacten in een veiligere procedurele prior.
Vaardigheidsgeconditioneerde Executie:
Tijdens een agent-rollout (poging $k$ ) wordt de huidige set vaardigheden $S_k$ in de context van de agent geïnjecteerd, samen met de taakinstructie en recente historie. Het beleid van de agent $\pi_\theta$ blijft vast; het conditioneert zijn acties op de taak, de historie en de huidige vaardigheden: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$ . De set vaardigheden fungeert als procedurele context zonder de domeinspecifieke actie-interface te wijzigen.
Traject-gestuurde Vaardigheidsrevisie:
Na een poging leest een Analyzer alleen de taakinstructie en het voor de agent zichtbare traject (geen benchmark-scores of verborgen staten). Het produceert een diagnose $\rho_k = (e_k, r_k)$ , waarbij $e_k$ bewijs is van wat wel of niet werkte, en $r_k$ een beoordeling van de uitkomst is (bijv. likely_success).
Een Refiner gebruikt vervolgens de originele gids, de huidige vaardigheden en de geaccumuleerde diagnoses om de vaardigheidset bij te werken: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$ . De refiner bewerkt de SKILL.md-bestanden door ontbrekende controles toe te voegen, status-cues te verscherpen of misleidend advies te verwijderen, waarbij gevalideerde gedragingen uit eerdere pogingen behouden blijven.

Het framework bevat een early-stopping mechanisme gebaseerd op het likely_success-signaal van de analyzer, dat de loop stopt wanneer het traject de taak lijkt te voldoen, om laat-stadium prestatie-regressies te voorkomen.

Benchmark: MMG2Skill-Bench

Om deze capaciteit te evalueren, introduceren de auteurs MMG2Skill-Bench, de eerste benchmark die specifiek is ontworpen voor guide-to-skill leren.

Omvang: Het beslaat drie interactieregimes: GUI (OSWorld), Game (OpenHA Minecraft) en Strategie (Doudizhu en Mahjong via RLCard).
Samenstelling: Het bevat 130 succes-infereerbare taken gekoppeld aan relevante publieke multimodale gidsen.
Restricties: Taken zijn zo gekozen dat uitkomsten kunnen worden afgeleid uit het voor de agent zichtbare traject of de publieke eindstatus. De benchmark sluit taken uit waarbij antwoorden rechtstreeks uit de gidsen gekopieerd kunnen worden, om ervoor te zorgen dat de evaluatie procedurele gronding meet in plaats van retrieval.

Belangrijkste Resultaten

Het framework werd geëvalueerd over zes VLM-backbones (waaronder Claude-Opus, GPT-5.5, Kimi, Gemini en Qwen) op MMG2Skill-Bench.

Algemene Prestaties: MMG2Skill presteerde consequent beter dan vanilla baseline-agents (geen vaardigheden) en "Raw Guide" baselines (directe gids-injectie) in elke model–domein setting. De macro-gemiddelde winst varieerde van +12,8 tot +25,3 procentpunt over de backbones.
Mechanisme Ablatie:
- Raw Guide Injection: Direct prompten met ruwe gidsen was onbetrouwbaar en degradeerde vaak de prestaties (bijv. -1,67 pp op Game) door mismatches tussen de gids en de omgeving-gronding.
- Gestructureerde Extractie: Het omzetten van gidsen in gestructureerde vaardigheden (zonder revisie) bood een veiligere procedurele prior, wat de prestaties verbeterde ten opzichte van vanilla agents.
- Traject-gestuurde Revisie: De revisiecomponent leverde de meerderheid van de winst in de Game en Strategy domeinen (meer dan 90% van de totale winst), waardoor hiaten tussen de gids en de runtime-executie werden hersteld.
Efficiëntie: MMG2Skill verbeterde de scores terwijl het gemiddelde aantal getoonde stappen per poging verminderde, wat duidt op minder exploratieve zijpaden.
Early Stopping: Analyzer-gebaseerde early stopping voorkwam late-stage prestatie-regressies (niet-monotoniciteit) en bespaarde 25%–53% van de pogingen op succes-infereerbare taken, terwijl een hoge precisie (>74%) en recall (>95% op GUI/Game) behouden bleef.

Betekenis en Claims

Het artikel claimt twee primaire bijdragen:

MMG2Skill-Bench: Een nieuwe benchmark die succes-infereerbare interactieve taken koppelt aan in-the-wild multimodale gidsen, waarmee een standaard wordt gevestigd voor het evalueren van guide-to-skill leren.
MMG2Skill Framework: Een closed-loop systeem dat aantoont dat publieke gidsen kunnen worden omgezet in bewerkbare, executie-gegronde vaardigheden die verbeteren door agent-rollouts zonder dat hiervoor benchmark-scores nodig zijn voor revisie.

De auteurs benadrukken dat toegang tot gidsen alleen onvoldoende is. Raw guide prompting kan de prestaties schaden, terwijl gestructureerde vaardigheidsconstructie een veiligere prior biedt, en traject-gestuurde revisie noodzakelijk is om grondingshiaten te repareren. Bovendien benadrukken zij dat de winst door revisie niet-monotoon is, waardoor gekalibreerde early stopping essentieel is voor implementatie. Het werk isoleert het probleem van het converteren van procedureel materiaal naar uitvoerbare vaardigheden, wat onderscheidt van het upstream probleem van guide discovery.