Technische Samenvatting: MMSkills: Richting Multimodale Vaardigheden voor Algemene Visuele Agenten

1. Probleemstelling

Bestaande agent-vaardigheidskaders coderen herbruikbare gedragingen voornamelijk als tekstuele prompts, uitvoerbare code of aangeleerde routines. Hoewel dit effectief is voor agenten die opereren in omgevingen met taalkundige abstractie, is deze aanpak ontoereikend voor visuele agenten (bijvoorbeeld GUI- of game-agenten) wiens beslissingen zwaar leunen op visueel bewijs. Voor deze agenten is procedurele kennis van nature multimodaal: succesvol hergebruik hangt niet alleen af van wat er moet worden uitgevoerd, maar ook van het herkennen van de relevante visuele staat, het interpreteren van bewijs van vooruitgang of falen, en het beslissen over de volgende stap op basis van visuele aanwijzingen.

Huidige tekst-only vaardigheden worden vaak omslachtig maar ondergespecificeerd voor visuele taken, terwijl ruwe demonstraties langdradig, specifiek voor een instantie en moeilijk aanpasbaar zijn. Deze kloof creëert drie specifieke uitdagingen:

1. Representatie: Hoe structureer je een multimodaal vaardigheidspakket dat procedures, visuele staten en verificatie-aanwijzingen bindt tot een coherent, herbruikbaar eenheid.
2. Generatie: Hoe leid je dergelijke pakketten af uit publieke, niet-evaluerende interactietrajecten zonder te vertrouwen op handgeschreven voorbeelden of ruwe replay.
3. Gebruik: Hoe raadpleeg je multimodale vaardigheidsbewijzen tijdens de inferentie zonder de agent te overweldigen met excessieve beeldcontext of de agent te laten over-ankeren aan referentieschermbeelden in plaats van de live omgeving.

2. Methodologie

De auteurs stellen MMSkills voor, een kader dat bestaat uit drie kerncomponenten: een Multimodaal Vaardigheidspakket, een Vaardigheidsgenerator en een Branch-Loaded Skill Agent.

2.1 Multimodaal Vaardigheidspakket

Een MMSkill wordt gedefinieerd als een staatsgeconditioneerd procedurepakket $M = (D, P, S, K)$:

• $D$ (Beschrijver): Een compacte beschrijving van de vaardigheid.
• $P$ (Procedure): Een herbruikbare tekstuele beschrijving van het actiepatroon.
• $S$ (Staatkaarten): Een set runtime-staatkaarten $S_j$ die fungeren als beslissingsknooppunten. Elke kaart specificeert:
  • Wanneer-te-gebruiken en Wanneer-niet-te-gebruiken voorwaarden.
  • Zichtbare aanwijzingen om te inspecteren.
  • Verificatie-aanwijzingen om vooruitgang of voltooiing te bevestigen.
  • Beschikbare weergaven (bijvoorbeeld volledig kader, focuscropping, voor/na).
• $K$ (Keyframes): Multi-view beeldbundels die zijn uitgelijnd met staatkaarten, inclusief volledige kaders voor context, focuscropping voor specifieke aanwijzingen en optionele voor/na-weergaven voor overgangen.

Deze structuur transformeert een vaardigheid van een statische instructie in een dynamische, staatsbewuste gids waarbij visueel bewijs de agent helpt beslissen of een procedure moet worden gevolgd, overgeslagen of geverifieerd.

2.2 Vaardigheidsgeneratiepijplijn

Het kader introduceert een geautomatiseerde Traject-naar-Vaardigheidsgenerator die publieke, niet-evaluerende trajecten omzet in MMSkills. Het proces omvat vijf fasen:

1. Embedding & Clustering: Het groeperen van brede domeinen in semantisch gefocuste clusters.
2. Cluster-niveau Planning: Een op LLM gebaseerde agent stelt atomaire vaardigheden voor met workflowgrenzen en voltooiingsvoorwaarden.
3. Samenvoegen: Het dedupliceren en generaliseren van plannen tot samengevoegde vaardigheidsspecificaties.
4. Tekst-eerste Opstellen: Genereren van beschrijvers, procedures en staatkaarten zonder afbeeldingen te lezen.
5. Beeldverankering & Audit: Het lezen van geselecteerde keyframes om focusregio's te verankeren, multi-view bundels te construeren en de uiteindelijke pakketten te auditeren met behulp van meta-vaardigheden (herbruikbare scripts en kwaliteitspoorten).

2.3 Branch-Loaded Agent

Om het probleem van contextoverlading en visuele ankering aan te pakken, stellen de auteurs branch loading voor. In plaats van het volledige vaardigheidspakket (tekst + meerdere afbeeldingen) in de context van de hoofdagent te injecteren, werkt het systeem in twee fasen binnen een tijdelijke branch:

1. Fase 1 (Gated View Selectie): De branch analyseert de live observatie en de tekst/staatkaarten van de vaardigheid om te bepalen of visueel bewijs nodig is. Zo ja, selecteert het alleen de relevante staatkaarten en specifieke weergavetypes (bijvoorbeeld focuscropping versus volledig kader).
2. Fase 2 (Planner Gids): De branch aligneert het geselecteerde bewijs met de live staat en retourneert een compact, gestructureerd gids-tuple $G_t$ (bevattende toepasbaarheid, subdoelen, plannen, beperkingen en verificatiecontroles) aan de hoofdagent.
   De hoofdagent gebruikt deze gedistilleerde gids om gefundeerde beslissingen te nemen op basis van de live screenshot, waardoor wordt voorkomen dat deze wordt afgeleid door referentieafbeeldingen.

3. Belangrijkste Bijdragen

1. Multimodaal Vaardigheidspakket: De eerste formulering van herbruikbare vaardigheden voor algemene visuele agenten als multimodale procedurele kennis, die tekstuele procedures, runtime-staatkaarten en multi-view keyframes integreert.
2. Agentic Generator: Een geautomatiseerde pijplijn die publieke interactietrajecten omzet in multimodale vaardigheidspakketten via workflowgroepering, procedure-inductie, visuele verankering en auditie geleid door meta-vaardigheden.
3. Branch Loading: Een runtime-mechanisme dat vaardigheids-omgevingverankering isoleert in een tijdelijke branch, bewijs selecteert en aligneert voordat gestructureerde beslissingsondersteuning wordt teruggegeven aan de hoofdagent.
4. Empirische Validatie: Demonstratie van aanzienlijke prestatiewinsten over diverse GUI- en game-gebaseerde benchmarks (OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros) en meerdere model-families.

4. Experimentele Resultaten

De auteurs evalueerden MMSkills op OSWorld, macOSWorld, VAB-Minecraft en Super Mario Bros met behulp van frontier-modellen (bijvoorbeeld Gemini 3.1 Pro, Qwen3-VL-235B) en kleinere modellen (bijvoorbeeld Qwen3-VL-8B).

• Prestatiewinsten: MMSkills verbeterden consistent de slagingspercentages ten opzichte van zowel "no-skill" als "text-only skill" baselines. Bijvoorbeeld, op OSWorld verbeterde MMSkills Qwen3-VL-235B van 21,34% naar 39,17% en Qwen3-VL-8B van 10,78% naar 25,40%.
• Ablatiestudies:
  • Componenten: Zowel staatkaarten als multi-view visueel bewijs bleken kritisch; het verwijderen van een van beiden degradeerde de prestaties.
  • Laadmechanisme: Branch loading presteerde beter dan directe lading (het invoegen van volledige vaardigheden in de context). Directe lading schaarde vaak de prestaties door contextvervuiling en visuele ankering, terwijl branch loading duidelijke winsten bood, zelfs voor tekst-only vaardigheden.
• Interactiedynamiek:
  • Inroepen: MMSkills werden vaker ingeroepen dan tekst-only vaardigheden, wat suggereert dat staatkaarten het gemakkelijker maken relevantie te detecteren.
  • Efficiëntie: MMSkills verlaagden het gemiddelde aantal interactiestappen (bijvoorbeeld -5,35 stappen voor Qwen3-VL-235B op OSWorld), wat wijst op kortere paden voor het oplossen van taken.
  • Gedragsverschuiving: Agenten die MMSkills gebruikten, vertoonden minder repetitieve acties en een verschuiving van exploratief trial-and-error naar gefundeerde, staatsbewuste uitvoering. Bijvoorbeeld, het aandeel "klik"-acties nam af terwijl "toetsenbord"- en "DONE"-acties toenamen, wat suggereert dat het bewustzijn van voltooiing beter is.

5. Betekenis en Claims

Het artikel stelt dat externe multimodale procedurele kennis model-interne priors aanvult. Door actieprocedures expliciet te binden aan het visuele bewijs en staatsafhankelijke beslissingen die nodig zijn voor hun toepassing, stellen MMSkills visuele agenten in staat om:

• Te herkennen wanneer een procedure van toepassing is op basis van visuele staat.
• Onderscheid te maken tussen vooruitgang, falen en voltooiing met behulp van visuele aanwijzingen.
• De valkuilen van tekst-only vaardigheden (ondergespecificeerdheid) en ruwe demonstraties (gebrek aan aanpasbaarheid) te vermijden.

De auteurs benadrukken dat deze aanpak bijzonder waardevol is voor zwakkere visuele agenten, waarbij expliciete visuele procedurele kennis kan compenseren voor beperkte interne priors. Het werk suggereert dat voor algemene visuele agenten de eenheid "vaardigheid" moet evolueren van tekst/code naar een staatsgeconditioneerd multimodaal pakket dat besluitvorming leidt via visuele verankering.

Beperkingen: De auteurs erkennen afhankelijkheid van de dekking van bron-trajecten, potentiële fouten in vaardigheidsgeneratie of visuele verankering, en de extra inferentiekosten die worden geïntroduceerd door het branch-loading-mechanisme. Zij merken op dat het uitbreiden hiervan naar veiligheidskritieke omgevingen sterkere verificatie en online reparatiemechanismen vereist.