💻 computer science

VISUALSKILL: Multimodal Skills for Computer-Use Agents

Het artikel introduceert VISUALSKILL, een multimodale skill-framework dat de prestaties van computergebruikende agenten op langdurige taken verbetert door visuele figuren in skill-artefacten te behouden in plaats van ze om te zetten naar tekst, wat resulteert in significante verbeteringen in nauwkeurigheid ten opzichte van zowel baseline als tekstgebaseerde skill-benaderingen.

Oorspronkelijke auteurs: Ziyan Jiang, Li An, Yujian Liu, Jiabao Ji, Qiucheng Wu, Jacob Andreas, Yang Zhang, Shiyu Chang

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziyan Jiang, Li An, Yujian Liu, Jiabao Ji, Qiucheng Wu, Jacob Andreas, Yang Zhang, Shiyu Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij complexe software moet gebruiken, zoals een fotobewerkingsprogramma of een spreadsheetprogramma. De robot kan het scherm zien en de muis bewegen, maar hij "kent" de software niet. Het is alsof je een toerist een kaart van een stad geeft, maar de kaart is volledig geschreven in een vreemde taal en bevat geen plaatjes. Ze kunnen misschien raden waar ze heen moeten, maar ze zullen waarschijnlijk verdwalen, vooral als de straten veranderen of als ze een specifieke, verborgen steegjes moeten vinden.

Dit is het probleem dat het artikel VISUALSKILL probeert op te lossen.

Het Probleem: Tekstuele Kaarten versus Visuele Realiteit

Huidige "computer-gebruik agents" (robots die software gebruiken) worden behoorlijk goed, maar ze hebben nog steeds moeite met lange, ingewikkelde taken of software die ze nog nooit eerder hebben gezien.

Om hen te helpen, hebben onderzoekers "skill libraries" gebouwd—eigenlijk instructiehandleidingen voor de robot. Maar hier is het probleem: deze handleidingen zijn alleen in tekst geschreven.

Het artikel stelt dat dit om twee redenen een slecht idee is:

Beelden beschrijven met woorden is moeilijk: Stel je voor dat je een robot probeert te vertellen op welke knop hij moet klikken door alleen te zeggen: "het blauwe penseelgereedschap." Als er vijf blauwe gereedschappen in de buurt zijn, klikt de robot misschien op de verkeerde. Een plaatje laat de exacte vorm en locatie direct zien.
Controleren of je werk goed is, is moeilijk: In een taak met meerdere stappen moet de robot controleren: "Heb ik echt het juiste menu geopend?" Als de handleiding zegt: "Je zou een klein venster moeten zien verschijnen," moet de robot raden hoe dat eruitziet. Als de handleiding een screenshot laat zien van dat exacte venster, kan de robot het scherm simpelweg vergelijken met de foto en zeker weten of het klopt.

De Oplossing: VISUALSKILL

De auteurs creëerden VISUALSKILL, een nieuwe manier om deze instructiehandleidingen te bouwen. In plaats van alleen tekst, bewaart VISUALSKILL de originele afbeeldingen en screenshots direct naast de instructies.

Denk er zo over na:

De oude manier (alleen tekst): Een recept dat zegt: "Voeg de rode saus toe." (De robot moet raden welke fles rood is).
VISUALSKILL: Een recept dat zegt: "Voeg de rode saus toe," en direct daaronder staat een foto van exact die rode sausfles in de kast.

Hoe het is opgebouwd (De Twee-fasen Pipeline)

Het team heeft deze handleidingen niet met de hand geschreven; ze hebben een systeem gebouwd om ze automatisch te creëren in twee stappen:

Fase 1: De Official Manual Miner.
Ze nemen de officiële gebruikershandleiding van de software (de PDF of website die het bedrijf heeft gemaakt) en zetten deze om in een gestructureerde 'skill'. Ze behouden alle originele diagrammen en screenshots uit de gids. Dit geeft de robot een solide basis.
Fase 2: De Live Explorer.
Officiële handleidingen zijn vaak verouderd of missen de vreemde, kleine pop-upvensters die alleen verschijnen wanneer je de software daadwerkelijk gebruikt. Daarom stuurt het systeem een "robot-explorer" om de software daadwerkelijk te gebruiken.
- Vrije Exploratie: De explorer dwaalt rond op het rustende scherm, klikt op knoppen om te zien wat er gebeurt, en maakt foto's van elk nieuw venster dat verschijnt.
- Gerichte Exploratie: Het systeem kijkt naar taken waarbij de robot eerder vastliep. Het stelt vast: "Ah, de robot kwam vast te zitten op dit specifieke menu," en stuurt de explorer specifiek naar die plek om een foto te maken en een aantekening te schrijven.

Deze nieuwe foto's en aantekeningen worden vervolgens weer in de handleiding geplaatst, waardoor het een "levende" gids wordt die perfect overeenkomt met de echte software.

Hoe de Robot het Gebruikt

De robot leest niet de hele 100 pagina's handleiding in één keer (dat zou te veel informatie zijn). In plaats daarvan heeft hij een speciaal hulpmiddel genaamd load_topic.

De robot kijkt naar zijn huidige taak.
Hij controleert een korte index (zoals een inhoudsopgave) om te zien welk onderwerp relevant is.
Hij vraat aan het hulpmiddel: "Laat me de instructies voor dit onderwerp zien."
Het hulpmiddel haalt direct de tekst en de specische screenshots op die voor dat exacte moment nodig zijn.

De Resultaten

De onderzoekers hebben dit getest op twee belangrijke benchmarks (sets van moeilijke computertaken) met behulp van een krachtige AI-agent.

Geen Skill: De robot had geen hulp. Hij slaagde ongeveer 30% van de tijd.
Tekst-alleen Skill: Ze gaven de robot een tekstuele handleiding gemaakt uit dezelfde bron. Het succes steeg naar 37%.
VISUALSKILL (Multimodaal): Ze gaven de robot de handleiding met afbeeldingen. Het succes sprong naar 45%.

De belangrijkste bevinding: De afbeeldingen maakten een groot verschil. De robot was veel beter in:

De juiste knop vinden: Hij kon het icoon zien in plaats van te moeten gissen op basis van een beschrijving.
Zijn voortgang controleren: Hij kon het scherm vergelijken met de referentiefoto om te zien of hij op de goede weg was.

Waarom dit ertoe doet

Het artikel concludeert dat voor robots die computers gebruiken, visuele elementen niet alleen "leuk om te hebben" zijn—ze zijn essentieel. Proberen een grafische interface te beschrijven met alleen woorden is also als een schilderij proberen te beschrijven aan iemand die nog nooit een schilderij heeft gezien. Door de afbeeldingen in de instructiehandleiding te houden, kan de robot daadwerkelijk "zien" wat hij moet doen, net zoals een mens dat zou doen.

De auteurs ontdekten ook dat de manier waarop de robot de informatie krijgt belangrijk is. Als ze de robot gewoon bestanden lieten lezen zoals een mens een boek leest, sloeg hij de afbeeldingen vaak over. Door echter een speciaal hulpmiddel (load_topic) te gebruiken dat de tekst en afbeeldingen in één keer levert, gebruikte de robot de visuele aanwijzingen effectief.

Kortom: Vertel de robot niet alleen wat hij moet doen; laat het hem zien.

Technische Samenvatting: VISUALSKILL

Probleemstelling

Computer-gebruik-agenten (Computer-Use Agents, CUA's) hebben bijna menselijke prestaties bereikt op gestandaardiseerde desktop-benchmarks, maar blijven worstelen met taken met een lange horizon en onbekende software. Deze beperking komt grotendeels voort uit een gebrek aan persistente, applicatie-specifieke procedurele kennis (bijv. specifieke menulocaties, dialoogvolgordes en meerstaps workflow-staten) die pre-training niet levert. Hoewel bestaande skill-libraries proberen dit op te lossen door herbruikbare kennis te bieden, representeren zij skills voornamelijk als tekstuele artefacten. Deze modaliteit is minder geschikt voor GUI-interactie om twee primaire redenen:

Informatieverlies: Veel UI-elementen (iconen, lay-outs, ruimtelijke relaties) zijn tekstueel te uitgebreid of ambigu om te beschrijven. Het verbaliseren van deze elementen veroorzaakt een verlies aan informatie die aanwezig is in de originele screenshots.
Moeilijkheid bij Verificatie: In meerstaps workflows moeten agenten de tussenliggende UI-staten na elke actie verifiëren. Tekstuele beschrijvingen bieden slechts indirecte gronding, waardoor het moeilijk is om onderscheid te maken tussen de beoogde staat en visueel gelijkaardige maar incorrecte staten.

Methodologie: VISUALSKILL

De auteurs stellen VISUALSKILL voor, een hiërarchisch multimodaal skill-artefact dat ontworpen is om visuele figuren naast tekstuele procedures te behouden.

Skill-structuur

Een VISUALSKILL is georganiseerd als een twee-laagse hiërarchie per doelapplicatie:

Centrale Index (skill.md): Somt alle onderwerpen op met een korte "wanneer te gebruiken"-beschrijving.
Per-onderwerp Gidsen: Elke gids $g_t$ koppelt een tekstlichaam $p_t$ aan een set UI-figuren $F_t$ .
Laadmechanisme: De agent laadt niet de volledige skill vooraf. In plaats daarvan raadpleegt de agent de index en roept een load_topic(t) Model Context Protocol (MCP) tool aan om de specifieke tekst en figuren voor een onderwerp on-demand op te halen. Dit zorgt ervoor dat figuren inline met de refererende tekst worden geleverd, wat voorkomt dat ze worden overgeslagen of gescheiden van de context.

Constructie-pipeline

VISUALSKILL wordt geconstrueerd via een twee-fasen pipeline die zowel het multimodale skill ( $S_{mm}$ ) als een gematchte tekst-alleen controle ( $S_{txt}$ ) genereert vanuit dezelfde broninhoud om het effect van de modaliteit te isoleren:

Fase 1: Documentatie Mining:
- Parseert de officiële gebruikershandleiding (PDF/HTML) van de applicatie.
- Hergebruikt de inhoudsopgave van het document als de onderwerp-hiërarchie.
- Extraheert door leveranciers getekende figuren letterlijk en genereert tekstlichamen voor beide modaliteiten via een gezamenlijke LLM-call.
Fase 2: Live UI-exploratie:
- Augmenteert de Fase 1 skill door de live applicatie aan te sturen met een door een LLM gecontroleerde explorer om kennis te verzamelen die ontbreekt in de documentatie (bijv. laag-frequent voorkomende dialogen, visuele affordances).
- Free Explorer: Een planner verdeelt het idle applicatievenster in regio's; worker-agents interageren met elke regio om screenshots vast te leggen en affordances te samenvatten.
- Trajectory-Targeted Explorer: Een reviewer analyseert mislukte trainings-trajecten om UI-regio's te identificeren waar de Fase 1 skill ondermaats presteerde. Workers worden naar deze specifieke regio's gestuurd om ontbrekende dynamische staten vast te leggen.
- Vastgelegde screenshots en aantekeningen worden samengevoegd in de per-onderwerp gidsen.

Belangrijkste Bijdragen

Hiërarchische Multimodale Artefacten: Het ontwerp van VISUALSKILL als een onderwerp-geïndexeerde structuur waarbij visuele figuren naast tekst worden behouden, toegankelijk via een on-demand MCP tool.
Twee-fasen Constructie-pipeline: Een methode die door auteur gegenereerde documentatie-mining combineert met live-applicatie UI-exploratie (zowel free als trajectory-targeted) om uitgebreide skill-sets te creëren.
Gecontroleerde Evaluatie: De constructie van een gematchte tekst-alleen controle gegenereerd uit exact hetzelfde bronmateriaal en procedurele stappen, waarbij alleen de modaliteit verschilt. Dit isoleert de prestatiewinst die specifiek toe te schrijven is aan de aanwezigheid van visuele figuren.

Experimentele Resultaten

De auteurs evalueerden VISUALSKILL met behulp van een Claude Code CLI agent, ondersteund door Claude Opus 4.6, over 177 taken uit CUA-World en OSExpert-Eval.

Verbetering van de Baseline: De agent behaalde een gemiddelde score van 0.303 zonder skills.
Impact van Fase 1: Met de uit documentatie afgeleide VISUALSKILL steeg de score naar 0.363 (+6.0% absoluut).
Impact van Fase 2: Het toevoegen van UI-exploratie (Fase 2) verhoogde de score verder naar 0.456 (+15.3% absoluut ten opzichte van de baseline).
Multimodaal vs. Tekst-alleen:
- Bij Fase 1 presteerde de multimodale skill beter dan de tekst-alleen controle met +1.9% absoluut (0.344 vs. 0.363).
- Bij Fase 2 presteerde de multimodale skill beter dan de tekst-alleen controle met +8.3% absoluut (0.373 vs. 0.456).
- Het multimodale voordeel was het meest uitgesproken in visueel intensieve domeinen (bijv. GIMP, OpenToonz, Tableau) waar succes afhangt van het herkennen van iconen, dialogen en lay-outs.
Ablatie op Laadmechanisme: Het vervangen van de load_topic MCP tool door een standaard Read bestandstoegang resulteerde in een significante daling van de prestaties. De MCP tool zorgde ervoor dat de agent de skill gedurende het traject raadpleegde (mediaan laatste raadpleging op stap 10.4) en ~7.9 figuren per taak laadde, terwijl de Read benadering leidde tot vroege stopzetting (mediaan stap 1.5) en slechts ~0.8 figuren per taak laadde.

Betekenis en Claims

Het artikel claimt dat het behouden van visuele figuren in skill-artefacten, in plaats van het verbaliseren ervan, direct bewijs levert dat agenten helpt bij:

Het identificeren van UI-elementen: Het nauwkeurig lokaliseren van iconen, lay-outs en ruimtelijke relaties die in tekst ambigu zijn.
Het verifiëren van workflow-staten: Het direct matchen van de huidige observatie met een referentie-screenshot om tussenliggende staten te bevestigen, met name bij stille fouten (bijv. formuliervelden die geaccepteerd lijken maar worden afgewezen bij het indienen).

De auteurs concluderen dat voor computer-gebruik-agenten het skill-artefact een multimodale, on-demand referentie moet zijn in plaats van een tekst-alleen document. Ze benadrukken dat de combinatie van visuele gronding, de MCP-gebaseerde leveringsmethode en trajectory-targeted exploratie individueel noodzakelijk zijn om de gerapporteerde prestatiewinst te behalen.

Beperkingen: De auteurs merken op dat huidige modellen soms moeite hebben met het beslissen welke specifieke figuren binnen een geladen onderwerp relevant zijn, wat leidt tot context-inflatie. Bij zwakkere modellen kan deze grove granulariteit de prestaties verslechteren door druk op de contextlengte, wat suggereert dat effectiever context-budgetteren voor multimodale skills een openstaand vraagstuk blijft.