Technische Samenvatting: FIGMATRACE

Probleemstelling

Vision Language Models (VLM's) hebben een aanzienlijke bekwaamheid getoond in objectieve, verifieerbare domeinen zoals objectdetectie en documentbegrip. Ze blijven echter ondermaats presteren bij subjectieve en creatieve ontwerptaken. De auteurs identificeren een primaire bottleneck: een gebrek aan hoogwaardige menselijke workflowdata die de diverse voorkeuren, beslissingen en het "smaakgevoel" vastlegt dat menselijke experts onderscheidt. Hoewel eerdere werken hebben geprobeerd om ontwerpdata te genereren via automatische annotatie van bestaande Figma-bestanden of door HTML naar JSON om te zetten, lijden deze benaderingen aan ambigue validatie, een gebrek aan uitgebreide kwaliteitsrichtlijnen en een onvermogen om de genuanceerde besluitvormingsprocessen van menselijke ontwerpers vast te leggen. Bovendien richten bestaande datasets zich vaak op het eindartefact in plaats van op het traject van beslissingen dat nodig is om het te creëren.

Methodologie

1. Skill Taxonomie en Taakcuratie

Om het datagat te dichten, hebben de auteurs eerst een unieke, door experts gecureerde taxonomie van 10 hoogwaardige ontwerpskills gedefinieerd (bijv. Visuele Perceptie, Figma Structurele Vakmanschap, Toegankelijkheid Expertise, Vector & Asset Vakmanschap). Op basis van deze taxonomie hebben zij 126 open-ended, subjectieve, langdurige taken geconstrueerd. Deze taken werden gecategoriseerd in:

• Verifieerbare Taken: Pixel-perfecte replicatie, foutherstel en toegankelijkheidsremediatie.
• Niet-verifieerbare Taken: Platformadaptatie, theming, sketch-naar-Figma conversie en prototype-bedrading, die vertrouwen op expertoordeel en bias.

2. Dataverzameling en Verwerking (FIGMATRACE)

De dataset, FIGMATRACE, werd opgebouwd door meer dan 200 uur aan OS-niveau expert schermopnames en acties vast te leggen terwijl ontwerpers deze taken voltooiden. De ruwe data onderging een rigoureuze meerfasige verwerkingspipeline:

• Actiefiltering: Willekeurige muisbewegingen en hover-acties werden eruit gefilterd, waarbij alleen betekenisvolle interacties (klikken, typen, scrollen) werden behouden die gemapt zijn aan de Playwright MCP toolset.
• Frame Extractie: Een twee-staps extractiemethode werd toegepast om "gestabiliseerde" staten na acties te identificeren, waardoor frames alleen werden vastgelegd wanneer de UI stabiel was, in plaats van op willekeurige tijdsintervallen.
• Effectfiltering: Veranderingen in pixelwaarden werden geanalyseerd om onderscheid te maken tussen acties die het artefact wijzigden en acties die dat niet deden.
• Fase-gebaseerde Segmentatie: Een nieuwe bijdrage van dit werk is de conversie van videodata naar trajecten op basis van ontwerpfases (bijv. "Componentiseren", "Verfijningspolijsting", "Referentie verzamelen") in plaats van eenvoudige segmentatie op basis van maximale contextlengte. De auteurs gebruikten Gemini-3.6-Flash om videospannen te categoriseren in 11 verschillende fasen. Deze aanpak werd gekozen om VLM's specifieke skills en intentiegrenzen te leren, om zo de ruis te vermijden die wordt geïntroduceerd door willekeurige pauzes in video.

3. Training en Evaluatie

De auteurs trainden vier VLM's (QWEN3.6-35BA3B, QWEN3.8-27B, GEMMA-4-31B, en MUSE-GLIMMER-30B) met behulp van het ms-swift framework op 92.472 acties gesampled uit 35 sessies. De modellen werden geëvalueerd op vier out-of-distribution (OOD) agentic GUI-omgevingen:

• GUI-Odyssey: Multi-app, multi-viewport navigatie.
• AndroidControl: Instructiegranulariteit en mobiele navigatie.
• Mind2Web: Instructie-grounding op open webdata.
• VideoGUI: Planning en actienarratie.

Belangrijkste Resultaten

Prestatieverbeteringen

Training op FIGMATRACE leverde significante prestatiewinsten op over alle geëvalueerde benchmarks:

• Dominantie in Benchmarks: Het gefinetunede QWEN3.8-27B model presteerde beter dan frontier closed-source modellen zoals CLAUDE-OPUS-5 en GPT-5.6-SOL op specifieke taken. Opvallend genoeg behaalde het een absolute stijging van 6,4% op GUI-Odyssey en een absolute stijging van 11,8% op AndroidControl vergeleken met de closed baselines.
• In-Domain Winsten: Op de ScreenSpot-Pro Creative split liet het gefinetunede QWEN3.8-27B een absolute stijging van 7,4% zien ten opzichte van het basismodel (36,7% vs. 29,3%).
• Generalisatie: De verbeteringen generaliseerden over verschillende modelarchitecturen, waarbij alle vier de geteste modellen positieve winsten lieten zien.

Ablatieonderzoek: Fase-gebaseerd vs. Lengte-gebaseerd

De auteurs voerden een kritisch ablatieonderzoek uit waarbij hun fase-gebaseerde trajectcuratie werd vergeleken met standaard segmentatie op basis van maximale contextlengte.

• Resultaat: De fase-gebaseerde aanpak presteerde gemiddeld 7,3 absolute punten beter dan de lengte-gebaseerde aanpak.
• Analyse: Kwalitatieve analyse toonde aan dat lengte-gebaseerde segmentatie taken vaak halverwege een actie afbreekt, waardoor de taakintentie onduidelijk wordt. In tegen plaats behield de fase-gebaseerde segmentatie de skill-gebaseerde grounding, waardoor modellen beter in staat zijn om instructies zoals "Ga verder met het werk" en ongestuurde referenties te begrijpen.

Kwalitatieve Analyse

Menselijke evaluatie van het best presterende model (QWEN3.8-27B) identificeerde drie belangrijke patronen die het succes drijven:

1. Elementselectie Nauwkeurigheid: Het basismodel selecteerde vaak onjuiste UI-elementen (mediaan fout ~457 px), terwijl het gefinetunede model binnen ~15 px van het doel landde.
2. Coördinatenbegrip: Het basismodel gaf vaak ruwe pixelcoördinaten die de genormaliseerde gridlimieten overschreden (bijv. $y > 1000$), terwijl het gefinetunede model zich hield aan het norm-1000 coördinatensysteem.
3. Besluitvaardigheid: Het gefinetunede model bood consistent coördinaten, zelfs in ambigue scenario's waar het basismodel faalde om te handelen.

De auteurs merkten echter ook foutmodi op die door de dataset werden geïntroduceerd, waaronder repetitie (het voorspellen van hetzelfde pixel twee keer) en een focusbias op het schermcentrum, wat waarschijnlijk artefacten zijn van ruis in de ruwe videoverwerking.

Betekenis en Claims

Het artikel claimt dat FIGMATRACE de eerste dataset is die paren biedt van gouden actiesequenties en intentie-gesegmenteerde opnames van expert Figma-workflows. De primaire betekenis ligt in het aantonen dat:

1. Data Kwaliteit boven Kwantiteit: Het vastleggen van hoogwaardige, door experts gecureerde menselijke workflows met een focus op ontwerpfases is effectiever voor het trainen van creatieve agenten dan simpelweg het opschalen van ruwe data of het gebruiken van automatische annotatie.
2. Fase-gebaseerde Curatie: Het structureren van trainingsdata rond ontwerpfases (skills) in plaats van willekeurige tijdsvensters verbetert aanzienlijk het vermogen van een model om langdurige taakintenties te begrijpen.
3. Generalisatie: Training op specifieke ontwerpworkflows (Figma) vertaalt zich effectief naar bredere agentic navigatietaken (Android, Web), wat suggereert dat de onderliggende skills van visuele analyse en structurele redenering overdraagbaar zijn.

De auteurs hebben de dataset en het best presterende model (QWEN3.8-27B) open-source beschikbaar gesteld om verder onderzoek in creatieve AI-agents te faciliteren.