Technisches Resümee: FIGMATRACE

Problemstellung

Vision Language Models (VLMs) haben eine signifikante Kompetenz in objektiven, verifizierbaren Domänen wie der Objekterkennung und dem Verständnis von Dokumenten unter Beweis gestellt. Dennoch schneiden sie bei subjektiven und kreativen Designaufgaben weiterhin unterdurchschnittlich ab. Die Autoren identifizieren einen primären Engpass: einen Mangel an hochwertigen menschlichen Workflow-Daten, die die vielfältigen Präferenzen, Entscheidungen und den „Geschmack“ erfassen, die menschliche Experten auszeichnen. Während frühere Arbeiten versucht haben, Design-Daten durch automatisierte Annotation bestehender Figma-Dateien oder durch die Konvertierung von HTML in JSON zu generieren, leiden diese Ansätze unter ambivalenter Validierung, einem Mangel an erschöpfenden Qualitätsrichtlinien und der Unfähigkeit, die nuancierten Entscheidungsprozesse menschlicher Designer zu erfassen. Darüber hinaus konzentrieren sich bestehende Datensätze oft auf das fertige Artefakt statt auf die Trajektorie der Entscheidungen, die zu dessen Erstellung erforderlich sind.

Methodik

1. Skill-Taxonomie und Aufgabenkuratierung

Um die Datenlücke zu schließen, definierten die Autoren zunächst eine einzigartige, von Experten kuratierte Taxonomie von 10 hochgradigen Design-Skills (z. B. Visuelle Wahrnehmung, Figma Structural Craft, Barrierefreiheits-Expertise, Vektor- & Asset-Craft). Basierend auf dieser Taxonomie konstruierten sie 126 offene, subjektive, langfristige Aufgaben (long-horizon tasks). Diese Aufgaben wurden kategorisiert in:

• Verifizierbare Aufgaben: Pixeltreue Replikation, Fehlerbehebung und Barrierefreiheits-Remediation.
• Nicht-verifizierbare Aufgaben: Plattform-Adaption, Thematisierung (Theming), Sketch-zu-Figma-Konvertierung und Prototyp-Verkabelung (Prototype Wiring), welche auf Expertenurteil und Bias beruhen.

2. Datenerfassung und -verarbeitung (FIGMATRACE)

Der Datensatz FIGMATRACE wurde durch die Erfassung von über 200 Stunden OS-seitiger Experten-Bildschirmaufnahmen und Aktionen erstellt, während Designer diese Aufgaben ausführten. Die Rohdaten durchliefen eine rigorose mehrstufige Verarbeitungs-Pipeline:

• Aktions-Filterung: Zufällige Mausbewegungen und Hover-Aktionen wurden herausgefiltert; es wurden nur bedeutsame Interaktionen (Klicks, Tippen, Scrollen) beibehalten, die dem Playwright MCP Toolset zugeordnet wurden.
• Frame-Extraktion: Eine Zwei-Pass-Extraktionsmethode wurde eingesetzt, um „settled states“ (stabilisierte Zustände) nach Aktionen zu identifizieren, wodurch sichergestellt wurde, dass Frames nur dann erfasst wurden, wenn die Benutzeroberfläche stabil war, anstatt in willkürlichen Zeitintervallen.
• Effekt-Filterung: Änderungen in den Pixelwerten wurden analysiert, um zwischen Aktionen zu unterscheiden, die das Artefakt veränderten, und solchen, die dies nicht taten.
• Phasenbasierte Segmentierung: Ein neuartiger Beitrag dieser Arbeit ist die Umwandlung von Videodaten in Trajektorien basierend auf Design-Phasen (z. B. „Componentising“, „Refinement Polish“, „Reference Gathering“) anstatt einer einfachen Segmentierung nach maximaler Kontextlänge. Die Autoren nutzten Gemini-3.6-Flash, um Video-Spans in 11 distinkte Phasen zu kategorisieren. Dieser Ansatz wurde gewählt, um VLMs spezifische Fähigkeiten und Intentionen beizubringen und den Rauschen zu vermeiden, das durch zufällige Pausen im Video entsteht.

3. Training und Evaluierung

Die Autoren trainierten vier VLMs (QWEN3.6-35BA3B, QWEN3.8-27B, GEMMA-4-31B und MUSE-GLIMMER-30B) mit dem ms-swift Framework auf 92.472 Aktionen, die aus 35 Sitzungen entnommen wurden. Die Modelle wurden auf vier Out-of-Distribution (OOD) agentischen GUI-Umgebungen evaluiert:

• GUI-Odyssey: Multi-App, Multi-Viewport Navigation.
• AndroidControl: Instruktions-Granularität und mobile Navigation.
• Mind2Web: Instruktions-Grounding auf Open-Web-Daten.
• VideoGUI: Planung und Aktions-Narration.

Kernergebnisse

Leistungssteigerungen

Das Training auf FIGMATRACE führte zu signifikanten Leistungssteigerungen über alle evaluierten Benchmarks hinweg:

• Benchmark-Dominanz: Das feinjustierte QWEN3.8-27B Modell übertraf Frontier-Closed-Source-Modelle wie CLAUDE-OPUS-5 und GPT-5.6-SOL bei spezifischen Aufgaben. Bemerkenswerterweise erreichte es eine absolute Steigerung von 6,4 % bei GUI-Odyssey und eine absolute Steigerung von 11,8 % bei AndroidControl im Vergleich zu den Closed-Baselines.
• In-Domain-Gewinne: Auf dem ScreenSpot-Pro Creative Split zeigte das feinjustierte QWEN3.8-27B eine absolute Steigerung von 7,4 % gegenüber seinem Basismodell (36,7 % vs. 29,3 %).
• Generalisierung: Die Verbesserungen generalisierten über verschiedene Modellarchitekturen hinweg, wobei alle vier getesteten Modelle positive Gewinne aufwiesen.

Ablationsstudie: Phasenbasiert vs. Längenbasiert

Die Autoren führten eine kritische Ablationsstudie durch, in der sie ihre phasenbasierte Trajektorien-Kuratierung mit der Standard-Segmentierung nach maximaler Kontextlänge verglichen.

• Ergebnis: Der phasenbasierte Ansatz übertraf den längenbasierten Ansatz um durchschnittlich 7,3 absolute Punkte.
• Analyse: Die qualitative Analyse ergab, dass die längenbasierte Segmentierung Aufgaben oft mitten in einer Aktion abschneidet und dadurch die Aufgabenintention verschleiert. Im Gegensatz dazu bewahrte die phasenbasierte Segmentierung die skillbasierte Verankerung (Grounding), was es den Modellen ermöglichte, „Continue the work“-Instruktionen und ungerichtete Referenzen besser zu verstehen.

Qualitative Analyse

Die menschliche Evaluierung des leistungsstärksten Modells (QWEN3.8-27B) identifizierte drei Schlüsselmuster, die den Erfolg vorantrieben:

1. Präzision der Elementauswahl: Das Basismodell wählte häufig falsche UI-Elemente aus (medianer Fehler ~457 px), während das feinjustierte Modell innerhalb von ~15 px des Ziels landete.
2. Koordinatenverständnis: Das Basismodell emittierte oft Roh-Pixelkoordinaten, die die normalisierten Grid-Limits überschritten (z. B. $y > 1000$), während das feinjustierte Modell das Norm-1000-Koordinatensystem einhielt.
3. Entschlussfreudigkeit: Das feinjustierte Modell lieferte konsistent Koordinaten selbst in ambivalenten Szenarien, in denen das Basismodell nicht handelte.

Die Autoren stellten jedoch auch Fehlermodi fest, die durch den Datensatz eingeführt wurden, einschließlich Repetition (Vorhersage desselben Pixels zweimal) und eines Screen-Center-Focus-Bias, was wahrscheinlich Artefakte des Rauschens in der Rohvideo-Verarbeitung sind.

Bedeutung und Ansprüche

Das Paper behauptet, dass FIGMATRACE der erste Datensatz ist, der Paare aus Gold-Aktionssequenzen und intentionssegmentierten Aufnahmen von Experten-Figma-Workflows bereitstellt. Seine primäre Bedeutung liegt in der Demonstration, dass:

1. Datenqualität vor Quantität: Die Erfassung hochwertiger, von Experten kuratierter menschlicher Workflows mit Fokus auf Design-Phasen effektiver für das Training kreativer Agenten ist als die bloße Skalierung von Rohdaten oder die Verwendung automatisierter Annotation.
2. Phasenbasierte Kuratierung: Die Strukturierung von Trainingsdaten um Design-Phasen (Skills) anstatt um willkürliche Zeitfenster verbessert signifikant die Fähigkeit eines Modells, langfristige Aufgabenintentionen zu verstehen.
3. Generalisierung: Das Training auf spezifischen Design-Workflows (Figma) überträgt sich effektiv auf breitere agentische Navigationsaufgaben (Android, Web), was darauf hindeutet, dass die zugrunde liegenden Fähigkeiten der visuellen Analyse und des strukturellen Denkens transferierbar sind.

Die Autoren haben den Datensatz und das leistungsstärkste Modell (QWEN3.8-27B) Open-Source zur Verfügung gestellt, um die weitere Forschung im Bereich der kreativen KI-Agenten zu fördern.