Technische Samenvatting: Video2GUI

Probleemstelling

De ontwikkeling van gegeneraliseerde Graphical User Interface (GUI)-agenten wordt momenteel beperkt door een schaarste aan grote, diverse trainingsdata. Bestaande benaderingen vertrouwen sterk op handmatig geannoteerde interactietrajecten of gesimuleerde omgevingen, die kostbaar zijn om te produceren en lijden onder beperkte schaalbaarheid. Bijgevolg worstelen agenten die op deze krappe datasets zijn getraind om te generaliseren naar onbekende interfaces, applicaties en real-world taken. Hoewel het internet een enorme verzameling bevat van niet-geannoteerde GUI-tutorialvideo's, is het effectief benutten van deze data uitdagend vanwege de moeilijkheid om hoogwaardig instructief materiaal te filteren en de complexiteit van het extraheren van gestructureerde, ruimtelijk verankerde actie-trajecten uit ruwe video zonder expliciete annotaties.

Methodologie

Om deze uitdagingen aan te pakken, stellen de auteurs Video2GUI voor, een volledig geautomatiseerd framework dat is ontworpen om grote schaal interactietrajecten te synthetiseren uit niet-geannoteerde internetvideo's. De pijplijn werkt via drie progressieve fasen:

1. Grof-naar-fijn Videofiltering:

   • Grof Filteren (Metadata): Beginnend met 500 miljoen video-metadatavermeldingen (titels, beschrijvingen, trefwoorden), maakt het systeem gebruik van een lichtgewicht classifier (fine-tuned Qwen2.5-7B) om video's die niet gerelateerd zijn aan GUI-bediening te filteren. Dit reduceert de kandidaatpool tot ongeveer 20 miljoen video's, waardoor de rekenkosten voor het verwerken van irrelevante inhoud worden vermeden.
   • Fijn Filteren (Visuele Score): Een visuele scoremodel (fine-tuned Qwen2.5-Omni) evalueert de inhoud van de eerste minuut van elke kandidaatvideo over drie dimensies: Relevantie van het Onderwerp (focus op het onderwijzen van GUI-bediening), Duidelijkheid van Instructies (coherentie van de vertelling) en Kwaliteit van de Opname (visuele trouw). Deze fase behoudt slechts 4,16 miljoen hoogwaardige video's (~300.000 uur).

2. Trajectextractie:

   • Met behulp van een schuifvensterstrategie met historische contextgeheugen maakt het framework gebruik van een krachtig vision-language model (Gemini-3-Pro) om videosegmenten om te zetten in gestructureerde instructie-trajectparen.
   • Het model extrahert taakinstructies, actie-tijdstippen, actie-details en de redenering achter elke actie. Het genereert een reeks stappen waarbij elke actie is gekoppeld aan een precies tijdstip en een tekstuele beschrijving op laag niveau.

3. Ruimtelijke Verankering van Acties:

   • Om de resolutiebeperkingen van gecomprimeerde videoframes te overwinnen, haalt het systeem hoogresolutieschermopnames op (een triplet van frames op $t-0.5s$, $t$ en $t+0.5s$) voor elk geëxtraheerd actie-tijdstip.
   • Gemini-3-Pro wordt gebruikt om de instructies op laag niveau te koppelen aan precieze schermcoördinaten (begrenzingsvakken of punten), waardoor de acties effectief in de UI worden verankerd. Deze multi-frame aanpak vermindert problemen veroorzaakt door snelle visuele veranderingen in GUI-interacties.

Trainingsstrategie:
De auteurs gebruiken de resulterende dataset, WildGUI, voor een tweestaps agenttrainingsproces:

• Fase 1 (Continu Voorvertonen): Modellen (Qwen2.5-VL en Mimo-VL) worden voorvertoond op WildGUI met behulp van een gemengde doelstelling van GUI-verankering, actievoorspelling en trajectmodellering.
• Fase 2 (Nabewerking): De voorvertoonde modellen worden fine-tuned op gecureerde, hoogwaardige open-source datasets om de prestaties op specifieke downstream-taken te verfijnen.

Belangrijkste Bijdragen

• Video2GUI Framework: Een schaalbare, volledig geautomatiseerde pijplijn die verankerde GUI-interactietrajecten extrahert uit miljarden niet-geannoteerde internetvideo's, waardoor de afhankelijkheid van handmatige annotatie wordt geëlimineerd.
• WildGUI Dataset: De constructie van een grote, diverse voorvertoningsdataset met 12,7 miljoen interactietrajecten en 124,5 miljoen schermopnames. Deze beslaat meer dan 1.500 applicaties en websites over desktop-, mobiele en webplatforms.
• Prestatiewinst: Uitgebreide experimenten tonen aan dat voorvertonen op WildGUI consistente verbeteringen (5–20%) oplevert over meerdere GUI-verankerings- en agentbenchmarks, waardoor modellen de state-of-the-art prestaties kunnen evenaren of overtreffen ondanks een kleiner aantal parameters.
• Open Release: De auteurs verbinden zich ertoe zowel de WildGUI-dataset als de Video2GUI-pijplijn vrij te geven om toekomstig onderzoek in schaalbare GUI-agenttraining te faciliteren.

Experimentele Resultaten

De auteurs evalueerden de aanpak met Qwen2.5-VL en Mimo-VL backbones over verschillende benchmarks:

• GUI-Verankering: Op ScreenSpot-Pro en OSWorld-G lieten op WildGUI voorvertoonde modellen aanzienlijke winsten zien. Bijvoorbeeld, Mimo-VL-7B behaalde een state-of-the-art gemiddelde score van 67,6 op OSWorld-G, waarmee het grotere modellen zoals Qwen3-VL-32B (60,6) en Seed1.5-VL (62,9) voorbijstreefde.
• Offline Agentevaluatie: Op AndroidControl en CAGUI toonden de modellen verbeterde plannings- en uitvoeringscapaciteiten. Mimo-VL-7B behaalde een stap-succesratio van 71,4 op AndroidControl-High, een aanzienlijke verbetering ten opzichte van het basismodel.
• Online Agentevaluatie: In dynamische omgevingen (OSWorld en AndroidWorld) verdubbelde de volledige trainingspijplijn (Fase 1 + Fase 2) de succesratio op AndroidWorld bijna (31,9% versus 16,4% voor het basismodel), wat sterke generalisatie naar open-ended, real-world taken aantoont.
• Schaalingsanalyse: Een schalingsstudie onthulde een sterke positieve correlatie tussen het volume aan voorvertoningstokens (tot 200 miljard) en de nauwkeurigheid van downstream-taken, waarbij de prestaties bleven verbeteren zonder duidelijke verzadiging.

Betekenis en Claims

Het artikel stelt dat de primaire bottleneck voor gegeneraliseerde GUI-agenten data-schaarste en diversiteit is, niet alleen de modelarchitectuur. Door aan te tonen dat niet-geannoteerde internetvideo's effectief kunnen worden omgezet in hoogwaardige, gestructureerde trainingsdata, biedt Video2GUI een schaalbare weg om deze beperking te overwinnen.

De auteurs stellen het volgende:

1. Datakwaliteit is van het grootste belang: De grof-naar-fijn filtering en VLM-gedreven extractiestrategieën zijn cruciaal om ervoor te zorgen dat de gesynthetiseerde data accuraat en divers genoeg is om robuuste agenten te trainen.
2. Offline data generaliseert: Voorvertonen op offline videodata biedt een kritieke basis die agenten in staat stelt effectief te generaliseren naar online, dynamische omgevingen, zelfs als de trainingsdata zelf statisch is.
3. Schaalbaarheid: De Video2GUI-pijplijn is in staat om internet-schaal data te verwerken, wat suggereert dat het veld voorbij de beperkingen van kleine, handmatig gecureerde datasets kan bewegen naar echt grote, diverse agenttraining.

Het werk concludeert dat schalen van training met diverse, offline videodata een veelbelovende en noodzakelijke richting is voor het ontwikkelen van capabele, algemeen toepasbare autonome GUI-agenten.