Technische Samenvatting: Leren van GUI-grounding met ruimtelijk redeneren op basis van visuele feedback

Probleemstelling

Graphical User Interface (GUI) grounding is de taak om een instructie in natuurlijke taal te koppelen aan een specifieke pixelcoördinaat op een scherm om een actie uit te voeren (bijvoorbeeld een klik). Hoewel recente Vision-Language Models (VLM's) vooruitgang hebben geboekt, slagen ze er vaak niet in om nauwkeurige numerieke coördinaten te voorspellen op hoogresolutie GUI's met complexe lay-outs. Deze tekortkoming vloeit voort uit een gebrek aan ruimtelijke semantische uitlijning: het model worstelt ermee om zijn begrip van een visueel element impliciet te koppelen aan discrete coördinaattokens.

Bestaande benaderingen formuleren GUI-grounding doorgaans als een éénstapsvoorspellingsprobleem, waarbij het model coördinaten direct genereert op basis van een schermafbeelding. Een kritieke beperking van dit paradigma is de afwezigheid van een visuele feedbacklus. Het model wordt uitsluitend gesuperviseerd op de uiteindelijke numerieke output en ontvangt geen informatie over waar zijn voorspelling daadwerkelijk op het scherm terechtkomt. Bijgevolg faalt het model om een robuuste uitlijning te ontwikkelen tussen zijn numerieke voorspellingen en hun corresponderende posities op het scherm, wat leidt tot zwakke ruimtelijke redeneercapaciteiten.

Methodologie: GUI-CURSOR

Om deze beperkingen aan te pakken, stellen de auteurs GUI-CURSOR voor, wat GUI-grounding herformuleert van een statische, éénstaps taak naar een dynamische, interactieve zoektaak.

1. Interactieve Zoekomgeving

In plaats van onmiddellijk een uiteindelijke coördinaat te voorspellen, bestuurt het model een virtuele cursor op de GUI-afbeelding. Het proces verloopt als een reeks stappen:

• Observatie: Bij elke stap $t$ observeert het model de GUI-schermafbeelding met de cursor op zijn huidige positie $(x_t, y_t)$.
• Redenering & Actie: Het model genereert een reactie die een denkproces bevat (analyse van het doel, de huidige cursorpositie en ruimtelijke relaties), gevolgd door een actie. De actie is ofwel een nieuwe coördinaat $(x_{t+1}, y_{t+1})$ om de cursor te verplaatsen, of een STOP-commando als de cursor correct is gepositioneerd.
• Visuele Feedback: De omgeving weergeeft de cursor op de nieuwe positie en levert een bijgewerkte schermafbeelding voor de volgende stap. Deze expliciete visuele feedback stelt het model in staat om zijn voorspellingen te verifiëren en zijn ruimtelijk begrip stapsgewijs te verfijnen.

2. Training met Versterkend Leren

Het model wordt getraind met Group Relative Policy Optimization (GRPO) binnen deze interactieve omgeving. Het trainingsdoel is gebaseerd op een aangepaste traject-gebaseerde beloningsfunctie ($R_T$) die zowel de uiteindelijke nauwkeurigheid als het zoekgedrag moet sturen.

De beloningsfunctie bestaat uit:

• Positiebeloning ($r_p$): Een dichte beloning gebaseerd op de afstand tussen de uiteindelijke cursorpositie en de doel-bounding box, waarbij zowel de nabijheid tot de rand als de centraliteit binnen de box worden overwogen.
• Trajectstraffen: Om degeneratieve strategieën te voorkomen (bijvoorbeeld onmiddellijk stoppen zonder te bewegen, heen en weer bewegen, of weg bewegen van het doel), introduceren de auteurs vier specifieke straffen:
  • Vals Stoppen Straf ($r_{FS}$): Straft het stoppen wanneer de cursor zich buiten het doel bevindt.
  • Vals Bewegen Straf ($r_{FM}$): Straft het doorgaan met bewegen nadat de cursor al in de doelbox is gekomen.
  • Valse Richting Straf ($r_{FD}$): Straft bewegingen die de afstand tot het doel vergroten in vergelijking met de initiële voorspelling.
  • Herhaalde Positie Straf ($r_{RP}$): Straft het voorspellen van dezelfde coördinaat meer dan één keer.

3. Cursor-Centrische Focussing (CCF)

Om hoogresolutie afbeeldingen efficiënt te verwerken zonder prohibitieve rekenkosten, introduceren de auteurs een tweestapsstrategie:

• Training: Afbeeldingen worden gedownsampt naar een hanteerbare resolutie (bijvoorbeeld 1920×1080).
• Inferentie: Voor afbeeldingen groter dan de trainingsresolutie voert het model eerst een grove voorspelling uit op de volledige afbeelding. Vervolgens wordt een gebied gecrop dat gecentreerd is rond deze voorspelling (waarbij de trainingsresolutie wordt behouden) en wordt er fijnmazig bewogen binnen dit gefocuste zicht. Dit brengt een evenwicht tussen trainings-efficiëntie en inferentie-nauwkeurigheid.

Belangrijkste Bijdragen

1. Hervorming van GUI-grounding: Het artikel verschuift het paradigma van statische coördinaatvoorspelling naar een dynamisch, interactief proces waarbij het model coördinaat-ruimtelijke uitlijning leert via visuele feedback.
2. GUI-CURSOR Model: De introductie van een GUI-grounding model dat via versterkend leren is getraind in een interactieve omgeving, gebruikmakend van een dichte, traject-bewuste beloningsfunctie die rationeel zoekgedrag afdwingt.
3. Verbeterd Ruimtelijk Redeneren: Uitgebreide evaluatie toont aan dat het leren van GUI-grounding door het verplaatsen van een cursor niet alleen de grounding-nauwkeurigheid verbetert, maar ook algemene ruimtelijke redeneercapaciteiten die generaliseren naar domeinen buiten de trainingsverdeling.

Experimentele Resultaten

De auteurs hebben GUI-CURSOR geëvalueerd op meerdere benchmarks, waaronder ScreenSpot-Pro, OSWorld-G, UI-Vision en ScreenSpot-v2, met behulp van basismodellen Qwen2.5-VL-7B en UI-TARS-1.5-7B.

• Grounding-prestaties: GUI-CURSOR presteerde consistent beter dan sterke baselines (inclusief gesuperviseerde fine-tuning-methoden zoals SeeClick en UGround, en RL-gebaseerde methoden zoals GTA1). Opmerkelijk is dat GUI-CURSOR (gebaseerd op UI-TARS-1.5-7B) op de uitdagende ScreenSpot-Pro benchmark de leidende model GTA1 met 8,1% overtrof, ondanks het gebruik van aanzienlijk minder trainingsvoorbeelden (8K versus 64K).
• Agent-taken: Bij online agent-evaluaties op OSWorld behaalde GUI-CURSOR hogere succespercentages met minder actiestappen in vergelijking met GTA1, wat effectiviteit demonstreert in realistische, diverse scenario's.
• Ruimtelijk Redeneren:
  • Cursor-in-Box Test: Een aangepaste test onthulde dat standaard VLM's (zelfs die met fine-tuning) moeite hebben met eenvoudige ruimtelijke classificatie (bepalen of een cursor zich binnen een box bevindt) en sterke centrumbias vertonen. GUI-CURSOR, zonder expliciete training op deze classificatietaken, behaalde aanzienlijk hogere F1-scores, wat suggereert dat zijn grounding-vermogen is gebaseerd op een robuuster ruimtelijk begrip.
  • Generalisatie: Op benchmarks zoals SPHERE en SpatialMQA toonde GUI-CURSOR verbeteringen in redeneren en het combineren van vaardigheden, wat aangeeft dat het interactieve trainingsparadigma ruimtelijke redeneercapaciteiten verbetert die verder gaan dan het GUI-domein.
• Efficiëntie: Het model leert adaptief om alleen bij moeilijke voorbeelden (bijvoorbeeld kleine doelen) meer stappen te zetten, waarbij 95% van de gevallen binnen twee stappen wordt opgelost.

Betekenis en Claims

Het artikel stelt dat de primaire betekenis van dit werk ligt in het aantonen dat visuele feedbacklussen essentieel zijn voor het uitlijnen van numerieke voorspellingen met ruimtelijke realiteit in VLM's. Door grounding te herformuleren als een zoektaak, leert het model om na te denken over ruimtelijke relaties en zijn traject te corrigeren, in plaats van te vertrouwen op een enkele gok.

De auteurs stellen dat deze aanpak:

1. Het ruimtelijke semantische uitlijningsprobleem oplost dat inherent is aan éénstapsvoorspelling.
2. De data-efficiëntie verbetert, met state-of-the-art resultaten die worden behaald met minder trainingsvoorbeelden.
3. Een robuustere ruimtelijke redeneercapaciteit cultiveert die generaliseert naar taken buiten de trainingsverdeling, wat suggereert dat het vermogen om interactief naar doelen te zoeken een fundamenteel onderdeel is van ruimtelijk begrip in multimodale agenten.

Het werk concludeert dat het leren van GUI-grounding door het verplaatsen van een cursor een superieure strategie is voor het ontwikkelen van agenten die effectief kunnen navigeren en interageren met complexe digitale interfaces.