Technische Samenvatting: VISTA (View-Consistent Self-Verified Training) voor GUI Grounding

1. Probleemstelling

GUI grounding omvat het mappen van een natuurlijke taalinstructie en een screenshot naar een precieze klikcoördinaat. Hoewel recent werk Group Relative Policy Optimization (GRPO) heeft toegepast op deze taak met behulp van regelgebaseerde "point-in-box" beloningen, identificeren de auteurs een kritieke foutmodus: beloningsdegeneratie (reward degeneracy).

In standaard GRPO wordt een groep rollouts gesampled vanuit één enkele, vaste screenshot-weergave. Dit leidt tot twee problematische scenario's:

1. All-Fail Groups: Bij moeilijke instanties missen alle gesamplede rollouts het doel, wat resulteert in een groep met nul beloningen.
2. All-Success Groups: Bij gemakkelijke instanties raken alle rollouts het doel, wat resulteert in een groep met volledige beloningen.

In beide gevallen storten het groepsgemiddelde ($\mu$) en de standaarddeviatie ($\sigma$) in, wat een relatief voordeel ($A$) van nul oplevert voor alle samples. Dit elimineert het leersignaal. De auteurs merken op dat in fixed-view GRPO minder dan 5% van de trainingsgroepen "informatief" zijn (bevatten een mix van successen en mislukkingen). Bovendien zijn GUI-coördinaten nauw gekoppeld aan de screenshot-geometrie; een voorspelling die correct is in één weergave, kan onjuist zijn na een crop, zelfs als het doel nog steeds zichtbaar is. Standaard GRPO faalt in het blootstellen van deze geometrische gevoeligheden omdat het de input-weergave niet varieert binnen een vergelijkingsgroep.

2. Methodologie: VISTA

Het artikel stelt VISTA (View-Consistent Self-Verified Training) voor, een GRPO-gebaseerd framework dat is ontworpen om informatieve vergelijkingsgroepen te construeren en coördinaatgeneratie te stabiliseren. Het bestaat uit twee primaire componenten:

A. View-Consistent Group Rollout

In plaats van meerdere completions te samplen vanuit één enkele vaste screenshot, construeert VISTA elke GRPO-groep uit meerdere doel-behoudende weergaven (target-preserving views) van dezelfde GUI-instantie.

• Target-Preserving Crops: Voor een gegeven taak $(I, q, B)$ genereert het systeem $K$ gecropte weergaven. Elke crop garandeert dat de doel-bounding box $B$ volledig wordt bevat.
• Exacte Remapping: De coördinaten van de doel-box worden geometrisch hergemapt naar het nieuwe gecropte coördinatenstelsel.
• Groepconstructie: Het model genereert $n$ completions per weergave (waarbij $K \times n = G$, de totale groepsgrootte).
• Voordeel: Dit zorgt ervoor dat de groep semantisch equivalente inputs bevat (dezelfde instructie en doel), maar geometrisch verschillende screenshots. Dit vergroot de waarschijnlijkheid van het observeren van gemengde uitkomsten (sommige hits, sommige misses) binnen een enkele groep, waardoor een niet-nul relatief voordeel wordt hersteld.

B. Self-Verified Cross-View Anchor

Hoewel multi-view rollouts de exploratie verbeteren, kunnen ze instabiliteit introduceren in de coördinaatgeneratie, vooral bij ambigue weergaven. Om dit aan te pakken zonder terug te vallen op onvoorwaardelijke supervised fine-tuning (SFT), introduceert VISTA een self-verified anchor.

• Conditionele Activering: Een oracle-antwoord (het centrum van de hergemapte doel-box) wordt alleen geïntroduceerd als trainingssignaal als de huidige policy al ten minste één maximum-reward rollout heeft geproduceerd binnen de groep.
• Baseline Uitsluiting: Het oracle-antwoord wordt uitgesloten van de berekening van het groepsgemiddelde ($\mu_m$) en de standaarddeviatie ($\sigma_m$). Het wordt behandeld als een apart supervised signaal.
• Mechanisme:
  • Als de groep "self-verified" is (bevat een succesvolle model-rollout), wordt de anchor geactiveerd met een positief voordeel afgeleid van de model-only baseline.
  • Als de groep "all-fail" is (geen model-rollout slaagt), wordt de anchor niet geactiveerd. Dit voorkomt dat het model leert van een oracle wanneer het nog niet de bekwaamheid heeft getoond om de instantie op te lossen, waardoor het instorten van het leersignaal naar onvoorwaardelijke imitatie wordt voorkomen.

C. Trainingsdoel (Training Objective)

De uiteindelijke verliesfunctie combineert de standaard geclipte GRPO-objective voor door het model gegenereerde rollouts met een advantage-weighted supervised loss voor de anchor (wanneer actief):
$$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$$
De anchor-loss wordt alleen berekend als de groep self-verified is, wat ervoor zorgt dat het supervised signaal de training stabiliseert zodra de policy al competentie heeft getoond.

3. Belangrijkste Bijdragen

1. View-Consistent Group Rollout: Een nieuwe strategie voor groepconstructie die samples uit meerdere target-behoudende weergaven van dezelfde instantie neemt in plaats van uit één enkele vaste weergave. Dit vergroot het deel informatieve groepen aanzienlijk (van <5% naar ~20%) en herstelt de beloningsvariantie.
2. Self-Verified Cross-View Anchor: Een conditioneel stabilisatiemechanisme dat oracle-begeleiding injecteert alleen wanneer het model al succes heeft gehad in ten minste één weergave binnen de groep. Dit voorkomt dat de anchor de GRPO-baseline verschuift of oninformatieve "all-fail" groepen superviseert.
3. Uitgebreide Validatie: Uitgebreide experimenten over vijf benchmarks (ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G) en meerdere model-schalen (4B tot 30B+).

4. Experimentele Resultaten

Het artikel rapporteert consistente verbeteringen over Qwen3-VL backbones (4B, 8B, 30B-A3B) en Qwen3.5-geïnitialiseerde modellen.

• ScreenSpot-Pro Prestaties: VISTA verbetert de nauwkeurigheid aanzienlijk op deze uitdagende benchmark, die kleine doelen en dichte interfaces bevat.
  • Qwen3-VL 4B: Verbeterd van 55.5 naar 63.4.
  • Qwen3-VL 8B: Verbeterd van 52.7 naar 65.8.
  • Qwen3-VL 30B-A3B: Verbeterd van 53.7 naar 67.0.
  • Qwen3.5 35B-A3B: Verbeterd van 71.7 naar 72.9 (vergeleken met standaard GRPO).
• Robuustheid: VISTA vertoont een hogere worst-view nauwkeurigheid en een lager prediction flip rate vergeleken met standaard GRPO, wat wijst op betere stabiliteit onder geometrische perturbaties.
• Ablatie-studies:
  • Het verwijderen van de view-consistent crop (gebruik van standaard GRPO) verlaagt de prestaties.
  • Het verwijderen van de self-verified gate (gebruik van onvoorwaardelijke oracle injectie) verslechtert de prestaties ernstig (bijv. het laten dalen van ScreenSpot-Pro van 64.3 naar 57.8 in één ablatie), wat de noodzaak van de conditionele activering bevestigt.
  • De combinatie van beide componenten levert de beste resultaten op.

5. Betekenis en Claims

Het artikel claimt dat VISTA een fundamentele bottleneck aanpakt bij het toepassen van GRPO op GUI grounding: het gebrek aan informatieve relatieve voordelen door view-invariante beloningsdegeneratie.

• Verschuiving in Ontwerpfocus: De auteurs stellen dat de sleutel tot het verbeteren van GUI grounding met RL niet alleen is hoe je een klik beloont, maar hoe je de vergelijkingsgroep construeert. Door de view-geometrie te variëren terwijl de semantiek behouden blijft, dwingt VISTA de policy om robuuste coördinaatgeneratie te leren in plaats van specifieke pixellocaties te memoriseren.
• Stabiliteit zonder Imitatie: De self-verified anchor stelt het model in staat om te profiteren van ground-truth begeleiding zonder het RL-proces te veranderen in onvoorwaardelijke imitatie learning, wat exploratie kan onderdrukken.
• Generaliseerbaarheid: De methode blijkt effectief te zijn over verschillende model-schalen en backbones, wat suggereert dat view-consistente groepconstructie een generaliseerbaar trainingssignaal is voor GUI grounding taken.

De auteurs concluderen dat VISTA zowel de nauwkeurigheid als de robuustheid verbetert, met name op moeilijke instanties waar standaard GRPO faalt om een leersignaal te bieden. Ze erkennen beperkingen met betrekking tot gemengde actionable/refusal datasets en de gevoeligheid van optimalisatie voor agressieve cropping, wat wijst op toekomstig werk in adaptieve scheduling.