Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines

Probleemstelling

Meerstaps "zoom-in" pipelines worden veel gebruikt voor GUI-grounding (het lokaliseren van UI-elementen op schermafbeeldingen). In een typische 2-staps pipeline voorspelt een Vision-Language Model (VLM) eerst een locatie op het volledige scherm, wordt een uitsnede (crop) rondom die voorspelling gemaakt en vergroot, en voorspelt het model vervolgens opnieuw op deze vergrote weergave. De uiteindelijke coördinaten worden teruggemapt naar het originele scherm.

Het huidige probleem is dat de tussenliggende voorspellingen (vooral de voorspelling van stap 2) doorgaans worden verwaarloosd na het remappen. Er ontbreekt een efficiënte manier om de betrouwbaarheid van een voorspelling te schatten zonder extra berekeningen, training of toegang tot de interne log-probabilities van het model. Bestaande methoden voor onzekerheidsschatting vereisen vaak meerdere forward passes, calibratie per model, of zijn niet direct vergelijkbaar tussen verschillende modelarchitecturen.

Methodologie: Zoom Consistency

De auteurs introduceren Zoom Consistency als een nieuwe, gratis signaal voor vertrouwen (confidence signal).

1. Definitie: Zoom consistency ($c$) wordt gedefinieerd als de Euclidische afstand tussen de voorspelling van stap 2 ($\hat{p}_2$) en het centrum van de vergrote crop ($m = (500, 500)$ in een genormaliseerde 1000x1000 ruimte).
   $$c = \|\hat{p}_2 - m\|_2$$
2. Intuïtie:
   • Als stap 1 perfect was, bevindt het doelobject zich in het midden van de crop. Stap 2 zou dan ook het midden moeten voorspellen, wat resulteert in een lage $c$ (dicht bij 0).
   • Als stap 1 onnauwkeurig was, ligt het doelobject ver van het midden. Stap 2 moet dan een significante correctie maken (weg van het midden), wat resulteert in een hoge $c$.
3. Theoretische Basis:
   • Propositie 1: Onder ideale omstandigheden (perfecte stap 2, doel binnen de crop) is $c$ een lineaire schatter van de ruimtelijke fout van stap 1. De relatie is $c = \|\epsilon_1\| / r$, waarbij $r$ de crop-ratio is.
   • Propositie 2: In tegenstelling tot log-probabilities of token-onzekerheid, is $c$ een geometrische grootheid in een gedeelde coördinatenruimte. Dit betekent dat het signaal direct vergelijkbaar is tussen architecturaal verschillende VLMs zonder enige vorm van calibratie.
4. Falingsmodi: De lineaire relatie breekt in drie gevallen: als het doel buiten de crop valt, als stap 2 zelf grote fouten maakt, of door randclipping van de crop.

Empirische Validatie

De auteurs hebben het signaal getest op 1.581 samples van de ScreenSpot-Pro benchmark, met gebruikmaking van twee verschillende modellen:

• KV-Ground-8B: Een gespecialiseerd GUI-grounding model.
• Qwen3.5-27B: Een algemeen doel VLM (gequantiseerd).

Belangrijkste bevindingen:

• Correlatie met juistheid: Er is een significante negatieve correlatie tussen zoom consistency en voorspellingsnauwkeurigheid (hoge $c$ = lage nauwkeurigheid).
  • Voor KV-Ground-8B: Spearman $\rho = -0.139$, $p < 10^{-6}$.
  • Voor Qwen3.5-27B: Spearman $\rho = -0.109$, $p = 0.0003$.
  • De AUC voor het onderscheiden van juiste vs. onjuiste voorspellingen bedraagt 0.60 voor KV-Ground.
• Kruis-model vergelijkbaarheid: Het signaal werkt consistent over verschillende besturingssystemen (macOS, Windows, Linux) en applicatiecategorieën (Office, CAD, Creative), zonder dat er labels nodig zijn.

Toepassing: Cross-Model Routing

Als bewijs van concept (Proof-of-Concept) gebruiken de auteurs zoom consistency om te routeren tussen een specialist (KV-Ground) en een generalist (Qwen).

• Methode: Beide modellen draaien de zoom-pipeline. Het model met de laagste zoom consistency (dichtst bij het midden) wordt geselecteerd als de uiteindelijke voorspelling.
• Resultaat:
  • De router haalt 16,5% van de "oracle headroom" (de potentiële winst die haalbaar is als je altijd het juiste model zou kiezen).
  • De algehele nauwkeurigheid stijgt met +0,8% ten opzichte van de specialist alleen (van 80,1% naar 80,9%).
  • Hoewel de statistische significantie (McNemar $p=0.19$) marginaal is vanwege de kleine absolute winst, is de richting consistent en bewijst het het potentieel van de methode.
• Theorema 1: De auteurs leiden een exacte voorwaarde af waaronder dergelijke routing beter presteert dan het sterkste model alleen: de precisie van de router bij het kiezen van de generalist op het punt van meningsverschil moet hoger zijn dan een specifieke drempel (afhankelijk van de verhouding tussen fouten en correcties).

Bijdragen en Significance

De paper levert de volgende belangrijke bijdragen:

1. Nieuw Signaal: Formalisatie van "Zoom Consistency" als een gratis, rekenkundig goedkoop vertrouwenssignaal dat geen extra inferentie vereist.
2. Theoretisch Bewijs: Wiskundig bewijs dat het signaal een lineaire schatter is van ruimtelijke fouten en dat het model-agnostisch is.
3. Praktische Toepasbaarheid: Demonstratie dat dit signaal kan worden gebruikt voor dynamische routing tussen modellen, wat leidt tot een verbeterde algehele prestatie zonder extra training.
4. Toekomstperspectief: Het signaal kan ook worden gebruikt voor:
   • Vroegtijdig stoppen in multi-stap pipelines (early stopping).
   • Kwaliteitsmonitoring van batches.
   • Actief leren (selecteren van onzekere samples voor annotatie).

Conclusie:
Zoom consistency biedt een elegante, geometrische oplossing voor het probleem van vertrouwensschatting in iteratieve visuele grounding. Het is een krachtig hulpmiddel dat direct beschikbaar is in bestaande pipelines, model-agnostisch werkt en de basis legt voor efficiëntere, adaptieve GUI-agenten. De beperkte correlatiesterkte ($\rho \approx 0.13$) betekent dat het signaal nuttig is maar niet perfect, en dus vooral waardevol is in combinatie met andere strategieën of voor het filteren van de meest onzekere gevallen.