💬 NLP

UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding

Het paper introduceert UI-Zoomer, een trainingsvrij raamwerk dat onzekerheidsgebaseerde adaptieve zoom-in toepast om de GUI-grounding te verbeteren door zoomen alleen te activeren bij onzekere voorspellingen en de cropgrootte dynamisch aan te passen op basis van de voorspelde variantie.

Oorspronkelijke auteurs: Fei Tang, Bofan Chen, Zhengxi Lu, Tongbo Chen, Songqin Nong, Tao Jiang, Wenhao Xu, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fei Tang, Bofan Chen, Zhengxi Lu, Tongbo Chen, Songqin Nong, Tao Jiang, Wenhao Xu, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, drukke stad op een kaart bekijkt. Je wilt een heel klein winkeltje vinden, maar de kaart is zo groot dat de winkels eruitzien als kleine stipjes. Als je de hele kaart in één keer bekijkt, kun je de stipjes niet goed zien.

Dit is precies het probleem dat computers hebben bij het begrijpen van computer- of telefoon-schermen (GUI's). Ze moeten een klein icoontje of knopje vinden op basis van een tekstopdracht, maar op een volle scherm met veel kleine details raken ze de weg kwijt.

De paper introduceert UI-Zoomer, een slimme oplossing voor dit probleem. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: "Altijd inzoomen" is dom

Vroeger probeerden computers om altijd in te zoomen als ze iets zochten.

Het probleem: Stel je voor dat je een grote, duidelijke brievenbus zoekt. Als je daarvoor inzoomt, zie je alleen de tekst op de brievenbus, maar niet meer dat het een brievenbus is. Je verliest het overzicht.
De kosten: Inzoomen kost tijd en rekenkracht. Als je het doet voor elke zoektocht, wordt het proces traag en duur, zelfs als het niet nodig was.

2. De oplossing: UI-Zoomer (De slimme detective)

UI-Zoomer is als een slimme detective die eerst twijfelt voordat hij zijn loep pakt. Het werkt in drie stappen:

Stap 1: De "Gok-ronde" (Het verzamelen van meningen)
De computer kijkt eerst naar het hele scherm en doet een gok: "Waar denk je dat de knop zit?" Het doet dit niet één keer, maar 8 keer tegelijk, alsof je 8 verschillende detectives vraagt om een schets te maken.

Als alle 8 detectives ongeveer op dezelfde plek wijzen en zeker zijn van hun zaak: Groot goed! De computer zegt: "Oké, we hebben het gevonden," en stopt. Geen inzoomen nodig.
Als de detectives alle kanten op wijzen (sommigen links, sommigen rechts) en eruitzien alsof ze twijfelen: Alarm! De computer denkt: "Hm, we zijn niet zeker. We moeten beter kijken."

Stap 2: De "Loep" (Slim inzoomen)
Nu komt het slimme deel. Als de computer twijfelt, moet hij niet zomaar ergens inzoomen. Hij kijkt naar waar de detectives twijfelen.

Vroeger: Mensen zoomden altijd in op een vast groot stukje van het scherm (bijvoorbeeld altijd 50% van het scherm).
Nu (UI-Zoomer): De computer berekent precies hoe groot het twijfelgebied is.
- Als de detectives een beetje verspreid staan, maakt hij een kleine loep.
- Als ze heel wijd verspreid staan, maakt hij een grotere loep.
- Hij zorgt er ook voor dat de loep precies groot genoeg is om het hele object te zien, maar niet groter dan nodig.

Stap 3: De definitieve blik
Nu kijkt de computer alleen nog maar naar dat kleine, ingezoomde stukje. Omdat het beeld nu veel scherper is, kan hij de knop of het icoontje eindelijk perfect zien en de juiste locatie bepalen.

Waarom is dit zo goed?

Snelheid: Voor makkelijke taken (waar de computer zeker is) doet hij niets extra's. Het is net zo snel als voorheen.
Nauwkeurigheid: Voor moeilijke taken (kleine icoontjes, volle schermen) pakt hij de loep alleen als het echt nodig is, en hij pakt de juiste grootte loep.
Geen extra training: Dit werkt met bestaande modellen. Je hoeft de computer niet opnieuw te leren; je geeft hem gewoon een slimme strategie om zijn eigen twijfel te gebruiken.

Samenvattend

UI-Zoomer is als een slimme fotograaf die niet blindelings inzoomt. Hij vraagt eerst aan zijn team: "Zijn we zeker?" Als het team het eens is, maakt hij de foto. Als het team twijfelt, kijkt hij precies hoe ver ze uit elkaar staan, en zoomt hij precies zo ver in als nodig is om de twijfel weg te nemen.

Dit resulteert in computers die veel beter kunnen navigeren op schermen, vooral op drukke plekken met veel kleine knopjes, zonder dat het proces langzamer wordt dan nodig is.

Probleemstelling

GUI-grounding (het lokaliseren van interface-elementen op basis van natuurlijke taalopdrachten) blijft een uitdaging voor Vision-Language Models (VLM's), vooral bij kleine pictogrammen en dichte lay-outs. Bestaande methoden voor "test-time zoom-in" (het bijsnijden van een screenshot en opnieuw uitvoeren van inferentie bij een hogere resolutie) hebben twee fundamentele beperkingen:

Indiscriminatie: Ze passen bijsnijden toe op alle gevallen, ongeacht of het model daadwerkelijk onzeker is. Dit leidt tot onnodige rekentijd en kan de prestaties verslechteren bij makkelijke gevallen doordat de globale context verloren gaat.
Rigiditeit: Ze gebruiken vaste bijsnijdverhoudingen (crop ratios), ongeacht of de voorspellingen van het model dicht bij elkaar liggen of ver uit elkaar. Dit resulteert in bijsnijdvensters die ofwel te groot zijn (geen resolutiewinst) of te klein (verlies van context).

Er is een gebrek aan methoden die zowel het moment van zoomen als de schaal van het bijsnijden dynamisch aanpassen op basis van de onzekerheid van het model zelf.

Methodologie: UI-Zoomer

UI-Zoomer is een trainingsvrij (training-free) adaptief framework dat het probleem van zoomen formuleert als een kwantificering van voorspellingsonzekerheid. Het proces verloopt in drie fasen:

Global Multi-Sampling (Stadium 1):
Het model genereert $N$ stochastische kandidaat-bounding boxes (voorgesteld $N=8$ ) bij een hoge temperatuur ( $T=0.9$ ). Voor elke kandidaat wordt de voorspelde box $b_i$ en een token-niveau betrouwbaarheidsscore $c_i$ (gebaseerd op de geometrische gemiddelde van token-probabiliteiten) berekend.
Betrouwbaarheids-Portier (Reliability Gating) (Stadium 2):
Een "confidence-aware gate" bepaalt of zoomen nodig is. Dit wordt gedaan door twee signalen te fuseren:
- Ruimtelijke Consensus ( $C_{spatial}$ ): De gemiddelde paarsgewijze IoU (Intersection over Union) tussen de kandidaat-boxes.
- Token-Confidentie ( $\bar{c}$ ): De gemiddelde betrouwbaarheid van de gegenereerde tokens.
  Een totale score $S = C_{spatial} + \bar{c}$ wordt berekend.
- Als $S > \tau$ (drempelwaarde): Het model is zeker. De beste kandidaat wordt geselecteerd via consensus voting en er wordt niet gezoomd.
- Als $S \leq \tau$ : Het model is onzeker. Het proces gaat door naar adaptief bijsnijden.
Onzekerheids-gedreven Adaptief Bijsnijden (Stadium 3):
Wanneer zoomen wordt getriggerd, wordt de grootte van het bijsnijdvenster niet vastgesteld, maar afgeleid uit de variantie van de kandidaatvoorspellingen.
- Outlier-filtering: De $K$ kandidaten die het dichtst bij het mediaanpunt liggen, worden behouden om ruis te verwijderen.
- Variantie-decompositie: De totale variantie wordt opgesplitst in twee componenten volgens de wet van totale variantie:
  - $v_{inter}$ : Inter-sample variantie (hoe ver de centra van de boxes uit elkaar liggen). Dit geeft aan hoe onzeker het model is over de positie.
  - $v_{intra}$ : Intra-sample variantie (de grootte van de voorspelde boxes zelf). Dit zorgt ervoor dat het venster groot genoeg is om het element te bevatten, zelfs als de voorspellingen samenvallen.
- Adaptieve Crop: De straal van het bijsnijdvenster wordt berekend als $r = \gamma \sqrt{v_{inter} + v_{intra}}$ . Het venster wordt vervolgens "gekwadraterd" (square crop) om aspectverhoudingsproblemen te voorkomen en binnen de beeldgrenzen gehouden.
- Refinement: Het bijsnijdvenster wordt ingeschaald, en het model voert één deterministische inferentie uit ( $T=0$ ) om de definitieve coördinaten te krijgen, die vervolgens worden teruggeprojecteerd naar de globale coördinaten.

Belangrijkste Bijdragen

UI-Zoomer Framework: Een trainingsvrij, adaptief zoom-mechanisme dat zowel de trigger als de schaal van zoomen behandelt als een onzekerheidsprobleem.
Confidence-aware Gate: Een mechanisme dat onnodige berekeningen voorkomt door alleen onzekere gevallen door te sturen naar de verfijningsfase, wat de efficiëntie ten opzichte van uniforme zoom-methoden verbetert.
Gaussische Adaptieve Crop-sizing: Een module die de crop-grootte dynamisch bepaalt op basis van de variantie van de voorspellingen (inter- en intra-sample), in plaats van vaste verhoudingen te gebruiken.
Uitgebreide Validatie: Demonstratie van consistente verbeteringen over meerdere modelarchitecturen en benchmarks zonder extra training.

Resultaten

UI-Zoomer is geëvalueerd op drie benchmarks: ScreenSpot-Pro, UI-Vision en ScreenSpot-v2. De resultaten tonen consistente verbeteringen ten opzichte van sterke baselines (zoals DiMo-GUI, RegionFocus en RL-getrainde modellen):

ScreenSpot-Pro: Tot +13.4% verbetering in nauwkeurigheid.
UI-Vision: Tot +10.3% verbetering.
ScreenSpot-v2: Tot +4.2% verbetering.

De methoden presteerden het beste op pictogrammen (icons) in plaats van tekst, wat logisch is gezien pictogrammen vaak kleiner en semantisch ambigu zijn, waardoor ze het meest profiteren van hogere resolutie. De methoden presteerden ook beter op desktop- en web-interfaces dan op mobiele interfaces, vanwege de dichter bij elkaar liggende elementen op desktops.

Ablatiestudies bevestigden dat:

De combinatie van ruimtelijke consensus en token-confidentie essentieel is voor de gating.
Het decomponeren van variantie (inter- en intra-sample) leidt tot betere crop-groottes dan het gebruik van slechts één component.
Adaptieve cropping superieur is aan vaste verhoudingen.
Het behouden van een vierkant crop-venster de prestaties verbetert door visuele context te behouden.

Betekenis

UI-Zoomer introduceert een nieuw paradigma voor test-time scaling in GUI-grounding. In plaats van brute kracht (altijd zoomen) of statische regels, gebruikt het de interne onzekerheid van het model om slim en efficiënt te beslissen wanneer en hoeveel er moet worden gezoomd. Dit leidt tot een significant hogere nauwkeurigheid bij complexe interfaces zonder de noodzaak van extra training of parameter-finetuning, wat het een zeer praktische oplossing maakt voor autonome GUI-agenten. De bevinding dat "zoomen alleen wanneer onzeker, en zoomen in de mate van onenigheid" een krachtig principe is, biedt een nieuwe richting voor toekomstig onderzoek in test-time adaptatie.