Technische Samenvatting: HyperClick – Verbetering van Betrouwbare GUI-Gronding via Zelfgecritiqueerde Versterkende Leer

Probleemstelling

Autonome Graphical User Interface (GUI)-agenten zijn afhankelijk van GUI-gronding—het vermogen om natuurlijke taal-instructies te koppelen aan precieze pixelcoördinaten op scherm-elementen—om gebruikersopdrachten uit te voeren. Hoewel recente vooruitgang in Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) de grondingsnauwkeurigheid hebben verbeterd, blijft een kritiek betrouwbaarheidskloof bestaan: huidige modellen vertonen vaak oververtrouwen. Hun vertrouwenssignalen (of het nu probabilistische token-kansen zijn of verbaal geuit zelfevaluaties) staan slecht in verhouding tot de feitelijke grondingscorrectheid. Deze misalignatie leidt tot agenten die fouten maken met een hoog vertrouwen, wat bijzonder gevaarlijk is in real-world automatisering waar een enkele tussentijdse fout totale taakfalen kan veroorzaken. Bestaande methoden optimaliseren voornamelijk voor localisatie-nauwkeurigheid, maar negeren grotendeels of het vertrouwen van het model de kwaliteit van zijn voorspellingen nauwkeurig weerspiegelt.

Methodologie: HyperClick Framework

Om het probleem van oververtrouwen aan te pakken, stellen de auteurs HyperClick voor, een framework dat betrouwbare GUI-gronding verbetert via Zelfgecritiqueerde Versterkende Leer (SCRL). In tegenstelling tot eerdere benaderingen die gronding behandelen als een binaire classificatietask, integreert HyperClick expliciet schatting van vertrouwen in het besluitvormingsproces.

1. Probleemformulering

De taak wordt geformuleerd als een click-formulering, waarbij het beleidsmodel een enkel punt voorspelt $\hat{p} = (\hat{x}, \hat{y})$ dat het centrum van het doel-UI-element voorstelt. Het model wordt getraind om zowel de coördinaten als een verbaal geuite vertrouwensscore uit te geven.

2. Vertrouwensmodellering (Ruimtelijke Vertrouwensdoel)

In plaats van te vertrouwen op token-niveau kansen (die verward kunnen worden door tokenisatie), construeert HyperClick een begrensde ruimtelijke vertrouwensdoel gebaseerd op Gaussische foutanalyse.

• Doelconstructie: Voor een ground-truth bounding box $b$ met centrum $\mu$, genereert een Gaussische kern een vertrouwenswaarde $C(\hat{p})$ voor elk voorspeld punt $\hat{p}$.
• Beperkingen: Het vertrouwen wordt ingesteld op 0 als het punt buiten de bounding box valt. Binnen de box neemt de waarde af op basis van de afstand tot het centrum.
• Adaptieve Variantie: Om variërende elementgroottes te hanteren, wordt de standaardafwijking ($\sigma$) van de Gaussische verdeling geschaald met de box-dimensies ($\sigma = \alpha \cdot \text{size}$). Dit zorgt ervoor dat kleinere elementen een hogere precisie vereisen (scherpere pieken), terwijl grotere elementen bredere gebieden met hoog vertrouwen toestaan.

3. Trainingsdoel en Beloningen

Het beleid wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO) met een samengestelde beloningsfunctie $R = R_{format} + R_{correctness} + R_{confidence}$:

• Format Beloning ($R_{format}$): Handhaaft een strikt outputsjabloon <point>[x,y]</point><confidence>conf</confidence>, wat parseerbaarheid garandeert en te lange voltooiingen voorkomt.
• Correctheid Beloning ($R_{correctness}$): Een binaire beloning (1 of 0) die aangeeft of het voorspelde punt binnen de ground-truth bounding box valt.
• Vertrouwensalignatie Beloning ($R_{confidence}$): Een $L_2$-beperking die het verbaal geuite vertrouwen $\hat{c}$ van het model aligneert met de ruimtelijke vertrouwensdoel $C(\hat{x}, \hat{y})$. Dit beloont het model voor het toekennen van hoog vertrouwen aan correcte, precieze clicks en laag vertrouwen aan incorrecte of onnauwkeurige clicks.

Belangrijkste Bijdragen

1. Systematische Analyse van Oververtrouwen: De auteurs evalueren systematisch bestaande algemene en GUI-specifieke modellen op de ScreenSpot-Pro benchmark, waarbij blijkt dat huidige agenten significant oververtrouwd zijn in hun voorspellingen, met vertrouwensscores die ver boven de feitelijke nauwkeurigheid uitstijgen.
2. HyperClick Framework: Ze introduceren een nieuw SCRL-framework dat grondingsnauwkeurigheid en vertrouwensalignatie gezamenlijk optimaliseert. Door het model te trainen om onzekerheid bloot te leggen naast zijn click-voorspelling, maakt HyperClick vertrouwensgebaseerde onthouding mogelijk, waardoor agenten kunnen afzien van handelen wanneer ze onzeker zijn.
3. Dubbele Beloningsmechanisme: Het artikel stelt een specifiek dubbel-beloningsmechanisme voor dat binaire correctheid combineert met een begrensde ruimtelijke vertrouwensdoel, en toont aan dat deze aanpak effectief hoge-vertrouwen fouten reduceert zonder grondingsprestaties te offeren.

Experimentele Resultaten

De auteurs hebben HyperClick geëvalueerd op vier uitdagende benchmarks: ScreenSpot, ScreenSpot-V2, ScreenSpot-Pro, en MMBench-GUI.

• Prestaties: HyperClick (gebaseerd op Qwen2.5-VL-3B en 7B) behoudt concurrerende of superieure grondingsnauwkeurigheid vergeleken met state-of-the-art SFT- en RL-baselines op mobiele, desktop en webplatforms. Opmerkelijk is dat het aanzienlijke winsten laat zien op hoge-resolutie, complexe benchmarks zoals ScreenSpot-Pro.
• Vertrouwensalignatie: Betrouwbaarheidsdiagrammen op ScreenSpot-Pro tonen een dramatische reductie in Expected Calibration Error (ECE). Terwijl basismodellen (zoals UI-TARS, Qwen2.5-VL) ECE's vertonen rond 0,48–0,63 (wat ernstig oververtrouwen aangeeft), reduceert HyperClick-7B de ECE tot 0,249.
• Ablatie Studies:
  • De combinatie van alle drie beloningscomponenten (format, correctheid, vertrouwen) levert de beste resultaten op (93,7% nauwkeurigheid op ScreenSpot-V2), terwijl het gebruik van alleen vertrouwensalignatie leidt tot beloningshacking.
  • De adaptieve variantieparameter $\alpha$ is cruciaal; $\alpha = 1/4$ biedt de optimale afweging tussen concentratie en spreiding.
  • Het framework generaliseert goed, en verbetert prestaties wanneer toegepast op andere baselines zoals MiMo-VL.

Betekenis en Claims

Het artikel beweert dat betrouwbare GUI-gronding een voorwaarde is voor betrouwbare autonome agenten. Door voorbij te gaan aan eenvoudige nauwkeurigheidsmetrieken en vertrouwens-kwaliteit alignatie op te nemen, adresseert HyperClick een fundamentele beperking in huidige GUI-agenten: het onvermogen om te onderscheiden tussen betrouwbare en onbetrouwbare acties.

De auteurs positioneren dit werk als een stap naar veiligere GUI-automatisering. Door agenten in staat te stellen "te weten wat ze niet weten" via gekalibreerde verbaal geuite vertrouwen, ondersteunt het framework selectieve onthouding, wat foutpropagatie in meerstapstaken voorkomt. Het artikel concludeert dat hoewel het huidige werk zich richt op gronding, de principes van vertrouwensalignatie essentieel zijn voor toekomstige uitbreidingen naar GUI-planning, waar onbetrouwbaar besluitvorming cascaderende negatieve effecten kan hebben. De auteurs benadrukken dat hun aanpak model-agnostisch is wat betreft het vertrouwenssignaal en schaalbaar is over verschillende VLM-architecturen.