💻 computer science

FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting

Dit artikel introduceert FineState-Bench, een uitgebreide benchmark met 2.209 instances en een nieuw diagnostisch proces in vier fasen dat aanzienlijke beperkingen blootlegt in het vermogen van huidige LVLM's om nauwkeurige, staat-geconditioneerde GUI-interacties te realiseren, terwijl het aantoont dat verbeterde visuele grounding de prestaties aanzienlijk kan verhogen.

Oorspronkelijke auteurs: Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een computer te gebruiken. In het verleden hebben we voornamelijk getest of de robot een knop kon vinden en erop kon klikken. Als de robot de juiste knop vond, zeiden we: "Goed gedaan!"

Maar dit nieuwe artikel, FineState-Bench, stelt dat het vinden van de knop niet genoeg is. Het is alsof je tegen een robot zegt: "Draai het volumeknopje precies naar 75%." Als de robot het volumeknopje vindt maar op de verkeerde plek erop klikt, kan het volume uiteindelijk op 60% of 90% uitkomen. Voor de robot heeft hij "op het knopje geklikt", maar voor jou is de taak mislukt omdat de toestand (het volumeniveau) niet precies goed was.

Hier is een eenvoudige uiteenzetting van wat de onderzoekers hebben gedaan en gevonden:

1. Het Probleem: "Bijna goed" is niet goed genoeg

Huidige tests voor AI-agenten (robots die schermen gebruiken) lijken op een spelletje "Warm of Koud". Ze controleren of de AI het juiste gebied heeft gevonden. Maar in het echte leven hebben we precisie nodig.

De Oude Manier: Heeft de robot op de "Volume"-schuifregelaar geklikt? Ja? Geslaagd.
De Nieuwe Manier (FineState-Bench): Heeft de robot op de exacte plek op de schuifregelaar geklikt die het volume op 75% zet? Als hij op 74% of 76% klikt, faalt hij.

De auteurs zeggen dat huidige AI-modellen hier eigenlijk best slecht in zijn. Zelfs de slimste modellen krijgen de "exacte toestand" gemiddeld maar ongeveer 23% van de tijd goed. Ze zijn goed in het vinden van het algemene gebied, maar vreselijk in het raken van het kleine, precieze doel dat nodig is om de instelling precies zoals gevraagd te wijzigen.

2. De Oplossing: Een nieuwe "Gym" voor Robots

Om dit op te lossen, bouwde het team FineState-Bench, een enorm testterrein met meer dan 2.200 verschillende taken.

De Speelplaats: Het bestrijkt computers, telefoons en websites.
De Taken: In plaats van alleen "klik hier", zijn de taken specifiek: "Stel de datum in op 25 december", "Sleep deze schuifregelaar naar 77,7%" of "Kies de exacte tint rood".
De Kaart: Voor elke taak hebben ze een superprecieze kaart gemaakt. Ze tekenden niet zomaar een kader om de hele schuifregelaar; ze tekenden een klein kader om het exacte deel van de schuifregelaar dat je moet aanraken om het juiste resultaat te krijgen.

3. Het Diagnosehulpmiddel: De "Visuele Detective"

De onderzoekers realiseerden zich dat wanneer robots falen, we niet weten waarom. Begrepen ze de instructie niet? Vonden ze de verkeerde knop? Of vonden ze de juiste knop maar misten ze het kleine doel?

Om dit op te lossen, creëerden ze een Visueel Diagnostisch Assistent (VDA). Denk hierbij aan een behulpzame menselijke coach die naast de robot staat.

Zonder de Coach: De robot kijkt naar het scherm en raadt. (Succespercentage: Laag).
Met de Coach: De coach fluistert: "Hé, de rode knop die je nodig hebt, zit eigenlijk in dit kleine vierkantje hier," en wijst erop.
Het Resultaat: Wanneer de robot deze extra hint krijgt, stijgt zijn succespercentage aanzienlijk (met ongeveer 15%).

Wat dit ons vertelt: De robots zijn niet per se "dom" of niet in staat om het doel te begrijpen. Hun hoofdprobleem is visuele blindheid. Ze kunnen het kleine, precieze punt dat ze moeten aanklikken niet zien. Als we ze betere visuele hints geven, worden ze veel beter in de baan.

4. De Belangrijkste Conclusie

Het artikel concludeert dat AI-agenten, hoewel ze beter worden in het navigeren door schermen, nog steeds worstelen met fijne precisie.

Ze zijn als een persoon die in het donker een naald probeert te doordraaien: ze kunnen de naald vinden (de knop), maar ze kunnen de draad niet door het oog krijgen (de exacte toestand).
Huidige tests zijn te makkelijk omdat ze "bijna goed" accepteren.
Om echt betrouwbare robots te bouwen die complexe taken kunnen uitvoeren (zoals het aanpassen van de instellingen van een professionele videobewerker of het invullen van een nauwkeurige medische formulier), moeten we ze testen op nauwkeurigheid, niet alleen op algemene locatie.

Kortom: De robots worden beter in het vinden van de deur, maar ze hebben nog steeds hulp nodig om de sleutel perfect in het slot te draaien.

1. Probleemdefinitie

Ondanks snelle vooruitgang in Large Vision-Language Models (LVLM's) voor GUI-agenten, blijft fijnmazige, staat-geconditioneerde interactie een significant knelpunt. Huidige agenten worstelen vaak om een UI-besturingselement in te stellen op een exacte doelstaat (bijvoorbeeld een schuifregelaar precies op 74% zetten, een specifieke datum selecteren of een specifieke kleur kiezen) op basis van een enkel voorspeld interactiepunt.

Beperkingen van bestaande benchmarks:

Grofmazige evaluatie: De meeste bestaande benchmarks (zoals ScreenSpot, AITW) richten zich op het voltooien van taken van begin tot eind of op simpele "klik-niveau" grounding. Ze missen vaak precieze definities van de doelstaat.
Dubbelzinnige verificatie: Ze onderscheiden zelden tussen het succesvol lokaliseren van een besturingselement en het succesvol raken van het specifieke "interactieve kerngebied" dat nodig is om de staat te veranderen.
Gebrek aan diagnostiek: Aggregatie van succespercentages verbergt waar en waarom agenten falen (bijvoorbeeld: heeft de agent het besturingselement verkeerd geïdentificeerd, of heeft het op het verkeerde deel van het juiste besturingselement geklikt?).

2. Methodologie

A. FineState-Bench Dataset

De auteurs introduceren FineState-Bench, een cross-platform benchmark bestaande uit 2.209 instanties over Desktop, Web en Mobile platforms.

Scope: Dekt 4 interactiefamilies en 23 specifieke UI-componenttypes (bijvoorbeeld Schuifregelaars, Datumslectoren, Boomweergaven, Kleurenpickers).
Eén-stapsprotocol: In tegenstelling tot trajectgebaseerde benchmarks, isoleert FineState-Bench het probleem tot een één-staps, puntgebaseerde interactie. De agent moet twee punten voorspellen:
1. $p_0$ : Locatie van het doelbesturingselement in de huidige UI.
2. $p_1$ : Het specifieke operationele punt dat nodig is om de exacte doelstaat te bereiken.
Dubbel-regio annotatie: Elke instantie biedt vier geometrische annotaties:
- Locate Box ( $B_{loc}$ ): Het zichtbare bereik van het besturingselement.
- Interact Box ( $B_{int}$ ): Het specifieke "interactieve kerngebied" dat de staatsverandering activeert.
- Deze zijn geannoteerd voor zowel de huidige als de doelconfiguratie om rekening te houden met lay-outverschuivingen.
Exacte doelstaatslabels: Elke instantie bevat een precieze, kwantificeerbare doelstaat ( $s_{goal}$ ), zoals een specifieke numerieke waarde of een binaire schakelstatus.

B. FineState-Metrics

Om voorbij te gaan aan een binair succes/mislukking, stellen de auteurs een diagnostische pijplijn in vier fasen voor:

SR@Loc (Succespercentage Lokalisatie): Meet of $p_0$ binnen het zichtbare bereik van het besturingselement valt ( $B^0_{loc}$ ).
SR@Int (Succespercentage Interactie): Meet of $p_1$ binnen het staatsveranderende kerngebied valt ( $B^0_{int}$ ).
ES-SR@Loc (Exacte Staat Succes bij Lokalisatie): Meet exacte staatverwerving geconditioneerd op correcte lokalisatie ( $p_0 \in B^1_{loc}$ ).
ES-SR@Int (Exacte Staat Succes bij Interactie): Meet exacte staatverwerving geconditioneerd op correcte interactie ( $p_1 \in B^1_{int}$ ).

Deze decompositie stelt onderzoekers in staat om fouten specifiek toe te schrijven aan perceptie (het vinden van het besturingselement), precisie (het raken van de kern) of staatsinstellingslogica (het niet bereiken van het doel zelfs na het raken van de kern).

C. Visuele Diagnostische Assistent (VDA)

Om de impact van visuele grounding-fouten te kwantificeren, introduceren de auteurs een plug-and-play VDA.

Functie: VDA genereert een gestructureerde Beschrijving van het doel-element en een Lokalisatiehint (een omlijstingsbox) op basis van de instructie en de screenshot.
Gecontroleerde vergelijking: Agenten worden geëvalueerd met en zonder deze hints. Het prestatieverschil ( $\Delta_{vis}$ ) isoleert het deel van de fouten dat specifiek wordt veroorzaakt door onvoldoende visuele grounding versus andere factoren.

3. Belangrijkste Bijdragen

FineState-Bench: De eerste benchmark die expliciet is ontworpen voor exacte doelstaatsverificatie in GUI-agenten, met dubbel-regio geometrische supervisie en precieze staatlabels over 23 componenttypes.
FineState-Metrics: Een diagnostisch raamwerk in fasen dat lokalisatie-accuratesse, precisie op punt-niveau en exacte staatverwerving ontkoppelt, waardoor gedetailleerde fouttoeschrijving mogelijk wordt.
Visuele Diagnostische Assistent (VDA): Een hulpmiddel voor gecontroleerde ablatiestudies dat kwantificeert hoeveel prestaties kunnen worden hersteld door visuele grounding te verbeteren, en onthult dat grounding-fouten een primair knelpunt zijn.
Uitgebreide Benchmarking: Evaluatie van 8 representatieve agenten (waaronder GPT-4o, Claude-3.5, Gemini-2.5-Flash en open-source modellen zoals OS-Atlas en CogAgent) die aanzienlijke prestatiekloven blootlegt.

4. Experimentele Resultaten

Algemene Prestaties

Lage Succespercentages: Zelfs de sterkste modellen worstelen met exacte staatsinstelling. Het best presterende model, UGround-7B, behaalde slechts 32,8% op Web en 22,8% gemiddeld over platforms voor de primaire metric (ES-SR@Int).
Platformvariatie: Prestaties variëren enorm; bijvoorbeeld, Gemini-2.5-Flash scoorde 17,6% op Mobile maar daalde naar 0,7% op Desktop.

Diagnostische Inzichten

Het "Interactieve Kern"-knelpunt: De grootste prestatiedaling treedt op tussen SR@Loc (grofmazige lokalisatie) en SR@Int (fijnmazige interactie). Agenten identificeren vaak het algemene besturingselement correct, maar falen in het klikken op het precieze gebied dat nodig is om de staat te veranderen.
Componentgevoeligheid: Continue besturingselementen (Schuifregelaars, Zoekbalken, Knoppen) tonen de grootste kloof tussen lokalisatie- en interactiesucces. Discrete besturingselementen (Schakelaars, Radiogroepen) presteren beter, maar worstelen nog steeds met exacte staatsverificatie.
VDA Impact: Het verstrekken van VDA-lokalisatiehints verbeterde de prestaties aanzienlijk. Gemini-2.5-Flash behaalde +14,9% in ES-SR@Int wanneer het VDA-hints kreeg. Dit suggereert dat een aanzienlijk deel van de mislukkingen het gevolg is van onnauwkeurigheden in visuele grounding in plaats van tekortkomingen in redenering of planning.

5. Betekenis en Toekomstige Richtingen

Herdruk van Evaluatie: Het artikel betoogt dat "taakvoltooiing" onvoldoende is voor GUI-agenten. Betrouwbare automatisering vereist exacte staatsverificatie, wat huidige benchmarks niet vastleggen.
Identificatie van het Knelpunt: De studie toont overtuigend aan dat de primaire barrière voor betrouwbare fijnmazige GUI-interactie visuele grounding-precisie is, niet hoog-niveau redenering.
Routekaart voor Verbetering: Door een diagnostisch raamwerk te bieden, stellen de auteurs de gemeenschap in staat om specifieke faalmodi aan te pakken (bijvoorbeeld het verbeteren van puntvoorspelling voor schuifregelaars) in plaats van te vertrouwen op aggregatiemetrics.
Beperkingen: De huidige benchmark richt zich op statische screenshots en één-staps interacties. Het uitbreiden van deze diagnostische mogelijkheden naar lang-horizon, multi-staps en real-time interactieve omgevingen blijft een open uitdaging.

Kortom, FineState-Bench biedt de nodige strengheid om de volgende generatie GUI-agenten te evalueren en te verbeteren, en verschuift de focus van "kan de agent ergens op klikken?" naar "kan de agent de interface instellen op de exacte gewenste staat?"