🤖 AI

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

Dit onderzoek toont aan dat discrete diffusietaalmodellen, met name wanneer ze zijn aangepast met een hybride maskeringsschema, een veelbelovend en competitief alternatief vormen voor autoregressieve modellen voor GUI-grounding door de hiërarchische structuur van bounding boxes beter te vangen en de prestaties aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die niet alleen naar een computerscherm kan kijken, maar ook echt begrijpt wat erop staat en zelf kan klikken, typen of scrollen. Dit noemen we een GUI-agent (een robot die met grafische interfaces werkt).

Tot nu toe waren de slimste robots hiervoor gebaseerd op een manier van denken die we autoregressief noemen. Dat is alsof ze een zin woord voor woord opbouwen, van links naar rechts, net als een mens die een brief schrijft. Ze kunnen niet teruggaan en iets veranderen als ze een foutje hebben gemaakt.

De auteurs van dit paper hebben een nieuw idee getest: wat als we een robot gebruiken die denkt als een kunstenaar die een schilderij maakt door te "denoisen"? Dit heet een Diffusiemodel.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Woord-voor-Woord" Robot

Stel je voor dat je een robot vraagt om op de "Verzenden"-knop te klikken.

De oude robots (Autoregressief) moeten eerst het woord "klikken" bedenken, dan de X-coördinaat, dan de Y-coördinaat, enzovoort. Als ze halverwege de coördinaten een foutje maken, is de hele zin verkeerd. Ze kunnen niet makkelijk "terugkrabben".
Ze zijn heel goed, maar ze zijn een beetje stijf en traag omdat ze alles in één richting moeten doen.

2. De Oplossing: De "Ruis-Verwijderaar" Robot

De auteurs hebben gekeken naar een nieuw type robot: de Discrete Diffusie Model.

De Analogie: Stel je voor dat je een foto van een knop hebt, maar de foto is volledig bedekt met witte ruis (of een deken). De robot moet de knop "ontmaskeren" door steeds een beetje van de ruis weg te halen.
In plaats van woord voor woord te schrijven, kijkt de robot naar het hele plaatje tegelijk. Hij kan in één keer zeggen: "Ah, hier is een knop, en hij zit hier!" en in de volgende stap zeggen: "Nee, wacht even, hij zit eigenlijk ietsje hoger."
Dit heet iteratief verfijnen. Het is alsof je een schets maakt en die steeds beter maakt, in plaats van direct met de pen te schrijven.

3. Het Grote Geheim: De "Hybride Maskering"

Dit is het belangrijkste nieuwe idee in dit paper.
Bij het "ontmaskeren" van de knop-coördinaten (de rechthoek om de knop) is er een probleem. Een rechthoek heeft vier getallen: links, boven, rechts, onder.

Het oude probleem: Als de robot alle vier de getallen willekeurig moet raden, kan het zijn dat hij de linkerbovenhoek goed raadt, maar de rechteronderhoek totaal verkeerd. Het is alsof je een puzzel probeert te leggen waarbij je stukjes willekeurig uit de doos haalt.
De nieuwe oplossing (Hybride Maskering): De auteurs hebben een slimme truc bedacht. Ze laten de robot in twee fases werken:
1. Fase 1 (De Anker): De robot mag eerst alleen de linkerbovenhoek en het type actie (bijv. "klikken") raden. Dit is als het vastzetten van de eerste spijker in de muur.
2. Fase 2 (De Uitbreiding): Zodra de robot die eerste spijker heeft, wordt de rest van de rechthoek (rechts en onder) volledig "gemaskerd" (verdwijnt). De robot moet nu alleen nog de rest van de rechthoek tekenen, gebaseerd op die eerste spijker.
Waarom werkt dit? Het dwingt de robot om eerst de basis te leggen en daarop te bouwen. Het is alsof je eerst het fundament van een huis bouwt, en pas daarna de muren optrekt. Hierdoor wordt de robot veel nauwkeuriger in het vinden van de juiste plek.

4. Wat hebben ze ontdekt?

Ze hebben hun robot getraind met duizenden voorbeelden van websites, mobiele apps en desktopprogramma's.

Resultaat 1: Deze nieuwe "ontmasker"-robot werkt bijna net zo goed als de oude "woord-voor-woord" robots, maar is veel flexibeler.
Resultaat 2: Door de "Hybride Maskering" (die twee-fases truc) wordt de robot nog beter. Hij mist minder vaak de knop.
Resultaat 3: Hoe meer verschillende soorten schermen ze de robot laten zien (web, mobiel, desktop), hoe sneller en slimmer hij wordt. Het is alsof je een student niet alleen wiskunde laat leren, maar ook geschiedenis en aardrijkskunde; dan wordt hij een bredere denker.

Samenvatting in één zin

De auteurs hebben bewezen dat je een robot kunt bouwen die naar een computerscherm kijkt en een knop vindt door niet woord voor woord te schrijven, maar door een "ruisige" schets van de knop steeds scherper te maken, waarbij ze een slimme truc gebruiken om eerst het beginpunt te vinden en daarna de rest af te maken.

Dit is een grote stap naar robots die echt onze computers voor ons kunnen bedienen!

Probleemstelling

Autoregressive (AR) Vision-Language Models (VLMs) hebben tot nu toe de toon gezet in multimodale taken, waaronder het begrijpen van Grafische Gebruikersinterfaces (GUI) en het uitvoeren van acties (GUI grounding). GUI grounding is het vermogen om specifieke elementen in een screenshot te lokaliseren op basis van natuurlijke taal instructies en de bijbehorende actie uit te voeren (bijv. klikken of typen).

Hoewel AR-modellen sterke prestaties leveren, hebben ze architecturale beperkingen, zoals sequentiële decoding en unidirectionele aandacht. Dit beperkt hun efficiëntie en het vermogen om bidirectionele afhankelijkheden te modelleren. Discrete Diffusion Vision-Language Models (DVLMs), zoals LLaDA-V, bieden een alternatief met bidirectionele aandacht, parallelle token-generatie en iteratieve verfijning. Echter, het potentieel van DVLMs voor GUI grounding is tot nu toe niet onderzocht. Een specifiek probleem bij het toepassen van standaard diffusion-modellen op GUI's is dat de willekeurige corruptie van tokens (masking) de complexe geometrische hiërarchie van bounding boxes (waarbij de startcoördinaten $(x_1, y_1)$ de locatie bepalen en de eindcoördinaten $(x_2, y_2)$ de grootte) kan verstoren.

Methodologie

De auteurs passen het bestaande discrete DVLM LLaDA-V aan voor de taak van GUI grounding en actiepredictie. De kern van hun aanpak bestaat uit drie componenten:

Model Adaptatie:
- Het model wordt getraind om een actiestring te genereren op basis van een screenshot en een instructie. De output bestaat uit een actie-type (bijv. lclick, type_in) en een bounding box $B = (x_1, y_1, x_2, y_2)$ .
- De coördinaten worden genormaliseerd naar het bereik $[0, 1000]$ .
- Het model gebruikt een discrete diffusion-objective waarbij tokens worden gemaskeerd en vervolgens gedenoisd.
Hybride Masking Schedule (Kerninnovatie):
Om de geometrische afhankelijkheid tussen de "anker" (startpunt) en de "uitbreiding" (eindpunt) van een bounding box beter te modelleren, introduceren de auteurs een hybride masking-strategie met twee fasen:
- Fase 1: Lineaire Masking: Het model leert de actie en de anker-coördinaten $(x_1, y_1)$ via een standaard lineaire masking-schedule. Dit zorgt voor een ruwe lokalisatie.
- Fase 2: Deterministische Masking: Het model wordt getraind om de resterende coördinaten $(x_2, y_2)$ te voorspellen, geconditioneerd op de reeds voorspelde anker-coördinaten. Hierbij worden alle doel-tokens volledig gemaskeerd in de forward-proces, wat het model dwingt de ruimtelijke relatie tussen anker en uitbreiding expliciet te leren.
- Dit creëert een "coarse-to-fine" leerproces dat de ruimtelijke consistentie verbetert.
Data Scaling en Preprocessing:
- Het model wordt getraind op een dataset van 120k samples, samengesteld uit diverse bronnen (Mind2Web, WebLinX, OS-Atlas, Rico Widget Caption) die web-, desktop- en mobiele interfaces bestrijken.
- Er wordt gebruikgemaakt van OCR-geleide annotaties om ervoor te zorgen dat de bounding boxes nauwkeurig de relevante tekst of elementen omvatten, wat de prestaties significant verbetert.

Belangrijkste Bijdragen

Eerste studie naar DVLMs voor GUI Grounding: Dit paper is het eerste dat systematisch onderzoekt of discrete diffusion-modellen een levensvatbaar alternatief zijn voor autoregressive modellen in de context van GUI-agenten.
Hybride Masking Strategie: De introductie van een hybride masking-schedule die de hiërarchische structuur van bounding boxes respecteert, wat leidt tot aanzienlijke verbeteringen in lokalisatie-accuraatheid.
Analyse van Inference Parameters: Een grondige analyse van de trade-off tussen diffusion-stappen, generatielengte, bloklengte en latentie, waarbij wordt aangetoond dat er een verzadigingspunt is voor nauwkeurigheid.
Data Scaling Effecten: Het aantonen dat het trainen op diverse GUI-domeinen niet alleen de generalisatie verbetert, maar ook de convergentie versnelt (minder diffusion-stappen nodig) en de latentie verlaagt.

Resultaten

De evaluatie vond plaats op vier benchmarks: Mind2Web, ScreenSpot-Web-Text, ScreenSpot-Web-Icon en VisualWebArena.

Prestaties vs. Autoregressive Modellen: Het aangepaste LLaDA-V model met hybride masking presteert concurrerend met state-of-the-art AR-modellen (zoals Qwen2.5-VL en Phi-3-Vision), ondanks beperkte pretraining specifiek voor GUI's.
Verbetering door Hybride Masking: De hybride variant overtreft de variant met alleen lineaire masking met tot 6,1 punten in Step Success Rate (SSR) op VisualWebArena. De kloof met AR-modellen wordt verkleind van ongeveer 25 punten naar minder dan 15 punten.
Data Scaling: Training op de uitgebreide 120k dataset resulteerde in een gemiddelde verbetering van 20 punten in SSR en een reductie van de latentie met ongeveer 1,3 seconden ten opzichte van training op alleen web-data.
Latentie vs. Accuraatheid: Het verhogen van het aantal diffusion-stappen (bijv. van 32 naar 64) verbetert de nauwkeurigheid, maar verhoogt de latentie. Boven een bepaald punt (rond 64 stappen) stagneert de nauwkeurigheid terwijl de latentie blijft stijgen.
Voorbeeld: In visuele voorbeelden (Figuur 2) wordt getoond dat het lineaire model vaak een actie correct voorspelt maar de bounding box net naast het doel plaatst, terwijl het hybride model zowel de actie als de precieze locatie correct voorspelt.

Betekenis en Conclusie

Dit werk markeert een belangrijke stap richting diffusion-based GUI agents. Het bewijst dat discrete diffusion-modellen niet alleen geschikt zijn voor tekstgeneratie, maar ook effectief kunnen worden ingezet voor complexe visuele ruimtelijke taken zoals GUI grounding.

De belangrijkste inzichten zijn:

Diffusion-modellen kunnen de geometrische afhankelijkheden in GUI's effectief leren, mits de masking-strategie hierop is afgestemd (hybride masking).
Ze bieden een schaalbaar alternatief voor autoregressive modellen, met potentieel voor betere parallelle verwerking en iteratieve verfijning.
De kwaliteit van de data (diversiteit van domeinen en precisie van annotaties) is cruciaal voor zowel nauwkeurigheid als inferentie-efficiëntie.

De auteurs concluderen dat DVLMs een veelbelovende richting zijn voor de toekomst van multimodale agenten die software kunnen bedienen en dagelijkse digitale workflows kunnen automatiseren.