🤖 AI

DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

DRS-GUI is een trainingsvrij kader dat GUI-gronding in Multimodale Grootte Taalmodellen verbetert door gebruik te maken van een lichtgewicht UI-Perceptor en een op MCTS gebaseerde Actieplanner om mensachtige perceptieve acties (Focus, Shift en Scatter) dynamisch te simuleren voor het efficiënt lokaliseren van instructie-relevante elementen in complexe screenshots.

Oorspronkelijke auteurs: Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke, kleine knop op een computerscherm te vinden om op te klikken. Maar dit is niet zomaar een scherm; het is een hoogopgeloste, rommelige wirwar vol honderden pictogrammen, menu's en tekstvakken. Als je een standaard AI vraagt om "op de opslaan-knop te klikken", raakt het vaak overweldigd door het visuele lawaai, net als iemand die probeert een naald in een hooiberg te vinden terwijl het een mistbril op heeft.

Dit artikel introduceert DRS-GUI, een nieuwe "trainingsvrije" methode die fungeert als een slimme, mensachtige gids om de AI te helpen de juiste plek op een scherm te vinden zonder dat deze opnieuw getraind hoeft te worden of nieuwe vaardigheden moet leren.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "One-Shot"-Fout

Huidige AI-modellen proberen meestal de locatie van een knop in één grote sprong te raden. Als ze het hele rommelige scherm bekijken en een verkeerde gok wagen, zitten ze vast. Het is alsof je probeert een specifieke straat in een enorme stad te vinden door een enkele coördinaat op een kaart te raden zonder in te zoomen. Als je de verkeerde wijk raadt, kun je niet herstellen.

De Oplossing: DRS-GUI (De Slimme Detective)

DRS-GUI verandert het spel. In plaats van direct te raden, handelt het als een detective die eerst zoekt en dan oplost. Het breekt het proces op in drie hoofdonderdelen:

1. De "UI Perceptor" (De Vergrootglas van de Detective)

Voordat de AI probeert het antwoord te raden, scant deze module het scherm en breekt het op in een lijst met objecten (knoppen, tekst, pictogrammen). Vervolgens vraagt het: "Welke van deze objecten komt eigenlijk overeen met wat de gebruiker heeft gevraagd?"

Analogie: Stel je voor dat je op zoek bent naar een "rode appel" in een fruitschaal. De Perceptor is de hand die door de schaal sorteert, bananen en sinaasappels negeert, en alleen de rode vruchten markeert.

2. De Drie "Mensachtige" Bewegingen

Zodra de Perceptor een lijst met potentiële kandidaten heeft, staart het systeem niet naar één plek. Het gebruikt drie dynamische bewegingen om zijn zicht aan te passen, precies zoals een mens dat zou doen:

Focus (Inzoomen): Als de AI een cluster van relevante items ziet, zoomt het strak in om beter te kijken en negeert de rest van de rommel.
- Analogie: Je ogen samenkrimpen om kleine tekst op een menu te lezen.
Shift (Verplaatsen): Als de AI beseft dat het naar het verkeerde deel van het scherm kijkt (bijvoorbeeld naar het bovenste menu terwijl de knop onderaan staat), verplaatst het zijn zicht direct naar een nieuw gebied.
- Analogie: Beseffen dat je naar het verkeerde plankje in een bibliotheek kijkt en naar het juiste wandelen.
Scatter (Uitzoomen): Als de AI te smal kijkt en de context mist, zoomt het uit om weer het grotere plaatje te zien.
- Analogie: Een stap terug doen van een schilderij om het hele doek te zien omdat je te dichtbij stond om de details te zien.

3. De "Action Planner" (De Schaakmeester)

Hoe weet de AI welke zet het als volgende moet doen? Het gebruikt een strategie genaamd Monte Carlo Tree Search (MCTS).

Analogie: Denk hierbij aan een schaker. In plaats van slechts één zet te doen, simuleert de AI meerdere mogelijke toekomstscenario's in zijn hoofd. Het vraagt: "Als ik nu inzoom, vind ik dan het doelwit? Als ik naar links verschuif, vind ik het dan?"
Het gebruikt een "Quality Reward" (Kwaliteitsbeloning) systeem om elke mogelijkheid te scoren. Het vraagt: "Bevat dit ingezoomde beeld het juiste soort knoppen? Is het te leeg? Is de tekst duidelijk?"
Als een pad er slecht uitziet (bijvoorbeeld als het inzoomt op een lege ruimte), "terugtrekt" de AI en probeert een andere zet. Dit voorkomt dat het vastloopt in een doodlopende straat.

Het Resultaat: Een Schonere Zoeking

Omdat DRS-GUI het "visuele puin" filtert voordat de hoofdpij een voorspelling probeert te doen, hoeft de AI alleen maar naar een klein, schoon en relevant stukje van het scherm te kijken.

De Claim van het Artikel: Bij testen op moeilijke, hoogopgeloste schermen (zoals professionele software met honderden knoppen) verbeterde deze methode de nauwkeurigheid van de AI met 14%.
Kernboodschap: Het werkt met bestaande AI-modellen zonder dat ze opnieuw getraind hoeven te worden. Het is een "plug-and-play" upgrade die de AI slimmer maakt in het kijken voordat het probeert te handelen.

Kortom, DRS-GUI leert de AI om te stoppen met blind gokken op een rommelig scherm en in plaats daarvan zijn omgeving te scannen, verschuiven, in- en uitzoomen en evalueren zoals een mens dat zou doen, zodat het elke keer de juiste knop vindt.

Technische Samenvatting: DRS-GUI

Probleemstelling
Grafische gebruikersinterface (GUI)-agenten aangedreven door multimodale grote taalmodellen (MLLM's) zijn geëvolueerd van op regels gebaseerde scripts naar interactie in natuurlijke taal. Er blijft echter een kritieke knelpunt bestaan: het nauwkeurig koppelen van gebruikersinstructies aan specifieke UI-elementen binnen hoge-resolutie, visueel dichte screenshots. Bestaande aanpakken worstelen met twee hoofdproblemen:

Visuele rommel: Hoge-resolutie interfaces bevatten aanzienlijke redundante elementen die MLLM's afleiden van instructie-relevante aanwijzingen.
Stijve perceptie: Huidige methoden volgen doorgaans een 'alleen-voren'-paradigma. Eén-stapsmodellen regeren coördinaten direct over het volledige scherm, wat vaak leidt tot het niet kunnen isoleren van doelen van achtergrondruis. Meerdere-staps verfijningsmethodes (iteratief bijsnijden/zoomen) missen mechanismen om te beoordelen of een stap de uitlijning verbetert, of om terug te gaan wanneer een traject afwijkt van semantische aanwijzingen, wat leidt tot onherstelbare ophoping van fouten.

Methodologie: DRS-GUI
De auteurs stellen DRS-GUI (Dynamic Region Search for GUI Grounding) voor, een trainingsvrij kader dat een dynamische regiozoekfase invoegt voordat het basis-MLLM de definitieve coördinaten voorspelt. Het systeem nabootst menselijk perceptueel gedrag door dynamisch de omvang van de aandacht aan te passen in plaats van vast te houden aan één enkel verkleinend pad.

Het kader bestaat uit twee primaire modules:

UI Perceptor:
- Functie: Parseert de huidige regio in gestructureerde UI-elementen (begrenzingsvakken, semantische beschrijvingen via OCR/captioning, en interactiviteitsstatus) met behulp van OmniParser V2.
- Semantische uitlijning: Het genereert domeinspecifieke embeddingen voor zowel de gebruikersinstructie als elementbeschrijvingen met behulp van een gedeelde prefix en een instructor-large embedder. Dit creëert een uniforme semantische ruimte om relevantiescores ( $s_i$ ) te berekenen via cosinus-afstand.
- Perceptuele acties: Op basis van relevantiescores voert de Perceptor drie mensachtige acties uit om kandidaat-regio's te genereren:
  - Focus: Verkleint het zicht naar sterk relevante elementen, door ruimtelijke afwijkingen te snoeien om een compacte uitsnede te creëren.
  - Shift: Verplaatst het zicht naar alternatieve regio's die hoge-relevantie aanwijzingen bevatten, en hercentreert de aandacht wanneer het huidige zicht oninformatief is.
  - Scatter: Breidt het zicht uit om bredere context te herstellen wanneer de huidige regio geen coherente semantische aanwijzingen bevat, waardoor wordt voorkomen dat de zoektocht vastloopt in smalle lokale regio's.
MCTS Actieplanner:
- Functie: Pland de perceptuele acties met behulp van Monte Carlo Tree Search (MCTS) om een omkeerbaar zoektraject te construeren.
- Proces: De planner behandelt regio's als knooppunten in een zoekboom. Het voert iteratief Knopselectie uit (met behulp van de UCT-politiek om exploratie en exploitatie in evenwicht te brengen), Expansie (toepassen van Focus, Shift of Scatter), en Simulatie & Backpropagatie.
- Regiokwaliteitsbeloning: Om de zoektocht te sturen, evalueert een samengestelde beloningsfunctie elke kandidaat-regio op basis van drie metrics:
  - Interactie-gewogen relevantie: Geeft prioriteit aan interactieve elementen boven statische tekst.
  - UI-dekkingsconsistentie: Zorgt ervoor dat de regio daadwerkelijke UI-structuren bevat in plaats van lege ruimte.
  - Semantische concentratie: Meet de entropie van relevantiescores om een duidelijke semantische focus te waarborgen.
- Selectie: De regio met de hoogste cumulatieve beloning wordt geselecteerd als de definitieve inferentieregio ( $R_{best}$ ) voor het basis-MLLM.

Belangrijkste bijdragen

Trainingsvrij kader: DRS-GUI vereist geen extra modeltraining of fine-tuning, en fungeert als plug-and-play verbetering voor bestaande algemene en GUI-specifieke MLLM's.
Dynamisch perceptie-actieproces: Het introduceert een omkeerbaar zoekmechanisme dat het systeem in staat stelt het zicht te verplaatsen of uit te breiden als de initiële aandacht verkeerd is geplaatst, waarmee de broosheid van alleen-voren verfijning wordt aangepakt.
Gestructureerde zoekruimte: Door een lichtgewicht UI Perceptor te combineren met een op MCTS gebaseerde planner en een regiokwaliteitsbeloning, ontkoppelt de methode effectief "waar te kijken" van "wat te voorspellen".

Experimentele resultaten
De auteurs evalueerden DRS-GUI op drie benchmarks: ScreenSpot-V1, ScreenSpot-V2 en de hoge-resolutie, element-dichte ScreenSpot-Pro.

Prestatiewinst: Op ScreenSpot-Pro verbeterde DRS-GUI de grounding-nauwkeurigheid met 14% voor zowel Qwen2.5-VL-7B als UGround-V1-7B.
Generalisatie: Het kader presteerde consequent beter dan baselines bij algemene open-source MLLM's (bijv. Qwen2.5-VL-3B/7B) en GUI-specifieke modellen (UGround-V1-2B/7B).
Efficiëntie versus grootte: Opmerkelijk is dat Qwen2.5-VL-3B, versterkt met DRS-GUI (28,7% nauwkeurigheid), grotere gespecialiseerde modellen zoals OS-Atlas-7B (18,9%) overtrof, wat suggereert dat adaptieve perceptieve zoektocht kritischer is dan modelgrootte voor dichte interfaces.
Redundantiereductie: De methode verkleinde de invoerbeeld-pixelgrootte en het aantal UI-elementen met gemiddeld respectievelijk 64% en 54%, waardoor visuele ruis effectief werd gefilterd.

Betekenis en claims
Het artikel claimt dat DRS-GUI de inherente beperkingen van statische en onomkeerbare verfijningsstrategieën in GUI-grounding aanpakt. Door het menselijke vermogen na te bootsen om dynamisch de perceptieve omvang aan te passen – scannen, verfijnen en de aandacht verschuiven wanneer onzekerheid ontstaat – verbetert het kader aanzienlijk de robuustheid in complexe, hoge-resolutie omgevingen. De auteurs stellen dat betrouwbare grounding in dichte interfaces meer afhankelijk is van adaptieve perceptieve zoekmechanismen dan van het vergroten van modelparameters, en bieden zo een schaalbare oplossing voor het verbeteren van GUI-agenten zonder de kosten van hertraining.