💻 computer science

POINTS-GUI-G: GUI-Grounding Journey

Dit artikel introduceert POINTS-GUI-G-8B, een state-of-the-art GUI-groundingmodel dat is getraind vanuit een basis met minimale ruimtelijke bewustwording door gebruik te maken van verfijnde data-engineering, verbeterde trainingsstrategieën en reinforcement learning met verifieerbare beloningen om superieure prestaties te behalen over meerdere benchmarks.

Oorspronkelijke auteurs: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt die tekst kan lezen en naar plaatjes kan kijken. Je wilt de robot leren om jouw computer of telefoon te gebruiken, precies zoals jij dat doet. Maar er is een probleem: de robot kan de instructies lezen ("Klik op de rode knop"), maar hij weet niet waar de rode knop zich op het scherm bevindt. Het is alsoat je iemand een kaart van een stad geeft, maar niet vertelt op welke straat diegene zich momenteel bevindt.

Dit artikel introduceert POINTS-GUI-G, een nieuwe versie van die robotassistent die eindelijk heeft geleerd om naar een scherm te kijken en te zeggen: "Ah, ik zie de knop! Hij zit daar precies op deze coördinaten."

Hier is hoe de onderzoekers deze robot hebben geleerd een meester van het scherm te worden, uitgelegd aan de hand van eenvoudige analogieën:

1. Het Startpunt: Een Onbeschreven Blad

De meeste andere onderzoekers namen een robot die al goed was in het vinden van dingen (zoals een ervaren detective) en gaven hem simpelweg een paar extra aanwijzingen. De auteurs van dit artikel besloten te beginnen met een robot die slecht was in het vinden van dingen. Ze wilden de vaardigheid vanaf de basis opbouwen, zoals een kind leren lezen in plaats van alleen de spelling van een tiener te corrigeren. Ze begonnen met een basismodel genaamd "POINTS-1.5" dat bijna geen enkel vermogen had om op dingen op een scherm te wijzen.

2. De Drie Zuilen van Succes

Om deze "blinde" robot in een "ziende" robot te veranderen, gebruikten ze drie belangrijke strategieën:

A. Het Opschonen en Organiseren van de Leerboeken (Verfijnde Data Engineering)

Stel je voor dat je een student probeert te onderwijzen met een stapel leerboeken. Sommige boeken gebruiken inches, andere centimeters, sommige zijn geschreven in het Engels en andere in het Frans. Sommige pagina's zijn gescheurd en andere zitten vol krabbels. Het zou een nachtmerrie zijn om daarvan te leren.

De onderzoekers deden drie dingen om dit te repareren:

Standaardisatie: Ze namen alle rommelige, verschillende datasets en dwongen ze in één enkel formaat. Nu wordt elke "coördinaat" (locatie) op dezelfde manier gemeten, alsof alles met een standaard liniaal wordt gemeten.
Ruisreductie: Ze traden op als strenge redacteuren. Ze gebruikten een speciale tool (genaamd OmniParser-v2) om de leerboeken te controleren. Als een leerboek zei "De knop is hier", maar de afbeelding liet duidelijk zien dat de knop ergens anders zat, gooiden ze die pagina eruit. Ze hielden alleen de perfecte voorbeelden over.
Het Moeilijker Maken: Zodra de robot goed werd in het vinden van grote, duidelijke knoppen, begonnen de onderzoekers hem "hard mode"-puzzels te voeren. Ze creëerden schermen met piekleine, drukke knoppen en verwarrende lay-outs (zoals een rommelig bureau met overal papieren) om de robot scherper en nauwkeuriger te dwingen.

B. De Ogen Afstemmen (Verbeterde Trainingsstrategieën)

Normaal gesproken, wanneer deze AI-modellen worden getraind, zijn de "ogen" (het deel van de computer dat afbeeldingen verwerkt) bevroren op hun plaats. De onderzoekers realiseerden zich dat voor het vinden van knoppen op een scherm, de ogen flexibel moesten zijn.

De Visie Ontdooien: Ze lieten de "ogen" leren en zich aanpassen terwijl de rest van de hersenen leerde. Dit stelde de robot in staat om beter in staat te zijn om minuscule details op te merken.
Consistentie in Resolutie: Stel je voor dat je traint voor een basketbalwedstrijd door basketballen te gooien vanaf 1,5 meter afstand, maar dat je vervolgens op komt dagen bij de echte wedstrijd waar de basket op 3 meter afstand hangt. Je zou missen. De onderzoekers merkten dat hun robot oefende op kleine, lage-resolutie afbeeldingen, maar werd getest op enorme, hoog-definitie schermen. Ze losten dit op door de robot te trainen op grotere, duidelijkere afbeeldingen, zodat zijn "zicht" klaar was voor het echte werk.

C. Het Videospel Beloningssysteem (Reinforcement Learning)

Dit is het meest unieke deel. Normaal gesproken wordt Reinforcement Learning (RL) gebruikt om robots te leren hoe ze moeten denken of logische puzzels moeten oplossen. Hier gebruikten ze het om de robot te leren hoe hij moet zien.

Denk hierbij aan een videogame:

De robot raadt waar een knop zit.
De computer controleert: "Heb je de knop geraakt?"
Ja? +100 punten.
Nee? 0 punten.

Omdat het antwoord ofwel goed ofwel fout is (er is geen "misschien"), krijgt de robot zeer duidelijke feedback. De onderzoekers ontdekten dat deze "probeer het, krijg een score, probeer het opnieuw"-lus de robot veel nauwkeuriger maakte dan alleen het tonen van voorbeelden en zeggen "dit is goed".

Het Resultaat

Door deze drie methoden te combineren, werd het POINTS-GUI-G model een kampioen in het vinden van dingen op schermen.

Het versloeg veel andere modellen die veel groter en duurder waren.
Het scoorde ongelooflijk hoog op tests die meten hoe goed een robot knoppen, tekst en iconen op telefoons, computers en websites kan vinden.

Kortom: Het artikel laat zien dat als je je trainingsdata opschoont, je model zijn "ogen" vrij laat leren en een strikt "goed-of-fout"-beloningssysteem gebruikt, je een kleine, efficiënte robot kunt bouwen die beter is in het navigeren door je computerscherm dan veel gigantische, dure alternatieven.

Technische Samenvatting: POINTS-GUI-G: De GUI-Grounding Reis

Probleemstelling

De snelle vooruitgang van Vision-Language Models (VLM's) heeft geleid tot de opkomst van GUI-agenten die complexe digitale workflows kunnen automatiseren, van online winkelen tot het boeken van vluchten. Een fundamentele vereiste voor deze agenten is GUI-grounding: het vermogen om interface-elementen (tekst, iconen, knoppen) nauwkeurig te lokaliseren binnen een screenshot om operaties zoals klikken of typen uit te voeren.

Hoewel huidig onderzoek vaak vertrouwt op modellen met een reeds bestaand, sterk ruimtelijk bewustzijn (bijv. Qwen3-VL) om zich te richten op end-to-end taakuitvoering, kan deze aanpak cruciale technische inzichten die nodig zijn voor iteratieve ontwikkeling vertroebelen. Bovendien negeren bestaande benaderingen vaak de specifieke uitdagingen van grounding, zoals datadatheterogeniteit, resolutieverschillen tussen training en inferentie, en het potentieel van reinforcement learning voor perceptie-intensieve taken. Dit artikel adresseert deze hiaten door te streven naar het beheersen van de volledige technische pijplijn van GUI-grounding, beginnend bij een basismodel met minimale natuurlijke grounding-capaciteiten (POINTS-1.5) in plaats van een vooraf geoptimaliseerd fundament.

Methodologie

De auteurs introduceren POINTS-GUI-G-8B, een model ontwikkeld via een "full-stack" aanpak bestaande uit drie kernzuilen:

1. Verfijnde Data Engineering

De auteurs hebben een meerfasige pijplijn geïmplementeerd om de beperkingen van bestaande open-source GUI-grounding datasets aan te pakken:

Standaardisatie: Diverse datasets werden verenigd door alle coördinaten te normaliseren naar een bereik van $[0, 1]$ met drie decimalen precisie en door taken te herformuleren naar consistente formaten voor het lokaliseren van UI-elementen (bounding box voorspelling of middelpunt-lokalisatie).
Ruisreductie: Een geautomatiseerde filtering-pijplijn met behulp van OmniParser-v2 werd ingezet om onnauwkeurige annotaties te verwijderen. Voor punt-annotaties werd een dekkingsscore berekend ten opzichte van gedetecteerde UI-elementen; alleen samples met een hoge overlap ( $S \ge \tau$ ) werden behouden om gehallucineerde coördinaten te elimineren.
Complexiteitsverhoging: Om de prestatieplafonds te verleggen, werden "simpele" samples (arme lay-outs, overgedimensioneerde regio's) gefilterd met behulp van Layout Entropy metrieken (1D projectie en 2D grid entropie). Daarnaast werd uitdagende data gesynthetiseerd via:
- GUI-CodeGen: Het renderen van professionele software-interfaces (bijv. VS Code) met een hoge dichtheid aan functionele componenten.
- GUI-Overlay: Het over elkaar leggen van meerdere applicatievensters op desktopachtergronden om realistische afleiders en occlusies te introduceren.

2. Verbeterde Trainingsstrategieën

Er zijn twee cruciale aanpassingen gemaakt aan de trainingspijplijn om de perceptuele nauwkeurigheid te verbeteren:

Unfrozen Vision Encoder: In tegen tegenstelling tot eerdere iteraties waarbij de vision encoder bevroren was, hebben de auteurs de encoder (gebaseerd op Qwen2-VL-NaViT) tijdens de training volledig ontdooid. Dit stelde het model in staat om de feature extractie specifiek aan te passen aan het GUI-domein, wat substantiële prestatiewinsten opleverde.
Resolutieconsistentie: Om prestatievermindering op hoog-resolutie benchmarks (bijv. ScreenSpot-Pro) te voorkomen als gevolg van training op lagere resolutie data, hebben de auteurs de maximale trainingsresolutie verhoogd naar 3072 × 3072 pixels en de inferentie-resolutie beperkt tot onder de 2000 × 2000 pixels. Deze afstemming resulteerde in een prestatieverbetering van meer dan 10 punten op hoog-resolutie benchmarks.

3. Reinforcement Learning met Verifieerbare Beloningen (RLVR)

Het artikel demonstreert de toepassing van RL op GUI-grounding, een taak die traditioneel wordt gedomineerd door Supervised Fine-Tuning (SFT).

Verifieerbare Beloningen: De outputruimte (punten of bounding boxes) maakt precieze, objectieve beloningsfuncties mogelijk. De beloning is binair ($1$ of $0$) gebaseerd op de vraag of de voorspelde coördinaat binnen de geannoteerde bounding box valt.
Algoritme: De auteurs gebruikten Group Relative Policy Optimization (GRPO).
Curriculum Learning: Een curriculum-gebaseerde strategie werd gebruikt om de moeilijkheidsgraad van trainingssamples progressief te verhogen, wat het leerproces stabiliseerde.
Geen Reasoning Trace: Conform GTA1 genereert het model geen reasoning trace voordat het coördinaten uitvoert, maar focust het puur op de perceptie-naar-actie mapping.

Belangrijkste Resultaten

POINTS-GUI-G-8B bereikt state-of-the-art prestaties over vijf belangrijke benchmarks en presteert vaak beter dan aanzienlijk grotere modellen (bijv. modellen met 32B en 72B parameters):

ScreenSpot-Pro: Scoorde 59.9, wat 9.8 punten beter is dan GTA1-7B en 5 punten beter dan GUI-Owl-7B.
OSWorld-G: Bereikte 66.0, de eerste plaats onder SOTA-modellen en presteert ongeveer 6 punten beter dan MAI-UI-8B.
ScreenSpot-v2: Bereikte 95.7.
UI-Vision: Scoorde 49.9, vaak met marges van meer dan 10 punten boven concurrenten.
MMBench-GUI-L2: Bereikte 87.0, wat een robuuste prestatie laat zien over mobiele, desktop en web omgevingen.

De ablatie-studies (Figuur 7) bevestigen dat Data Engineering (DE), Unfrozen Vision Encoder (UVE), Image Resolution consistentie (IR) en Reinforcement Learning (RL) elk incrementeel bijdragen aan de uiteindelijke prestaties, waarbij RL consistente verbeteringen biedt ten opzien van de supervised baseline.

Betekenis en Claims

Het artikel claimt dat POINTS-GUI-G dient als een robuust fundament voor toekomstige GUI-agentontwikkeling. De betekenis ligt in:

Full-Stack Meesterschap: Het aantonen dat het starten vanaf een basismodel met minimale grounding-capaciteit en het opbouwen via verfijnde data- en trainingsstrategieën SOTA-resultaten kan opleveren, wat een uitgebreid alternatief biedt voor het louter vertrouwen op vooraf geoptimaliseerde grote modellen.
RL in Perceptie: Het bewijzen dat Reinforcement Learning met Verifieerbare Beloningen zeer effectief is voor perceptie-intensieve taken zoals GUI-grounding, waarbij beloningen gemakkelijk verifieerbaar en accuraat zijn, wat de opvatting uitdaagt dat RL uitsluitend voor reasoning-taken is.
Technische Nuance: Het benadrukken van vaak over het hoofd geziene factoren zoals resolutieconsistentie en de noodzaak om vision encoders te ontdooien voor gespecialiseerde domeinen.

De auteurs hebben hun model en evaluatiesuite open-sourced om de onderzoekscommunity te ondersteunen en inconsistente evaluatiestandaarden aan te pakken, met als doel de vooruitgang in end-to-end GUI-agent uitvoering te katalyseren.