Technische Samenvatting: Grounding Computer Use Agents op Menselijke Demonstraties (GROUNDCUA & GROUNDNEXT)

Probleemstelling

De ontwikkeling van betrouwbare Computer-Use Agents (CUAs) die in staat zijn om software namens gebruikers te bedienen, hangt af van grounding: het vermogen om natuurlijke taalinstructies nauwkeurig te koppelen aan specifieke on-screen UI-elementen. Hoewel er grote datasets bestaan voor web- en mobiele interacties, blijven hoogwaardige bronnen voor desktopomgevingen beperkt. Desktopapplicaties brengen unieke uitdagingen met zich mee, waaronder hoge-resolutie schermen, dichte lay-outs, visueel gelijkaardige elementen en gebruikersspecifieke artefacten die variabiliteit introduceren die niet tijdens de training werd gezien. Bestaande geautomatiseerde datasets lijden vaak aan incomplete toegankelijkheidssignalen, ondervertegenwoordiging van kleine icon-only controles, en een gebrek aan fijnmazige annotaties die nodig zijn voor precieze lokalisatie. Gevolgelijk falen agents vaak bij het correct uitvoeren van plannen wanneer zij de exacte knop, menu-item of controle niet kunnen identificeren.

Methodologie

1. De GROUNDCUA Dataset

Om het tekort aan hoogwaardige desktopdata aan te pakken, introduceren de auteurs GROUNDCUA, een grootschalige, door mensen geannoteerde dataset afgeleid van expert-demonstraties.

• Dataverzameling: De dataset bestaat uit 56.000 screenshots van 87 open-source applicaties over 12 categorieën (bijv. Office, Development, CAD, Scientific). In tegenclus bij eerdere werken die vertrouwden op automatische traversering of willekeurige staatgeneratie, werd de data verzameld door getrainde annotatoren die real-world taken uitvoerden (bijv. het bewerken van spreadsheets, het draaien van simulaties).
• Annotatieproces: Keyframes die de staat direct vóór de gebruikersacties vastleggen, werden geëxtraheerd. Annotatoren leverden 3,56 miljoen menselijk geverifieerde annotaties, waarbij elk zichtbaar element werd gelabeld met bounding boxes, tekstuele namen en categorieën. Ongeveer 50% van de elementen werd toegewezen aan hoog-niveau categorieën (bijv. Menu, Button, Slider).
• Instructiegeneratie: Door gebruik te maken van dichte annotaties (bounding boxes, OCR, context), hebben de auteurs een 700K instructie-tuning dataset geconstrueerd. Instructies werden gegenereerd in drie typen om real-world diversiteit na te bootsen:
  • Direct: Beschrijvend over attributen of tekst (bijv. "Klik op de 'Save' knop").
  • Functioneel: Gericht op de actie (bijv. "Open een nieuw tabblad").
  • Ruimtelijk: Gebruikmakend van relatieve positionering (bijv. "Klik op het icoon links van 'Files'").
• Schaal & Diversiteit: De dataset bevat hoge-resolutie afbeeldingen (0,39M tot 7,0M pixels) en een gemiddelde van 64 annotaties per screenshot, wat aanzienlijk dichter is dan bestaande benchmarks. Het bevat fijnmazige elementen zoals kleine iconen en toolbars die vaak door automatische pipelines worden gemist.

2. De GROUNDNEXT Model Familie

De auteurs hebben GROUNDNEXT ontwikkeld, een serie vision-language modellen (3B en 7B parameters) gebaseerd op Qwen2.5-VL-Instruct, getraind om instructies te mappen naar doel-UI coördinaten.

• Fase 1: Supervised Fine-Tuning (SFT): Modellen werden getraind op de gecureerde 700K instructie-afbeelding paren uit GROUNDCUA. Zowel de vision encoder als het taalmodel werden gefinetuned.
• Fase 2: Reinforcement Learning (RL): Een post-training fase met behulp van Relative Leave-One-Out (RLOO) optimalisatie.
  • Reward Functie: Een aangepaste discrete reward gebaseerd op de genormaliseerde afstand tussen de voorspelde coördinaat en de ground-truth bounding box. Voorspellingen binnen de box ontvangen positieve rewards, terwijl voorspellingen buiten de box straffen ontvangen die geschaald zijn naar hun afstand.
  • Data: 10K nieuwe samples (onderscheidend van de SFT-set) werden gebruikt voor RL om generalisatie te waarborgen.

Belangrijkste Bijdragen

1. GROUNDCUA Dataset: De grootste expert-geannoteerde desktop grounding dataset tot nu toe, met 56K screenshots, 3,56M+ elementen en hoge-resolutie diversiteit over 87 applicaties. Het adresseert de kloof in dichte, fijnmazige desktop supervisie.
2. GROUNDNEXT Modellen: Een familie van 3B en 7B modellen getraind met een twee-fasen SFT+RL pipeline. Ze bereiken state-of-the-art (SOTA) prestaties op desktop benchmarks met aanzienlijk minder trainingssamples (700K SFT + 10K RL) vergeleken met eerdere modellen die getraind zijn op miljoenen samples.
3. Efficiëntie en Generalisatie: Het werk demonstreert dat hoogwaardige, door experts gedreven data beter kan presteren dan grotere, minder precieze datasets. De modellen tonen sterke cross-platform generalisatie naar mobiele en web omgevingen, ondanks dat ze uitsluitend op desktop data zijn getraind.

Resultaten

Benchmarks

De modellen werden geëvalueerd op vijf benchmarks: ScreenSpot-Pro, OSWorld-G, UI-Vision, MMBench-GUI, en ScreenSpot-v2.

• SFT Prestaties: GROUNDNEXT-3B (SFT) behaalde een gemiddelde score van 66,4 (inclusief UI-Vision) en 68,4 (exclusief UI-Vision), waarmee het de eerstvolgende beste 3B SFT baseline (GUI-Actor-3B) met een aanzienlijke marge versloeg (+12,1 punten met UI-Vision). GROUNDNEXT-7B (SFT) leidde evene kind de 7B SFT groep.
• RL Prestaties: Het toevoegen van RL verbeterde de resultaten verder. GROUNDNEXT-3B (RL) bereikte 68,4 (Avg) en GROUNDNEXT-7B (RL) bereikte 70,5.
• Vergelijking: Ondanks het gebruik van minder dan 1/10e van de SFT data gebruikt door modellen zoals JEDI (9M samples), presteerde GROUNDNEXT beter dan bestaande SFT baselines en bleef het competitief met RL-getunede systemen.

Agentic Performance (OSWorld-Geverifieerd)

Geëvalueerd in een multi-step agentic setting met gebruik van OpenAI o3 als planner:

• GROUNDNEXT-3B (RL) behaalde een algemene score van 50,6, wat significant beter is dan andere 3B open-source modellen (bijv. OpenCUA-A3B met 17,7) en grotere modellen zoals OpenCUA-72B (46,1) en propriëtaire API's zoals Qwen3-VL-Flash (41,6) overtrof.
• Het behaalde een prestatie vergelijkbaar met JEDI-7B (51,0), ondanks dat het minder dan de helft van de grootte heeft, wat een hoge praktische bruikbaarheid voor resource-beperkte systemen demonstreert.

Analyse

• Data Kwaliteit vs. Kwantiteit: Het trainen van hetzelfde base model op 100K samples van diverse datasets (Aguvis, UGround, JEDI, etc.) toonde aan dat GROUNDCUA de hoogste prestaties opleverde, wat bevestigt dat dichte, expert-supervisie effectiever is dan brute schaal.
• RL Winsten: RL zorgde voor bescheiden maar consistente verbeteringen. Modellen getraind op GROUNDCUA tijdens SFT vertoonden kleinere RL winsten dan modellen getraind op andere datasets, wat suggereert dat de SFT data al zeer informatief was.
• Cross-Domain: De modellen generaliseerden goed naar mobiele en web interfaces (MMBench-GUI, ScreenSpot-v2), hoewel de prestaties op web taken iets lager waren dan op desktop, wat wijst op een behoefte aan toekomstige multi-domein data integratie.

Betekenis en Claims

Het artikel claimt dat hoogwaardige, door experts gedreven datasets cruciaal zijn voor het bevorderen van general-purpose computer-use agents. De belangrijkste conclusie is dat data kwaliteit en dichtheid een substituut kunnen zijn voor brute datavolume. Door te focussen op menselijk geverifieerde, fijnmazige annotaties van real-world desktop interacties, demonstreren de auteurs dat kleinere modellen een superieure grounding prestatie kunnen bereiken met efficiënte training.

Het werk positioneert GROUNDCUA en GROUNDNEXT als fundamentele bronnen voor de open research community, met als doel grounding te ontsluiten als een kerncapaciteit voor betrouwbare, aanpasbare agents. De auteurs benadrukken dat hoewel hun huidige RL reward design simpel is, de dichte annotaties in GROUNDCUA de ontwikkeling van meer precieze reward signalen mogelijk maken. Ze benadrukken ook het belang van open-source applicaties in de dataset om brede, licentie-conforme dekking van real-world softwarefunctionaliteit te garanderen.