Technische Samenvatting: Voorbij Sparselijke Grounding met Volledige Schermparsing Supervisie

Probleemstelling

Moderne Computer-Use Agents (CUA's) vereisen een gestructureerde perceptie van het scherm om instructies betrouwbaar te kunnen grounden en acties uit te voeren. Dit omvat het identificeren van zichtbare UI-elementen, hun locaties en hun tekstuele inhoud. Echter, huidige state-of-the-art modellen vertrouwen zwaar op "sparselijke" grounding-datasets (bijv. Mind2Web, ScreenSpot) die slechts het enkele element annoteren dat relevant is voor een specifieke taakstap. Deze sparselijke supervisie laat het merendeel van de elementen op het scherm ongelabeld, waardoor modellen shortcuts moeten leren die er mogelijk niet in slagen een volledige schermstatus te vormen. Bijgevolg worstelen deze modellen met robuustheid, generalisatie naar nieuwe lay-outs en scenario's buiten de verdeling. Bovendien vereist praktische implementatie vaak inferentie met lage latentie op het apparaat, wat moeilijk te bereiken is met enorme foundation Vision-Language Models (VLM's).

Methodologie

1. Dataset: ScreenParse

De auteurs introduceren ScreenParse, een dataset op web-schaal ontworpen voor volledige schermparsing. In tegenstelling tot eerdere datasets die sparselijke annotaties bieden, levert ScreenParse dichte annotaties voor alle zichtbare UI-elementen over 771.000 web-schermafbeeldingen, in totaal 21 miljoen elementen.

• Annotatiebereik: Elk element is geannoteerd met een omhullende rechthoek (bounding box), een semantisch type uit een taxonomie van 55 klassen (waaronder links, knoppen, tekst, containers, enz.) en bijbehorende tekst.
• Hiërarchie: De dataset behoudt de Document Object Model (DOM)-hiërarchie, waarbij zowel atomaire elementen als semantisch betekenisvolle container-elementen (bijv. navigatiebalken, kaarten) worden geannoteerd.
• Generatiepijplijn (Webshot): Om de kosten van menselijke annotatie te overwinnen, ontwikkelden de auteurs Webshot, een volledig geautomatiseerde, schaalbare pijplijn:
  1. Crawlen & Renderen: 1 miljoen unieke URL's worden gecrawld en gerenderd met Playwright in een gestandaardiseerd viewports (1440x900).
  2. DOM-extractie: De pijplijn extrahert de DOM-boom, filtert voor zichtbare elementen en verwijdert gedegenereerde of buiten het scherm liggende artefacten.
  3. VLM-verfijning: Een VLM (Qwen3-VL-8B) verfijnt de ruwe, uit de DOM afgeleide klasselabels tegen een taxonomie van 55 klassen.
  4. Kwaliteitsfiltering: Een module "VLM als rechter" scoort de kwaliteit van de annotatie (dekking, vals-positieven, duplicatie, lokalisatie) om pagina's van lage kwaliteit te filteren.

2. Model: ScreenVLM

Met behulp van ScreenParse trainen de auteurs ScreenVLM, een compact Vision-Language Model met 316 miljoen parameters.

• Architectuur: Het past de Granite Docling-architectuur aan (gebaseerd op Idefics3), waarbij een SigLIP-2-visionencoder wordt gekoppeld aan een lichtgewicht Granite-autoregressieve decoder van 165 miljoen parameters.
• Representatie (ScreenTag): Het model geeft een gestructureerde, XML-achtige sequentie uit genaamd ScreenTag. Dit formaat serialiseert elementen als getypeerde tags gevolgd door gediscretiseerde locatietokens (rooster 0–500) en optionele tekst, wat autoregressieve decoding van de volledige schermstatus mogelijk maakt.
• Trainingsdoel: Om het probleem aan te pakken waarbij standaard cross-entropy-verlies wordt gedomineerd door teksttokens, introduceren de auteurs een structuurbewust gewogen verlies. Dit verlies weegt tokens die cruciaal zijn voor de structuur (tags en locatiecoördinaten) zwaarder dan teksttokens, zodat het model prioriteit geeft aan een nauwkeurige lay-out en typering boven louter transcriptie.

Belangrijkste Bijdragen

1. ScreenParse Dataset: Een dataset op web-schaal met dichte, volledige annotaties voor 21 miljoen UI-elementen over 55 klassen, gegenereerd via een geautomatiseerde pijplijn.
2. Webshot-pijplijn: Een schaalbaar, volledig geautomatiseerd framework voor het verzamelen en verfijnen van dichte schermparsing-annotaties zonder menselijke tussenkomst.
3. ScreenVLM: Een compacte VLM-architectuur die hoge-fideliteit dichte parsing bereikt en beter presteert dan veel grotere foundation-modellen.
4. Structuurbewust Verlies: Een nieuw trainingsdoel dat de fideliteit van voorspelde lay-outs verbetert door prioriteit te geven aan structurele tokens.
5. Bewijs van Transferabiliteit: Demonstratie dat dichte scherm-supervisie transferabele structurele priors biedt die niet alleen ScreenVLM ten goede komen, maar ook bestaande foundation VLM's en op detector gebaseerde parsers wanneer deze worden gefinetuned op ScreenParse.

Experimentele Resultaten

In-Domein Prestaties (ScreenParse)

ScreenVLM presteert aanzienlijk beter dan grotere foundation VLM's op dichte parsing-metrics:

• PageIoU: ScreenVLM behaalt 0,606, wat significant beter is dan Qwen3-VL-8B (0,294) en InternVL3-2B (0,111).
• Label PageIoU: ScreenVLM bereikt 0,197, vergeleken met 0,051 voor Qwen3-VL-2B.
• Efficiëntie: ScreenVLM is ongeveer 6x kleiner (316M parameters) en ongeveer 4x sneller in doorvoer dan VLM's van 2B-schaal, wat het geschikt maakt voor implementatie met lage latentie.

Transfer Buiten de Verdeling

• GroundCUA: ScreenVLM behoudt sterke prestaties (PageIoU 0,251) op deze diverse, multi-platform benchmark, en presteert beter dan gepromptte foundation-modellen (bijv. Qwen3-VL-8B op 0,060).
• ScreenSpot: Op sparselijke grounding-benchmarks (Web/PC/Mobiel) toont ScreenVLM sterke pixeldekking (PixCov), hoewel de element-niveau recall (Recall@50) daalt op PC/Mobiel-splits, wat wijst op een domeinverschil tussen web en native UI's.

Impact op Andere Modellen

Finetunen van bestaande foundation VLM's (Qwen3-VL-2B, InternVL3-2B) en op detector gebaseerde parsers (OmniParser, YOLO, RT-DETR) op ScreenParse levert consistente en aanzienlijke verbeteringen op alle benchmarks op. Bijvoorbeeld, finetunen van InternVL3-2B op ScreenParse verbetert de PageIoU op ScreenParse van 0,111 naar 0,509. Dit suggereert dat dichte scherm-supervisie generaliseerbare structurele priors biedt voor UI-begrip.

Ablatiestudie

Het structuurbewuste gewogen verlies verbetert de prestaties aanzienlijk. In vergelijking met standaard cross-entropy verbetert de structuurbewuste variant de PageIoU op ScreenParse met 2,4% en GroundCUA met 11,1%, waarbij de grootste winsten worden waargenomen in scenario's buiten de verdeling (bijv. ScreenSpot PC Recall verbeterd met 72,1%).

Betekenis en Claims

Het artikel betoogt dat het behandelen van volledige schermparsing als een kerntrainingsdoel een natuurlijke remedie is voor de beperkingen van sparselijke grounding. De auteurs beweren dat:

1. Dichte supervisie superieur is: Het stelt modellen in staat een holistische schermstatus te vormen, wat een vereiste is voor robuuste downstream-planning en uitvoering van acties.
2. Schaalbaarheid haalbaar is: De Webshot-pijplijn demonstreert dat hoogwaardige, dichte annotaties in schaal kunnen worden gegenereerd zonder menselijke labeling.
3. Transferabiliteit cruciaal is: De structurele priors die worden geleerd uit dichte schermparsing zijn transferabel, en verbeteren zowel gespecialiseerde parsers als algemene foundation VLM's.
4. Efficiëntie kritiek is: Compacte modellen die zijn getraind op dichte data kunnen beter presteren dan grotere foundation-modellen, terwijl ze levensvatbaar zijn voor toepassingen op het apparaat met lage latentie.

De auteurs erkennen beperkingen, met name dat ScreenParse voornamelijk web-gericht is, wat een domeinverschil laat voor native desktop/mobiele applicaties, en dat residuïele ruis uit DOM-extractie een uitdaging blijft. Er wordt voorgesteld om in toekomstig werk dichte parsing uit te breiden naar native UI's en deze modellen te benutten als visuele ruggengraat voor vision-language-action agents.