🤖 machine learning

Generative Visual Code Mobile World Models

Het artikel introduceert gWorld, een nieuw paradigma voor mobiele GUI-wereldmodellen dat gebruikmaakt van één Vision-Language Model om de volgende interface-status te voorspellen als uitvoerbare webcode in plaats van ruwe pixels, waardoor hoge-fidelity visuele rendering en precieze tekstgeneratie worden bereikt, terwijl het aanzienlijk beter presteert in nauwkeurigheid dan veel grotere bestaande modellen.

Oorspronkelijke auteurs: Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Wazige Kristallen Bol"

Stel je voor dat je een robot wilt leren hoe je je smartphone gebruikt. Hiervoor heeft de robot een "kristallen bol" (een Wereldmodel) nodig die kan voorspellen: "Als ik op deze knop tik, hoe zal het scherm er dan uitzien?"

Huidige pogingen om deze kristallen bol te bouwen hebben een groot gebrek:

Het "Alleen-tekst" Model: Sommige modellen proberen het volgende scherm te beschrijven met woorden (bijvoorbeeld: "De knop wordt blauw"). Dit is snel, maar het is alsof je een film beschrijft door het script te lezen. Je mist alle visuele details, zoals het exacte lettertype, de kleurnuance of de indeling.
Het "Pixel-Generator" Model: Andere modellen proberen het volgende scherm pixel voor pixel te tekenen, zoals een kunstenaar die een schilderij maakt. Hoewel dit er mooi uitziet, zijn deze modellen vreselijk in het tekenen van tekst. Ze produceren vaak onzinletters, vervormde knoppen of vreemde indelingen. Om dit op te lossen, hebben ze een enorme, trage, meerstapsfabriek nodig met andere AI-tools om de tekst te controleren en fouten te herstellen. Het is alsof je een schilder huurt, dan een spellingcontroleur, dan een architect en dan een redacteur, alleen maar om één enkele knop te tekenen.

De Oplossing: De "Blauwdruk van de Architect"

De auteurs stellen een nieuwe manier voor om de kristallen bol te bouwen. In plaats van de AI te vragen om het plaatje te tekenen (pixels) of het te beschrijven (tekst), vragen ze het om de code te schrijven die het plaatje bouwt.

Denk eraan als volgt:

Oude manier (Pixel Generator): Een kunstenaar vragen om een perfecte replica van een website te schilderen. Ze krijgen misschien de kleuren goed, maar de tekst kan eruitzien als krabbels.
Nieuwe manier (gWorld): Een meester-architect vragen om de blauwdruk (HTML/CSS-code) voor de website te schrijven.

Omdat de AI code schrijft (wat gestructureerd en logisch is), weet het precies hoe het een knop moet plaatsen, hoe het een woord moet spellen en hoe het de indeling moet ordenen. Wanneer deze code wordt "gerenderd" (uitgevoerd in een browser), wordt het direct een perfect, scherp beeld van het volgende scherm.

Wat is gWorld?

gWorld is de naam van het nieuwe AI-systeem dat de auteurs hebben gebouwd.

Het is een "Wereldmodel": Het neemt een huidig scherm en een actie (zoals "tik hier") en voorspelt het volgende scherm.
Het spreekt "Code": In plaats van een afbeeldingsbestand uit te geven, geeft het webcode (HTML/CSS) uit.
Het is Open en Snel: De auteurs hebben de "gewichten" (het brein) van het model gratis beschikbaar gesteld. Omdat het de trage, complexe fabriek van andere methoden overslaat, is het ongelooflijk snel – het voorspelt het volgende scherm in minder dan een seconde.

Hoe hebben ze het geleerd?

Je kunt een AI niet zomaar vragen om code te schrijven voor een scherm dat het nog nooit heeft gezien. De auteurs moesten een speciale trainingsfabriek bouwen:

Hergebruik van Oude Data: Ze namen bestaande gegevens van mensen die telefoons gebruiken (trajecten van tikken en vegen).
De Vertaler: Ze gebruikten een super-slimme AI om naar het "na"-beeld van een menselijke actie te kijken en dat beeld te vertalen naar schone, werkende code.
De Redeneringsstap: Ze leerden de AI ook om eerst "hardop na te denken". Voordat het de code schrijft, legt het uit waarom het scherm zal veranderen (bijvoorbeeld: "De gebruiker klikte op 'Verzenden', dus de e-mail moet verdwijnen en een 'Verzonden'-bericht moet verschijnen").

De Resultaten: Waarom het Belangrijk is

De auteurs testten gWorld tegen 8 andere top-AI-modellen (waarvan sommige 50 keer groter en duurder zijn).

Nauwkeurigheid: gWorld was het meest accuraat in het voorspellen van het volgende scherm. Het kreeg de tekst goed en de indeling perfect.
Efficiëntie: Het behaalde deze resultaten met een veel kleiner modelformaat. Het is als een compacte sportwagen die een enorme vrachtwagen verslaat in een race.
De "Pareto-Grens": In de grafieken creëerde gWorld een nieuwe "beste mogelijke" lijn. Je kunt niet nauwkeuriger worden zonder het model veel groter te maken, en gWorld is al het beste in zijn formaat.
Realiteitstest: Ze testten het zelfs op apps en talen (zoals Koreaans) die het nog nooit had gezien, en het presteerde nog steeds zeer goed.

De "Magie" van de Blauwdruk

Het artikel benadrukt een belangrijke inzicht: Mobiele schermen bestaan voornamelijk uit structuur en tekst, niet uit complexe foto's.
Hoewel sommige schermen foto's hebben (zoals een camera-weergave), zijn de meeste lijsten, knoppen en tekst. Omdat gWorld code schrijft, behandelt het het scherm als een gestructureerd document. Dit betekent dat het nooit spelfouten of indelingsfouten maakt, wat de grootste zwakte is van de "pixel-schilder" modellen.

Samenvatting

Het artikel introduceert gWorld, een nieuw type AI dat voorspelt hoe een telefoonscherm zal veranderen nadat een gebruiker ermee heeft geïnterageerd. In plaats van te proberen het volgende scherm te "schilderen" (wat leidt tot wazige tekst en fouten), schrijft gWorld de code om het scherm te bouwen. Deze aanpak is sneller, nauwkeuriger, vereist minder rekenkracht en produceert perfecte tekst en indelingen, waarmee het een nieuwe standaard zet voor hoe AI-agenten kunnen leren onze telefoons te gebruiken.

Technische Samenvatting: Generatieve Visuele Code Mobile World Models

Probleemstelling

Mobile Graphical User Interface (GUI) World Models (WM's) hebben tot doel toekomstige interface-staten te voorspellen om de prestaties van agenten tijdens training en inferentie te verbeteren. Huidige benaderingen staan voor een kritieke afweging:

Tekstgebaseerde WM's: Offeren visuele trouw op door de pixelruimte te abstraheren naar tekst, waardoor cruciale ruimtelijke lay-out en visuele attributen (bijv. iconografie, typografie) verloren gaan.
Visuele (op pixels gebaseerde) WM's: Hebben moeite met nauwkeurige tekstweergave en discrete GUI-dynamiek. Bestaande visuele WM's (bijv. VIMO) vertrouwen op complexe, meerstapspijplijnen die externe OCR, tekstmaskering, diffusiemodellen en gesloten-gewicht LLM's voor het invullen van tekst omvatten. Dit resulteert in aanzienlijke rekenkundige overhead, latentie en slechte reproduceerbaarheid vanwege gesloten gewichten.

Bovendien vereenvoudigen bestaande benchmarks het probleem vaak door acties om te zetten in tekst of alleen scenario's binnen de verdeling te testen, waardoor zero-shot generalisatie of native visuele actieruimtes niet worden beoordeeld.

Methodologie

De auteurs stellen gWorld voor, een nieuw paradigma voor visuele mobile GUI-world modeling via renderbare codegeneratie. In plaats van direct pixels te genereren, voorspelt het model de volgende GUI-staat als uitvoerbare webcode (HTML/CSS) die wordt weergegeven als pixels.

Kernarchitectuur

Model: gWorld is gebouwd op open-weight Vision-Language Models (VLM's), specifiek fijngetuneerde versies van Qwen3 VL (8B en 32B parameters).
Representatie: Het model output gestructureerde webcode. Dit maakt gebruik van de linguïstische priors van de VLM voor nauwkeurige tekstweergave en de vooraftraining op gestructureerde webcode voor hoogwaardige visuele generatie.
Trainingsdoel: Het model wordt getraind om zowel een redeneringspad ( $R_t$ ) als de op code gebaseerde volgende staat ( $S^{code}_{t+1}$ ) te voorspellen, gegeven een huidige beeldstaat ( $S_t$ ) en actie ( $A_t$ ).

Data Generatie Framework

Omdat er geen bestaande datasets zijn voor code-gebaseerde GUI-world modeling, introduceren de auteurs een framework om trainingsdata te synthetiseren:

Hergebruik van Trajecten: Offline mobiele agent-beleidstrajecten (van AitW, GUIOdyssey, AndroidControl, AMEX) worden omgezet in transitie-triplets $(S_t, A_t, S_{t+1})$ .
Cross-modale Herlabeling: De grond-waarheid volgende staat-afbeelding ( $S^{image}_{t+1}$ ) wordt omgezet in renderbare webcode ( $S^{code}_{t+1}$ ) met behulp van een frontier-model (Gemini 3 Flash) via een image-to-code prompt.
Look-ahead Redenering: Redeneringspaden ( $R_t$ ) worden gesynthetiseerd met het frontier-model met "free look-ahead" toegang tot de grond-waarheid volgende staat. Dit splitst het probleem op in het eerst voorspellen van statieveranderingen in natuurlijke taal, gevolgd door conversie naar code, waardoor alignatie tussen redenering en de uiteindelijke output wordt gewaarborgd.

Benchmark: MWMBENCH

De auteurs introduceren MWMBENCH, een uitgebreide benchmark bestaande uit 6 datasets:

In-Distribution (ID): 4 datasets (AitW, GUIOdyssey, AndroidControl, AMEX).
Out-of-Distribution (OOD): 2 nieuwe datasets:
- AndroidWorld: Geautomatiseerde verzameling vanuit de AndroidWorld-benchmark.
- KApps: Handmatig samengestelde Koreaanse taal-trajecten met populaire Koreaanse apps (bijv. Baemin, KakaoTalk), die meertalige en regionale generalisatie testen.
Belangrijke Kenmerken: MWMBENCH evalueert modellen in de native visuele modale (waarbij originele coördinaten voor acties worden behouden) in plaats van acties om te zetten in tekst, en omvat OOD-evaluatie voor zero-shot generalisatie.

Belangrijkste Bijdragen

gWorld-modellen: De eerste open-weight, enkelvoudige, zelfstandige visuele mobile GUI WM's (8B en 32B) die opereren via renderbare codegeneratie.
Data Generatie Pijplijn: Een framework dat automatisch grootschalige, code-gebaseerde trainingsdata synthetiseert met redeneringspaden uit bestaande beleidstrajecten.
MWMBENCH: Een nieuwe benchmark-suite die systematische evaluatie van visuele world modeling mogelijk maakt over in-distribution en out-of-distribution settings met native visuele actieruimtes.
Empirische Validatie: Aantonen dat code-gebaseerde modeling pixel-gebaseerde generatie en tekst-gebaseerde abstractie overtreft, waardoor een nieuwe Pareto-grens wordt vastgesteld in nauwkeurigheid versus modelgrootte.

Resultaten

Uitgebreide evaluaties over 6 benchmarks (4 ID, 2 OOD) tonen aan:

Prestaties: gWorld 8B en 32B behalen de beste en tweede beste Instruction Accuracy (IAcc.) over alle benchmarks. Ze presteren beter dan 8 frontier open-weight modellen (waaronder Llama 4 402B en Qwen3 VL 235B) die tot 50,25× groter zijn.
Pareto-grens: gWorld zet een nieuwe Pareto-grens neer, waarbij hogere nauwkeurigheid wordt bereikt met aanzienlijk minder parameters dan bestaande state-of-the-art modellen.
Robuustheid: De modellen tonen sterke generalisatie op OOD-benchmarks (AndroidWorld en KApps), waarbij de prestaties niet significant verslechteren in vergelijking met ID-settings.
Rendering-trouw: De code-gebaseerde aanpak elimineert structurele fouten vrijwel volledig, met Render Fail-rates onder de 1% (in vergelijking met >30% voor sommige baselines).
Schaalwetten: Prestaties volgen een voorspelbare machtswet met datasetgrootte (37K tot 240K samples), wat suggereert dat verdere winst mogelijk is met meer data.
Downstream Impact: Het integreren van gWorld in een beleidsagent (M3A) via breedte-uitrol en waarde-schatting levert aanzienlijke prestatiewinst op (bijv. +22,4% gemiddelde nauwkeurigheidsverbetering ten opzichte van de baseline) in vergelijking met het gebruik van alleen het beleid of een waardenfunctie zonder world model.
Efficiëntie: gWorld is aanzienlijk sneller dan eerdere pixel-gebaseerde WM's (bijv. VIMO). End-to-end latentie is 0,55s (8B) en 1,30s (32B), in vergelijking met de gerapporteerde 160s van VIMO.

Betekenis en Claims

Het artikel claimt dat renderbare code world modeling een praktische basis biedt voor schaalbare en efficiënte mobile GUI-agenten. Door de representatie te verschuiven van pixels naar code, behoudt gWorld de GUI-structuur en teksttrouw, terwijl het de complexiteit en latentie van meerstaps pixel-gebaseerde pijplijnen vermijdt.

De auteurs benadrukken dat:

Deze aanpak de afweging tussen visuele trouw en tekstnauwkeurigheid oplost.
Het de creatie mogelijk maakt van open-weight, reproduceerbare world modellen die beter presteren dan veel grotere gesloten-weight of pixel-gebaseerde alternatieven.
De methode zeer efficiënt is, waardoor real-time world modeling haalbaar wordt voor mobiele agenten.
De geïntroduceerde benchmarks en het data-generatieframework een noodzakelijke infrastructuur bieden voor toekomstig onderzoek in mobile GUI-world modeling.

Het artikel blijft bescheiden wat beperkingen betreft, en merkt op dat fotorealistische content (bijv. complexe natuurlijke afbeeldingen in videospelers) moeilijk met hoge trouw te reconstrueren is via webcode, hoewel dit de semantische bruikbaarheid voor de meeste GUI-taken niet significant beïnvloedt. Toekomstig werk wordt voorgesteld om expliciet werkgeheugen op te nemen voor lange-horizon afhankelijkheden.