🤖 AI

EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding

Het artikel introduceert EvoGUI, een diagnostische benchmark die het begrip van de staatsovergangen van GUI-agenten evalueert via visuele vraag-en-antwoordprobes afgeleid van genormaliseerde trajecten, wat aanzienlijke prestatiekloven en het gebrek aan correlatie tussen modelomvang en deze specifieke capaciteit onthult.

Oorspronkelijke auteurs: Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om door een videogame te navigeren. Je wilt niet alleen dat de robot het laatste level haalt; je wilt weten of hij ook echt begrijpt hoe de spelwereld verandert wanneer hij op een knop drukt. Begrijpt hij dat het klikken op een "Start"-knop een menu doet verschijnen? Of gokt hij gewoon dat het menu misschien daar is omdat het eruitziet als een menu? Dit is de kern van "GUI-agenten" — computerprogramma's die interageren met schermen zoals mensen dat doen: klikken, typen en scrollen om taken uit te voeren. Lange tijd hebben wetenschappers deze robots getest door te kijken of ze een hele taak kunnen voltooien, zoals "een vlucht boeken". Maar als de robot faalt, is het moeilijk te zeggen of hij de weg kwijt was, de tekst niet kon lezen, of simpelweg niet begreep dat het klikken op een knop het scherm verandert. We hebben een manier nodig om te testen of de robot werkelijk de oorzaak en gevolg van zijn acties begrijpt, en niet alleen of hij aan het eind geluk heeft gehad.

Maak kennis met EvoGUI, een nieuwe diagnostische tool ontwikkeld door onderzoekers van de Tsinghua Universiteit. Zie het als een "toets voor toestandsveranderingen" voor AI. In plaats van de AI een complexe missie te laten voltooien, breekt EvoGUI de reis af in kleine, behapbare puzzels. Het neemt een opgenomen geschiedenis van een mens die door een website navigeert en verandert dit in drie soorten vragen: "Wat gebeurde er eerst?" (volgorde), "Welke actie veroorzaakte deze verandering?" (de zet raden) en "Welk van deze twee schermen kwam daarna?" (de toekomst voorspellen). De onderzoekers hebben 28 verschillende AI-modellen getest op deze nieuwe benchmark. Ze ontdekten dat zelfs de slimste modellen nog steeds worstelen met het begrijpen van hoe schermen evolueren. Het beste model haalde slechts ongeveer 60% van de "extra credit"-punten boven het niveau van willekeurig gokken, wat bewijst dat hoewel AI beter wordt in zien en praten, het nog een lange weg te gaan heeft voordat het echt begrijpt hoe een computerscherm verandert wanneer je het aanraakt.

Het Probleem: De "Black Box" van Succes

Stel je voor dat je kijkt naar een goochelaar die een konijn uit een hoed tovert. Als de truc lukt, applaus je. Maar als de truc mislukt, weet je niet of het konijn te zwaar was, de hoed te klein was, of dat de goochelaar gewoon de spreuk was vergeten. Dit is precies het probleem met de huidige tests voor AI. De meeste benchmarks meten "end-to-end succes" — heeft de AI de taak voltooid? Als het mislukte, weten we niet waarom. Zag de AI de knop niet? Kon de AI de tekst niet lezen? Of begreep de AI niet dat het klikken op de knop het scherm daadwerkelijk zou veranderen?

De onderzoekers achter dit artikel stellen dat we moeten stoppen met alleen naar de slotact kijken en moeten beginnen met het testen van de mechanica van de goocheltruc zelf. Ze wilden een manier vinden om de specifieke vaardigheid van toestandsveranderingsbegrip te isoleren: het vermogen om te voorspellen hoe een interface verandert na een actie.

De Oplossing: Geschiedenis Veranderen in een Quiz

Het team, onder leiding van Yaohan Yang en Minglei Shi, creëerde EvoGUI. In plaats van een AI een nieuwe taak te laten uitvoeren, namen ze bestaande opnames van mensen die door websites navigeren (uit datasets genaamd Mind2Web en WebLINX) en veranderden deze in een meerkeuzequiz. Ze hoefden geen mensen in te huren om nieuwe vragen te schrijven; ze gebruikten simpelweg het eigen logboek van de computer over wat er gebeurd is.

Ze deelden de vaardigheid van "begrip" op in drie leuke, onderscheidende spellen:

De Tijdreis-puzzel (Temporele Volgorde):
Stel je voor dat je drie foto's van een verhaal hebt, maar ze liggen door elkaar. De ene laat een lege pagina zien, de andere een formulier dat wordt ingevuld, en de derde een "Succes"-melding. De AI moet ze in de juiste volgorde zetten: 1, 2, 3. Dit test of de AI het begrip heeft van de stroom van tijd en logica.
Het Detectivegame (Inverse Actie/Waarde Voorspelling):
De AI krijgt een "Vóór"-foto en een "Ná"-foto te zien. De AI moet raden wat de mens heeft gedaan. Hebben ze op een knop geklikt? Hebben ze een naam getypt? Als ze typten, wat hebben ze dan precies getypt? Dit test of de AI naar een verandering kan kijken en de specifieke oorzaak kan achterhalen.
De "Volgende Stap" Gok (One-Step Reachability):
De AI ziet een startscherm en twee mogelijke "volgende" schermen (Kandidaat A en Kandidaat B). Eén is de echte volgende stap die de mens nam; de andere is een nepoptie die er vergelijkbaar uitziet maar niet echt gebeurde. De AI moet de echte kiezen. Dit is het moeilijkste deel, omdat de nepopties vaak erg verraderlijk zijn — het kunnen schermen zijn die later zouden kunnen gebeuren, maar op dit moment net niet.

De Resultaten: De AI Leert Nog Steeds de Basis

De onderzoekers testten 28 verschillende AI-modellen, variërend van open-source reuzen tot gesloten, propriëtaire supermodellen. Ze gebruikten een speciale score genaamd EvoGain om te meten hoeveel beter de AI presteerde vergeleken met simpelweg willekeurig gokken.

Hier is de grote verrassing: De AI is niet zo goed als we dachten.

De Beste Presteerder: Het topmodel, Gemini-3-Flash-Preview, bereikte een EvoGain van 60,4%. Hoewel dit hoog klinkt, betekent het dat het model nog steeds fouten maakt bij ongeveer 40% van de vragen. Het is geen "opgelost" probleem; er is nog veel ruimte voor verbetering.
Grootte Maakt Niet Uit: Je zou denken dat een grotere, duurdere AI beter zou zijn in dit werk. Het artikel laat zien dat dit niet waar is. Sommige enorme modellen met honderden miljarden parameters scoorden zelfs lager dan kleinere, gespecialiseerde modellen. "Groot" zijn betekent niet automatisch dat je begrijpt hoe een scherm verandert.
Specialisten versus Generalisten: Zelfs modellen die specifiek zijn ontworpen voor GUI-taken (zoals UI-TARS) domineerden de ranglijst niet. Dit suggereert dat het simpelweg trainen van een AI op "hoe een computer te gebruiken" niet genoeg is; het moet de dynamiek van de interface diepgaand begrijpen.

Waarom Dit Belangrijk Is

Het artikel suggereert dat we de capaciteit van AI om digitale omgevingen te begrijpen hebben overschat. Alleen omdat een AI een taak kan voltooien, betekent niet dat hij begrijpt waarom het lukte. Hij heeft misschien gewoon het juiste pad geraden.

Door EvoGUI te gebruiken, kunnen onderzoekers nu precies aanwijzen waar een AI tekortschiet. Is het slecht in het ordenen van gebeurtenissen? Kan het de tekst die het getypt heeft niet lezen? Raakt het in de war door vergelijkbare schermen? Dit diagnostische hulpmiddel werkt als de stethoscoop van een arts, die naar de "hartslag" van de AI luistert om de specifieke zwakte te vinden, in plaats van alleen maar te controleren of de patiënt aan het einde van de dag nog leeft.

Kortom, hoewel AI-agenten slimmer worden, leren ze nog steeds de basis van oorzaak en gevolg in de digitale wereld. Ze kunnen het scherm zien, maar ze weten nog niet zeker hoe het scherm zal veranderen wanneer ze het aanraken. De reis naar een werkelijk begrijpende AI-agent is pas net begonnen.

Technische Samenvatting: EvoGUI

Probleemstelling

Vision-language modellen (VLM's) worden steeds vaker ingezet als de redeneer-backbone voor Graphical User Interface (GUI) agents. De auteurs stellen echter dat bestaande evaluatieparadigma's zwaar leunen op end-to-end taaksuccespercentages. Zij argumenteren dat deze geaggregeerde metrieken het begrip van staatsovergangen "verstrengelt" met andere capaciteiten zoals perceptie, grounding, planning en herstel. Bijgevolg duidt een hoog succespercentage niet noodzakelijkerwijs op een model dat begrijpt hoe specifieke acties (bijv. klikken, typen) de interface-toestanden transformeren. Hoewel recent werk in embodied AI en mobiele agents heeft geïntroduceerd dat wereldmodellering (world modeling) gebruikt voor diagnostische evaluatie, ontbrak er een schaalbaar, uit trajecten afgeleid framework dat specifiek gericht is op het begrip van GUI-staatsovergangen.

Methodologie: Het EvoGUI-framework

Het paper introduceert EvoGUI, een diagnostisch framework dat genormaliseerde GUI-interactietrajecten omzet in drie complementaire Visual Question Answering (VQA) probes. Een belangrijk kenmerk van EvoGUI is dat het geen aanvullende taak-label annotatie vereist na de initiële trajectnormalisatie; labels worden mechanisch afgeleid uit de gelogde volgorde van screenshots en opgenomen acties.

Het framework wordt geïnstantieerd als EvoGUI-Bench, geconstrueerd uit de Mind2Web en WebLINX datasets, wat resulteert in 3.000 instanties over 120 domeinen. De benchmark bestaat uit drie diagnostische taken:

T1: Temporele Ordening (Sequentie-coherentie)
- Taak: Gegeven $K$ (3, 4 of 5) screenshots uit hetzelfde traject die in een gehusselde volgorde worden gepresenteerd, moet het model hun oorspronkelijke chronologische sequentie produceren.
- Metriek: Exact-match accuratesse.
- Doel: Evalueert het vermogen van het model om de temporele structuur van staatsevolutie te herkennen.
T2: Inversie van Actie/Waarde Voorspelling (Causale Attributie)
- Taak: Gegeven een paar opeenvolgende screenshots ( $s_t, s_{t+1}$ ), voorspelt het model de gebruikersactie (uit $\{CLICK, TYPE, SELECT\}$ ) en, indien van toepassing, de exacte waarde (getypte tekst of geselecteerde optie) die de transitie veroorzaakte.
- Metrieken: Action-only top-1 accuratesse en gezamenlijke actie/waarde top-1 accuratesse.
- Doel: Evalueert of een model een geobserveerde staatswijziging kan verklaren, waarbij onderscheid wordt gemaakt tussen het detecteren van een visuele verandering en het herstellen van de specifieke invoerwaarde.
T3: One-Step Reachability Discriminatie (Haalbaarheidsbeoordeling)
- Taak: Gegeven een startscherm en twee kandidaat-volgende schermen (één daarvan zijnde de gelogde onmiddellijke opvolger $s_{t+1}$ en de andere een distractor), moet het model de correcte opvolger identificeren.
- Distractor-typen:
  - Cross-trajectory: Een scherm uit een ander traject.
  - Same-domain: Een scherm uit dezelfde applicatie/domein.
  - Long-skip: Een later scherm ( $s_{t+n}$ waar $n \ge 3$ ) uit hetzelfde traject.
- Metriek: Pairwise accuratesse.
- Doel: Beoordeelt het vermogen van het model om de geregistreerde onmiddellijke transitie te onderscheiden van andere plausibele toekomstige staten, specifiek om te testen of het model "uiteindelijke plausibiliteit" verwart met "onmiddellijke bereikbaarheid".

Evaluatieprotocol:
De auteurs evalueren 28 VLM-configuraties (zowel open-weight als closed-weight) in een zero-shot setting. Om resultaten over taken met verschillende kans-baselines te synthetiseren, introduceren ze de EvoGain Index, een genormaliseerde verbeteringsscore ten opzichte van een random-choice baseline.

Belangrijkste Resultaten

De evaluatie van 28 modellen onthult significante hiaten in het huidige begrip van GUI-staatsovergangen:

Prestatieplafond: Het sterkste model, Gemini-3-Flash-Preview, bereikt een EvoGain van 60,4%. Dit geeft aan dat er nog aanzienlijke ruimte is voor verbetering, aangezien de beste modellen nog lang niet verzadigd zijn.
Schaal en Specialisatie: Modelgrootte en GUI-specialisatie voorspellen de prestaties niet betrouwbaar.
- Grotere modellen (bijv. Qwen3.5-397B) presteren niet consistent beter dan kleinere varianten (bijv. Qwen3.5-122B).
- Het GUI-gespecialiseerde model UI-TARS-1.5-7B behaalt slechts 25,4% EvoGain en rangiert lager dan verschillende generalistische modellen.
Taakspecifieke Inzichten:
- T1: Zelfs de beste modellen maken meer dan 40% fouten in exact-match temporele ordening, wat suggereert dat het herstel van de multi-screen structuur een belangrijke bottleneck is.
- T2: Actieherkenning is makkelijker dan volledige transitieverklaring. Modellen presteren significant beter op actie-only voorspelling dan op gezamenlijke actie/waarde voorspelling, wat wijst op moeilijkheden bij het herstellen van specifieke waarden (OCR, tekstbinding) in plaats van alleen het identificeren van het type actie.
- T3: Modellen hebben moeite met long-skip distractors. Hoewel de geaggregeerde pairwise accuratesse hoog is, daalt de prestatie wanneer men de onmiddellijke opvolger moet onderscheiden van een latere staat in dezelfde workflow, wat suggereert dat modellen grove workflow-plausibiliteit vatten maar falen in precieze stap-niveau discriminatie.
Visuele Afhankelijkheid: Controle-experimenten (het verwijderen van visuele input) laten zien dat de T1- en T3-prestaties instorten tot bijna random niveaus zonder screenshots, wat bevestigt dat de taken vertrouwen op visueel bewijs in plaats van enkel op metadata of taalprioriteiten.

Betekenis en Claims

De auteurs positioneren EvoGUI als een schaalbaar diagnostisch complement aan end-to-end agent-evaluatie, in plaats van een vervanging.

Ontkoppeling van Capaciteiten: Door staatsovergangs-begrip te isoleren van planning en herstel, legt EvoGUI specifieke fouten bloot (bijv. het onvermogen om schermen te ordenen of invoerwaarden te herstellen) die verborgen blijven in geaggregeerde taaksuccespercentages.
Annotatie-efficiëntie: Het framework demonstreert dat hoogwaardige diagnostische benchmarks geconstrueerd kunnen worden uit bestaande trajectlogs zonder de kosten van nieuwe menselijke annotatie, mits de data genormaliseerd is.
Beperkingen: De auteurs merken bescheiden op dat EvoGUI een transitie-niveau diagnostiek is. Het vervangt niet de noodzaak voor testen van gedeponeerde agents. De correlatie tussen EvoGain en OSWorld succespercentages is waargenomen, maar gebaseerd op een kleine steekproef (5 modellen) en gemengde rapportageprotocollen, waardoor het eerder indicatief dan voorspellend is. Bovendien meet T3 discriminatie tegen gesamplede distractors, niet de universele onmogelijkheid om een scherm in één stap te bereiken.

Concluderend stelt het paper vast dat huidige VLM's aanzienlijke ruimte hebben voor verbetering in het begrijpen van interface-dynamiek en dat deze capaciteit niet louter afgeleid kan worden van modelgrootte of generalistische prestaties.