🤖 AI

Computer Use at the Edge of the Statistical Precipice

Dit artikel identificeert kritieke gebreken in de huidige evaluatie van Computer Use Agents veroorzaakt door niet-principiële omgevingontwerp en methodologie, en stelt het PRISM-ontwerpkader, de DigiWorld-benchmark en een rigoureuze statistische aggregatiemethode voor om de voorwaarden te scheppen voor zinvol onderzoek.

Oorspronkelijke auteurs: Pierluca D'Oro, Sneha Silwal, William Wong, Yuxuan Sun, Fanyi Xiao, Manchen Wang, Eric Gan, Allen Bolourchi, Joseph Tighe

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pierluca D'Oro, Sneha Silwal, William Wong, Yuxuan Sun, Fanyi Xiao, Manchen Wang, Eric Gan, Allen Bolourchi, Joseph Tighe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe medewerker probeert aan te nemen om een drukke kantooromgeving te beheren. Je wilt weten of ze echt slim en aanpasbaar zijn, of dat ze toevallig de antwoorden op een specifieke oefentoets hebben uit het hoofd geleerd.

Dit paper, geschreven door onderzoekers bij Meta, stelt dat de huidige manier waarop we "Computer Use Agents" (AI die op een menselijke manier op knoppen kan klikken, kan typen en door apps kan navigeren) testen, gebrekkig is. Het is alsof je iemand aanneemt op basis van een test waarbij ze van tevoren bij het antwoordensleutel kunnen gluren.

Hier is de uiteenzetting van het probleem en hun oplossing, met behulp van eenvoudige analogieën.

Het Probleem: De "Spiekbrief"-Valstrik

1. De "Blind Replay"-Truc
De onderzoekers ontdekten een schokkende fout in huidige tests. Ze namen een zeer eenvoudig computerscript (slechts 1 MB groot – kleiner dan een enkele foto) dat zelfs niet naar het scherm "keek". Het klikte gewoon blindelings op precies dezelfde knoppen in precies dezelfde volgorde die een super-slimme AI eerder had gebruikt om een test te slagen.

Het Resultaat: Op huidige populaire tests scoorde dit "blinde script" eigenlijk hoger dan de geavanceerde AI-modellen.
De Analogie: Stel je een student voor die een wiskundetoets maakt. In plaats van de problemen op te lossen, heeft de student alleen de volgorde van toetsaanslagen op een rekenmachine uit het hoofd geleerd die voor een eerdere versie van de toets werkte. Als de toetsvragen nooit veranderen, haalt de student 100% zonder enige wiskunde te kennen. De huidige AI-benchmarks zijn als die onveranderlijke tests; de AI "denkt" niet, het onthoudt gewoon het pad.

2. De "Muntopgooi"-Fout
Het tweede probleem is hoe onderzoekers de scores berekenen. Ze behandelen elke testpoging vaak als een volledig onafhankelijke gebeurtenis, alsof ze een munt opgooien.

De Analogie: Als je een persoon vraagt om 10 verschillende apps te navigeren en ze falen 3 keer, zegt een simpele gemiddelde dat ze 70% goed zijn. Maar als die 3 falen allemaal in dezelfde app waren omdat die app verwarrend is, verbergt het simpele gemiddelde het feit dat de persoon eigenlijk slecht is in die specifieke app. Huidige methoden negeren deze patronen, waardoor de ranglijsten onbetrouwbaar zijn.

De Oplossing: PRISM en DigiWorld

Om dit op te lossen, stelde het team een nieuwe reeks regels voor genaamd PRISM en bouwde een nieuwe testomgeving genaamd DigiWorld.

PRISM: De Vijf Regels voor een Eerlijke Test
Beschouw PRISM als de "Grondwet" voor het bouwen van een eerlijke AI-test.

Privileged Verification: In plaats van een mens (of een andere AI) te vragen om naar een screenshot te kijken en te raden of de taak was voltooid, controleert de test direct het interne geheugen van de computer. Het is alsof je de bankadministratie controleert om te zien of geld is overgemaakt, in plaats van de bediende te vragen of ze denken dat het gebeurd is.
Realistische Omgevingen: De tests moeten echte apps gebruiken, niet cartoonachtige, vereenvoudigde versies. Je kunt een bestuurder niet testen op een speelgoedauto-track en verwachten dat ze een echte snelweg aankunnen.
Integrity-Checked Configurations: Voordat de test begint, controleert het systeem automatisch of de taak daadwerkelijk mogelijk is. Het zorgt ervoor dat het "bankrekening" geld heeft om over te maken of dat het "e-mail" bestaat om te versturen. Geen gebroken taken toegestaan.
Sandboxed Execution: De test moet plaatsvinden in een verzegelde, gecontroleerde doos. Het mag niet afhankelijk zijn van het live internet, dat elke dag verandert. Als de test afhankelijk is van een live website, veranderen de resultaten alleen al omdat de website zijn ontwerp heeft bijgewerkt.
Multifactorial Variability: Dit is de belangrijkste regel. De test moet elke keer de variabelen veranderen.
- De Analogie: Als je een bestuurder alleen test op een zonnige dag op een rechte weg, weet je niet of ze kunnen rijden in de regen of op een kronkelende bergpas. DigiWorld verandert het "weer" (visuele thema's), het "verkeer" (data-inhoud) en het "startpunt" (schermtoestand) voor elke enkele poging. Dit dwingt de AI om daadwerkelijk te zien en te redeneren, in plaats van een pad uit het hoofd te leren.

DigiWorld: De Nieuwe Testbaan
De onderzoekers bouwden DigiWorld, een benchmark met 15 realistische mobiele apps (zoals bankieren, winkelen en reizen).

Vanwege de "Multifactorial"-regel kunnen ze meer dan 3,2 miljoen unieke versies van elke taak genereren.
Het Resultaat: Toen ze het "blinde replay"-script op DigiWorld uitvoerden, faalde het op erbarmelijke wijze (met slechts 6,9% score). Het script kon niet 3,2 miljoen verschillende paden uit het hoofd leren. Dit bewees dat DigiWorld daadwerkelijk test of de AI kan denken, en niet alleen of het kan onthouden.

De Nieuwe Manier om Scores Te Berekenen

Tot slot introduceert het paper een betere manier om het eindcijfer te berekenen. In plaats van een simpel gemiddelde, gebruiken ze een Hierarchical Bootstrap.

De Analogie: Stel je voor dat je een kookwedstrijd beoordeelt met 15 verschillende juryleden. Als je gewoon alle scores gemiddeld, mis je misschien dat één jurylid een "harde beoordelaar" is en een ander een "zachte beoordelaar".
De nieuwe methode kijkt naar de structuur van de test: Het groepeert scores per App, dan per Scenario, en vervolgens per specifieke instelling. Het gebruikt een statistische techniek (Wilson-scoreintervallen) om een "betrouwbaarheidsinterval" te creëren in plaats van één enkel getal. Dit vertelt ons: "We zijn 95% zeker dat deze AI tussen de 40% en 50% goed is", in plaats van alleen te zeggen "Het is 45% goed".

De Conclusie

Het paper concludeert dat we huidige AI-ranglijsten niet kunnen vertrouwen omdat de tests te makkelijk te bedriegen zijn en de wiskunde die wordt gebruikt om ze te beoordelen te simpel is. Om te weten of een AI echt klaar is voor de echte wereld, hebben we DigiWorld nodig (een test die constant verandert zodat uit het hoofd leren faalt) en PRISM (een reeks regels om ervoor te zorgen dat de test eerlijk, realistisch en statistisch onderbouwd is). Zonder deze maatregelen meten we alleen hoe goed een AI kan bedriegen, niet hoe goed het kan werken.

Technische Samenvatting: Computergebruik aan de Rand van het Statistische Afgrond

Probleemstelling

De evaluatie van Computer Use Agents (CUA's) in interactieve omgevingen lijdt onder twee versterkende pathologieën: niet-principiële omgevingontwerp en niet-principiële evaluatiemethodologie. Bestaande benchmarks vertrouwen vaak op statische, niet-geïsoleerde of live omgevingen die gebrek hebben aan ecologische validiteit en kwetsbaar zijn voor memorisatie. Bovendien worden evaluatiemetrics vaak misbruikt: pass@k (ontworpen voor stateloze codegeneratie) wordt toegepast op stateful UI-interacties en er wordt gebruikgemaakt van naïeve statistische aggregatie die de geneste, gecorreleerde structuur van benchmarkdata negeert. Deze gebreken leiden tot onbetrouwbare rangschikkingen, niet-reproduceerbare resultaten en scores die de capaciteit van een agent om actiesequentie te memoriseren weerspiegelen, in plaats van hun vermogen tot visuele redenering en generalisatie.

Methodologie

1. Empirische Diagnose van Statische Benchmarks

De auteurs demonstreren dat op deterministische benchmarks met vaste beginstaten, een "replay-agent" – een script van 1 MB dat blind een opgenomen actiesequentie uitvoert zonder het scherm te observeren – grenswaarde-modellen kan overtreffen.

Formele Grondslag: Zij bewijzen dat de verwachte succesratio van zo'n replay-agent exact gelijk is aan de pass@k van de bronagent.
Implicatie: Het rapporteren van pass@k op statische benchmarks meet effectief de capaciteit tot memorisatie. Naarmate het aantal rollouts ( $k$ ) toeneemt, kan elke statische benchmark tot willekeurige precisie worden opgelost door een stochastische agent, simpelweg door succesvolle trajecten te memoriseren, waardoor de benchmark nutteloos wordt voor het meten van echte capaciteit.

2. Het PRISM-kader

Om omgevingsfouten aan te pakken, stelt het paper PRISM voor, een reeks van vijf ontwerpprincipes voor CUA-omgevingen:

P (Privileged Verification): Taakvoltooiing moet worden geverifieerd tegen de interne grondwaarheid van de omgeving (bijvoorbeeld via SQL-query's) in plaats van broze proxies zoals LLM-as-judge of screenshot-vergelijking.
R (Realistic Environments): Applicaties moeten het visuele uiterlijk, interactiepatronen en functionele complexiteit van real-world software getrouw reproduceren.
I (Integrity-Checked Configurations): Elke configuratie moet automatisch worden geverifieerd op haalbaarheid (precondities voldaan), coherentie (dataconsistentie) en niet-trivialiteit (taak niet vooraf opgelost).
S (Sandboxed Execution): Omgevingen moeten zelfstandig zijn zonder externe afhankelijkheden en deterministische resets ondersteunen naar elke gespecificeerde beginstaat.
M (Multifactorial Variability): Omgevingen moeten onafhankelijk variëren langs meerdere assen (bijvoorbeeld data-inhoud, visuele thema's, initiële UI-statussen) om memorisatie te voorkomen en fijnmazige diagnostiek mogelijk te maken.

3. DigiWorld Benchmark

De auteurs concretiseren PRISM in DigiWorld, een benchmark bestaande uit:

Scope: 15 handgemaakte, volledig functionele React Native Android-applicaties verspreid over 7 real-world domeinen (bijvoorbeeld bankieren, winkelen, reizen).
Schaal: 387 scenario's die meer dan 4.300 taakinstanties genereren.
Variabiliteit: Door onafhankelijk data-profielen, visuele thema's en initiële UI-statussen te variëren, genereert DigiWorld meer dan 3,2 miljoen geverifieerde unieke configuraties.
Integriteit: Een geautomatiseerde offline pijplijn voert coherentiecontrole, haalbaarheidscontrole en trivialiteitsfiltering uit om ervoor te zorgen dat elke configuratie oplosbaar en niet-triviaal is voordat de evaluatie plaatsvindt.

4. Hiërarchisch Aggregatiekader

Om methodologische fouten aan te pakken, ontwikkelen de auteurs een strikt statistisch kader voor het berekenen van betrouwbaarheidsintervallen (BI's):

Basisniveau-schatter: Zij vervangen het standaard Wald-interval door het Wilson-score-interval, dat zelfs bij kleine steekproefgroottes ( $R$ ) en extreme succesratio's (0 of 1) een bijna nominale dekking biedt.
Hiërarchische Bootstrap: Erkenning dat CUA-data een geneste structuur heeft (Sets $\to$ Apps $\to$ Scenario's $\to$ Configuraties $\to$ Rollouts), stellen zij een hiërarchische bootstrap voor die op elk actief niveau opnieuw steekproeft. Dit houdt correct rekening met variantie die voortkomt uit scenario-moeilijkheid en configuratie-effecten, wat naïeve aggregatiemethoden negeren.

Belangrijkste Resultaten

1. Falen van Statische Benchmarks

Op prominente statische benchmarks (OSWorld, MobileWorld) behaalde de blinde replay-agent succesratio's die gelijk waren aan of hoger waren dan die van grenswaarde-modellen (bijvoorbeeld 71,1% versus 70,6% op OSWorld). Omgekeerd stortte de replay-agent op DigiWorld in tot een succesratio van 6,90%, wat bevestigt dat de multifactoriële variabiliteit van DigiWorld de replay-equivalentie succesvol doorbreekt en agents dwingt te vertrouwen op visuele redenering.

2. Statistische Validiteit

Dekking: Simulaties gekalibreerd op DigiWorld-data tonen aan dat het Wald-interval ernstig onderdekt (25% dekking bij $R=3$ ) als gevolg van degeneratieve intervallen met nul breedte bij extreme kansen. Het Wilson-interval behoudt een bijna nominale (95%) dekking over alle $R$ .
Aggregatie: Een bootstrap die alleen rollouts opnieuw steekproeft, bereikt slechts 17% dekking op set-niveau. Het toevoegen van opnieuw steekproeven langs de configuratie-as verhoogt dit tot 56%. Alleen de volledige hiërarchische bootstrap (opnieuw steekproeven van scenario's, configuraties en rollouts) bereikt de nominale 95% dekking.
Implementatierisico: Het gebruik van Wald-intervallen leidt tot overmoedige rangschikkingen, wat resulteert in een verwachte regret van 9,8% bij het selecteren van modellen voor implementatie. De hiërarchische bootstrap verlaagt dit tot 6,0% door onzekere rangschikkingen correct te markeren.

3. Modelprestaties op DigiWorld

Geëvalueerd op DigiWorld met het voorgestelde kader, vertoonden grenswaarde-modellen (Claude Opus 4.6, GPT-5.4, Gemini 3 Pro) onderscheiden prestatieprofielen. Claude en Gemini behaalden vergelijkbare scores met overlappende betrouwbaarheidsintervallen, terwijl GPT aanzienlijk worstelde. Het kader onthulde dat variantie op app-niveau de onzekerheidsbegroting domineert, en dat prestatie-instabiliteit varieert langs omgevingsassen (Instantie, Data-profiel, Thema, UI-Status), waarbij geen enkele as uniform domineert.

Betekenis en Claims

Het paper claimt dat principiële omgevingontwerp en strikte evaluatiemethodologie geen optionele verfijningen zijn, maar voorwaarden voor zinvol CUA-onderzoek.

Diagnose: Het vestigt een formele link tussen statische omgevingen en het misbruik van pass@k, en toont aan dat huidige benchmarks vaak memorisatie meten in plaats van capaciteit.
Oplossing: Het biedt een concrete, geconcretiseerde oplossing (PRISM en DigiWorld) die exploitatie via memorisatie voorkomt en ecologische validiteit garandeert.
Methodologie: Het biedt een statistisch sound aggregatiekader dat de geneste structuur van interactieve benchmarks correct modelleert, waardoor de onbetrouwbare agent-rangschikkingen die de huidige literatuur teisteren, worden voorkomen.
Impact: De auteurs betogen dat hun werk de inspanning omleidt van benchmark-specifieke optimalisaties naar een genuanceerd begrip van agent-capaciteiten, en een diagnostisch sjabloon biedt om te begrijpen waarom agents falen, niet alleen hoe vaak.

Het paper concludeert dat zonder deze principes, CUA-evaluatie blijft staan aan de "rand van het statistische afgrond", waar punt-schattingen onbetrouwbaar zijn en rangschikkingen artefacten zijn van gebrekkig ontwerp in plaats van ware prestatie.