💬 NLP

iOSWorld: A Benchmark for Personally Intelligent Phone Agents

Dit artikel introduceert iOSWorld, de eerste interactieve native iOS-simulator benchmark met 26 onderling verbonden apps en een persistente gebruikersidentiteit om persoonlijk intelligente telefoonagenten te evalueren, wat onthult dat hoewel bevoorrechte toegang tot visie+XML de prestaties van frontiermodellen aanzienlijk verbetert, huidige agenten nog steeds moeite hebben met complexe multi-app en personalisatietaken.

Oorspronkelijke auteurs: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale assistent hebt die in je telefoon leeft. Op dit moment zijn de meeste van deze assistenten als amnesische toeristen. Ze kunnen één instructie perfect opvolgen — zoals "doe zaklamp aan" — maar als je hen vraagt om "mijn week te plannen op basis van mijn gebruikelijke gewoonten, mijn banksaldo en mijn sms-berichten," raken ze de weg kwijt. Ze weten niet wie je bent, ze herinneren zich je geschiedenis niet en ze kunnen de verbanden tussen je verschillende apps niet leggen.

Het paper "iOSWorld" introduceert een nieuwe manier om te testen of een telefoonassistent daadwerkelijk slim genoeg is om jouw persoonlijke hulpje te zijn. Hier is de uitsplitsing in eenvoudige termen:

1. Het Probleem: Het "Lege Blad" versus het "Echte Leven"

Huidige tests voor telefoonassistenten zijn als iemand een leeg schrift geven en vragen om een verhaal te schrijven. Ze kunnen een zin schrijven, maar ze hebben geen achtergrondverhaal.

De Realiteit: Je telefoon zit vol met een leven aan data: je banktransacties, je reisplannen, de namen van je vrienden en je favoriete restaurants. Een echt nuttige assistent moet dit allemaal weten.
De Kloof: Niemand had een manier om te testen of een AI daadwerkelijk door dit chaotische, verbonden echte leven kon navigeren. De meeste tests keken alleen naar geïsoleerde taken op Android-telefoons, waarbij de unieke manier waarop iPhones (iOS) werken werden genegeerd.

2. De Oplossing: Het Bouwen van "iOSWorld"

De onderzoekers hebben een gigantisch, interactief computerspel gebouwd dat een echte iPhone nabootst.

Het Personage: Ze hebben een fictief persoon gecreëerd genaamd Jordan Avery, een 31-jarige die in San Francisco woont.
De Wereld: Ze hebben 26 aangepaste apps gebouwd voor Jordan (zoals een nep Uber, een nep bank, een nep e-mail en een nep maaltijdbezorg-app).
De Magie: Deze apps zijn allemaal met elkaar verbonden. Als Jordan een burrito bestelt via de "QuickBite"-app, toont de "MyBank"-app automatisch een afschrijving, en krijgt de "Mail"-app een bonnetje. Als Jordan een vlucht boekt op "SkyTrip," staat er een herinnering voor in de "Notes"-app.
Het Doel: Ze gaven de AI 133 verschillende missies. Sommige waren simpel (bestel een koffie), maar veel waren complex (controleer je banksaldo, zoek het bonnetje van die koffie op en laat je baas weten dat je te laat komt op basis van je agenda).

3. De Test: Twee Manieren om naar de Telefoon te Kijken

Om te zien hoe slim de AI echt is, testten ze de AI in twee verschillende "modi", alsof je een mens een test geeft met of zonder spiekbriefje:

Modus A: Alleen Visueel (De "Blinde" Test)
De AI ziet alleen screenshots van het scherm, precies zoals een mens dat doet. De AI moet raden waar knoppen zitten en begrijpen wat er gebeurt door naar de plaatjes te kijken.
- Analogie: Als proberen een puzzel op te lossen door alleen naar een wazige foto ervan te kijken.
Modus B: Visueel + XML (De "Superzicht"-Test)
De AI ziet de screenshots plus een verborgen tekstlijst (een zogenaamde toegankelijkheidsboom of "accessibility tree") die precies vertelt wat elke knop is en waar deze zich bevindt.
- Analogie: Als kijken naar de puzzel met een gloeiende highlighter die naar elk stukje wijst en zegt: "Dit is het stukje lucht, dit is het stukje boom."

4. De Resultaten: Wie Haalde de Test?

Ze testten de slimste AI-modellen die beschikbaar zijn (de "frontier" modellen) en één open-source model.

Het Goede Nieuws: Wanneer de AI "Superzicht" had (Visueel + XML), werden de slimste modellen veel beter. Ze konden de apps eindelijk correct navigeren. Eén model (Opus) sprong van het succesvol afronden van 26% van de taken naar 52% succesvolle taken.
Het Slechte Nieuws: Zelfs met de beste opstelling worstelden de AI's nog steeds met de moeilijkste taken.
- Taken met één app: Ze deden het goed (82% succes).
- Taken met meerdere apps: Ze hadden moeite (37% succes). Het leggen van de verbanden tussen 3 of 4 verschillende apps was te moeilijk.
- Geheugentaken: Ze waren oké (54% succes), maar vergaten vaak de details.
Het "Klein Model"-Probleem: Kleinere, goedkopere AI-modellen werden zelfs slechter wanneer ze de "Superzicht"-data kregen. Het was alsocht het geven van te veel informatie aan een student; ze raakten overweldigd en in de war.

5. Waarom Faalden Ze?

De onderzoekers vonden drie hoofdoorzaken waarom de AI vastliep:

Tijd tekortkomen: De AI kreeg 50 stappen om een taak te voltooien. Bij complexe klussen gebruikte de AI al 50 stappen alleen maar om uit te zoeken waar hij moest klikken, waardoor er geen tijd overbleef om de klus te klaren.
Verdwalen: De AI opende de verkeerde app of kwam vast te zitten in een loop, waarbij hij steeds weer op dezelfde knop klikte.
Het "Coördinaat"-Probleem: In de "Alleen Visueel"-modus gokte de AI vaak de verkeerde plek op het scherm om te tikken, alsof hij probeerde een bal te vangen in het donker.

De Kernboodschap

iOSWorld is de eerste keer dat we telefoonassistenten hebben getest in een realistische, verbonden omgeving die het digitale leven van een echt mens nabootst.

Het paper concludeert dat hoewel AI beter wordt in het bekijken van een scherm en het klikken op knoppen, het nog niet slim genoeg is om een echt "persoonlijk intelligente" assistent te zijn die jouw geschiedenis, je geld en je relaties over verschillende apps heen begrijpt. Het moet beter worden in plannen, onthouden en het leggen van verbanden voordat het echt een menselijke assistent kan vervangen.

Het goede nieuws? De onderzoekers hebben al hun code en het "spel" gratis vrijgegeven, zodat andere wetenschappers betere assistenten kunnen bouwen met behulp van deze nieuwe speeltuin.

Technische Samenvatting: iOSWorld

Probleemstelling

Huidige benchmarks voor mobiele digitale agenten falen grotendeels in het evalueren van persoonlijke intelligentie. Bestaande frameworks (bijv. AndroidWorld, WebArena, OSWorld) opereren doorgaans in onpersoonlijke sandboxes waar agenten geïsoleerde instructies uitvoeren zonder toegang tot een persistente gebruikersidentiteit, geschiedenis of cross-applicatie datacontinuïteit. Een werkelijk nuttige telefoonagent moet redeneren over de specifieke identiteit, voorkeuren en geaccumuleerde data (transacties, berichten, reisgegevens) van een gebruiker zoals die op het apparaat bestaan. Bovendien, hoewel er interactieve benchmarks bestaan voor Android, is er een aanzienlijke kloof in de native iOS-evaluatie. iOS verschilt fundamenteel van Android wat betreft het UI-framework, navigatiepatronen en het gebrek aan open-source toegankelijkheidsinstrumenten, waardoor direct porten van Android-benchmarks ontoereikend is.

Methodologie

De iOSWorld Omgeving

De auteurs introduceren iOSWorld, de eerste interactieve native iOS-simulator benchmark gebouwd rond een enkele, persistente gebruikersidentiteit ("Jordan Avery") verspreid over 26 op maat gemaakte iOS-applicaties.

Data-interconnectiviteit: De 26 apps (dekend domeinen zoals financiën, reizen, eten, messaging en productiviteit) delen verbonden data. Bijvoorbeeld: een voedselbestelling in één app genereert een bankafschrijving en een ontvangst-e-mail in andere apps; een vluchtboeking sluit aan bij hotelreserveringen en kalenderherinneringen in verschillende apps.
Taakcategorieën: De benchmark bevat 133 taken verdeeld over drie categorieën van toenemende moeilijkheid:
1. Single-App (27 taken): Basale navigatie en interactie binnen een enkele applicatie.
2. Multi-App (60 taken): Taken die informatieoverdracht vereisen tussen 2 tot 8 applicaties (bijv. een bestelling controleren in één app, de afschrijving vinden in een andere, en de ontvangst-e-mail lokaliseren in een derde).
3. Geheugen & Personalisatie (46 taken): Taken waarbij de agent latente patronen uit persoonlijke data moet afleiden zonder expliciete instructies (bijv. "Wat is mijn meest gebruikelijke route naar het werk?" of "Vind mijn meest bestelde restaurant").
Observatiemodaliteiten: Agenten worden geëvalueerd onder twee instellingen om visuele grounding te scheiden van geprivilegieerde toegang:
- Vision-Only: De agent ontvangt alleen screenshots (geresize naar 706×1536) en moet visueel UI-elementen identificeren en coördinaten schatten.
- Vision+XML: De agent ontvangt screenshots plus een opgeschoonde accessibility tree (XML) geëxtraheerd via Apple's XCUITest framework. Dit biedt gestructureerde data over elementtypen, labels en genormaliseerde coördinaten, wat een geprivilegieerde toegang simuleert die niet beschikbaar is voor gedistribueerde consumentenagenten.
Actieruimte: Acties worden vertaald van provider-specifieke vocabulaires (bijv. "click" wordt "tap xy"). In Vision+XML-modus kunnen agenten accessibility identifiers gebruiken voor precieze targeting en apps direct lanceren via bundle identifiers, waarbij de visuele home-screen navigatie wordt omzeild.

Evaluatieprotocol

Geëvalueerde Modellen: Vijf frontier computer-use modellen (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, GPT-5.4 Mini, Gemini 3 Flash) en één open-source baseline (Qwen3.5 35B-A3B).
Scoring: Een trajectory-level LLM-as-a-Judge (GPT-5.4 Mini) evalueert de volledige agent-trajectory tegen rubric-criteria. Menselijke validatie op 128 trajectories bevestigde een substantiële overeenstemming ( $\kappa=0.77$ ) tussen de geautomatiseerde rechter en menselijke annotatoren.
Restricties: Alle runs zijn beperkt tot een budget van 50 stappen.

Belangrijkste Bijdragen

Eerste Native iOS Benchmark met Persistente Identiteit: iOSWorld biedt een dynamische simulator met 26 onderling verbonden apps en één gebruikerspersona, wat het gebrek aan personalisatie in bestaande mobiele benchmarks adresseert.
Uitgebreide Taakset: De release omvat 133 taken over single-app, multi-app, en memory/personalisatie categorieën, inclusief een schema voor het toevoegen van nieuwe taken en het zaaien van gepersonaliseerde data.
Vergelijking van Modaliteiten: Het werk evalueert de impact van geprivilegieerde toegankelijkheidsdata (XML) versus pure visie, wat duidelijke prestatiekloven tussen modelgroottes onthult.
Open-Source Release: De auteurs publiceren alle 26 apps, seed-data, taken, rubrics, evaluatiecode en een AWS-runner (EC2-beheerde Mac-instances) om reproduceerbaarheid voor niet-Mac onderzoekers mogelijk te maken.

Resultaten

Algemene Prestaties

Beste Configuratie: De beste algemene configuratie (Opus 4.6 met Vision+XML) bereikt een pass rate van 52%.
Uitsplitsing per Categorie:
- Single-App: 82% (Opus 4.6, Vision+XML)
- Memory/Personalisatie: 54% (Opus 4.6, Vision+XML)
- Multi-App: 37% (Opus 4.6, Vision+XML)
Baseline: De open-source Qwen3.5 35B-A3B behaalt slechts 11% totaal in de Vision+XML setting.

Impact van Geprivilegieerde Toegang (Vision+XML)

Frontier Modellen: Toegang tot de accessibility tree verbetert de prestaties aanzienlijk voor grotere modellen. Opus 4.6 verbetert met +25,6 procentpunten (26% $\to$ 52%), Sonnet 4.6 met +18,0 pp, en GPT-5.4 met +19,5 pp.
Kleinere Modellen: Kleinere modellen (GPT-5.4 Mini, Qwen3.5) profiteren niet van de extra XML-context; sterker nog, hun prestaties verslechteren vaak (bijv. Qwen3.5 daalt van 13% naar 11%, en GPT-5.4 Mini daalt van 26% naar 16%). De auteurs schrijven dit toe aan context overflow, waarbij de toegevoegde ~3.100 tokens per stap de effectieve capaciteit van het model overschrijden, wat leidt tot actie-loops of verwarring.

Foutanalyse

Budget Uitputting: 51% van de fouten van frontier modellen komt voort uit het overschrijden van het 50-stappen budget, met name bij multi-app en memory taken.
Veelvoorkomende Foutmodi:
- Vision-Only: Agenten falen vaak in het correct schatten van coördinaten, blijven hangen op kleine UI-elementen (bijv. betaalopties) of slagen er niet in om betrouwbaar van app te wisselen.
- Vision+XML: Hoewel coördinatiefouten worden geëlimineerd, hebben agenten nog steeds moeite met multi-step planning en raken ze vaak gevangen in actie-loops (vooral Qwen3.5).
Stap-efficiëntie: Gemini 3 Flash is de meest stap-efficiënte (gemiddeld 21 stappen/taak), terwijl Anthropic en OpenAI modellen gemiddeld 42–45 stappen nodig hebben.

Betekenis en Claims

Het artikel claimt dat iOSWorld een noodzakelijk fundament legt voor onderzoek naar persoonlijk intelligente agenten. Het demonstreert dat hoewel frontier modellen eenvoudige single-app interacties kunnen afhandelen, ze aanzienlijk worstelen met de continuïteit en het redeneren die vereist zijn voor multi-app en personalisatie taken.

De auteurs benadrukken dat de kloof tussen de huidige capaciteiten en bruikbare persoonlijke agenten niet alleen een kwestie is van visuele grounding, maar ook van planning en geheugen. De resultaten suggereren dat:

Geprivilegieerde Toegang een Tweesnijdend Zwaard is: Hoewel accessibility trees visuele grounding problemen oplossen voor grote modellen, kunnen ze kleinere modellen overweldigen, wat wijst op een behoefte aan beter contextbeheer of gestructureerde tool-interfaces (zoals getoond door Qwen3.5 die verbetert met MCP tools).
Multi-App Redeneren de Bottleneck is: Zelfs de beste modellen slagen slechts in 37% van de multi-app taken, wat de moeilijkheid benadrukt van het behouden van de staat en het overdragen van informatie over gedisjointe applicatiegrenzen heen.
Personalisatie Cruciaal is: De benchmark bewijst dat agenten niet uitsluitend op geïsoleerde taken kunnen worden geëvalueerd; hun vermogen om te redeneren over de geschiedenis en voorkeuren van een gebruiker is een distinct en uitdagende capaciteit die huidige benchmarks negeren.

De auteurs concluderen dat het dichten van de kloof naar bruikbare implementatie een sterkere loop-recovery, betere visuele grounding en planning-mechanismen vereist die expliciet bewust zijn van de gebruikersgeschiedenis. Zij positioneren iOSWorld als een instrument om deze research vooruit te helpen, door een gecontroleerde omgeving te bieden om personalisatie te testen zonder de privacyrisico's van echte gebruikersdata.