💬 NLP

iOSWorld: A Benchmark for Personally Intelligent Phone Agents

Questo articolo introduce iOSWorld, il primo benchmark di simulatore iOS nativo interattivo caratterizzato da 26 app interconnesse e un'identità utente persistente per valutare agenti telefonici intelligentemente personali, rivelando che sebbene l'accesso privilegiato a visione+XML aumenti significativamente le prestazioni dei modelli all'avanguardia, gli agenti attuali faticano ancora con compiti complessi multi-app e di personalizzazione.

Autori originali: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente digitale che vive all'interno del tuo telefono. In questo momento, la maggior parte di questi assistenti sono come turisti amnesici. Possono seguire perfettamente un singolo comando — come "accendi la torcia" — ma se chiedi loro di "pianificare la mia settimana in base alle mie abitudini, al mio saldo bancario e ai miei messaggi", si perdono. Non sanno chi sei, non ricordano la tua storia e non sanno collegare i puntini tra le tue diverse app.

Il documento "iOSWorld" introduce un nuovo modo per testare se l'assistente di un telefono sia effettivamente abbastanza intelligente da essere il tuo aiuto personale. Ecco la suddivisione in termini semplici:

1. Il Problema: Il "Foglio Bianco" vs. La "Vita Reale"

I test attuali per gli assistenti telefonici sono come dare a qualcuno un quaderno bianco e chiedere di scrivere una storia. Possono scrivere una frase, ma non hanno una storia pregressa.

La Realtà: Il tuo telefono è pieno di una vita intera di dati: le tue transazioni bancarie, i tuoi programmi di viaggio, i nomi dei tuoi amici e i tuoi ristoranti preferiti. Un assistente davvero utile deve conoscere tutto questo.
Il Divario: Nessuno aveva un modo per testare se un'IA potesse effettivamente navigare in questa vita reale, disordinata e connessa. La maggior parte dei test guardava solo a compiti isolati su telefoni Android, ignorando il modo unico in cui funzionano gli iPhone (iOS).

2. La Soluzione: Costruire "iOSWorld"

I ricercatori hanno costruito un gigantesco videogioco interattivo che imita un vero iPhone.

Il Personaggio: Hanno creato una persona fittizia di nome Jordan Avery, un trentunenne che vive a San Francisco.
Il Mondo: Hanno costruito 26 app personalizzate per Jordan (come un falso Uber, una falsa banca, una falsa email e una falsa app di consegna cibo).
La Magia: Queste app sono tutte collegate. Se Jordan ordina un burrito sull'app "QuickBite", l'app "MyBank" mostra automaticamente un addebito e l'app "Mail" riceve una ricevuta. Se Jordan prenota un volo su "SkyTrip", l'app "Notes" ha un promemoria per esso.
L'Obiettivo: Hanno dato all'IA 133 missioni diverse. Alcune erano semplici (ordina un caffè), ma molte erano complesse (controlla il tuo saldo bancario, trova la ricevuta di quel caffè e avvisa il tuo capo che sei in ritardo in base al tuo calendario).

3. Il Test: Due Modi per Guardare il Telefono

Per vedere quanto sia intelligente l'IA, l'hanno testata in due diversi "modi", come dare a un essere umano un test con o senza un foglio con le soluzioni:

Modalità A: Solo Visione (Il Test "Al Buio")
L'IA vede solo gli screenshot dello schermo, proprio come un essere umano. Deve indovinare dove si trovano i pulsanti e capire cosa sta succedendo guardando le immagini.
- Analogia: Come cercare di risolvere un puzzle guardando solo una foto sfocata del puzzle stesso.
Modalità B: Visione + XML (Il Test "Super-Vista")
L'IA vede gli screenshot più un elenco di testo nascosto (chiamato albero di accessibilità) che dice esattamente come si chiama ogni pulsante e dove si trova.
- Analogia: Come guardare il puzzle con un evidenziatore luminoso che punta ogni pezzo e dice: "Questo è il pezzo del cielo, questo è il pezzo dell'albero".

4. I Risultati: Chi ha Superato il Test?

Hanno testato i modelli di IA più intelligenti disponibili (i modelli "frontier") e un modello open-source.

La Buona Notizia: Quando l'IA aveva la "Super-Vista" (Visione + XML), i modelli più intelligenti sono migliorati molto. Potevano finalmente navigare nelle app correttamente. Un modello (Opus) è passato dal completare correttamente il 26% dei compiti al 52%.
La Cattiva Notizia: Anche con la migliore configurazione, l'IA ha comunque faticato con i compiti più difficili.
- Compiti a Singola App: Sono andati molto bene (82% di successo).
- Compiti Multi-App: Hanno faticato (37% di successo). Collegare i puntini tra 3 o 4 app diverse era troppo difficile.
- Compiti di Memoria: Erano discreti (54% di successo), ma spesso dimenticavano i dettagli.
Il Problema dei "Modelli Piccoli": I modelli di IA più piccoli e meno costosi sono in realtà peggiorati quando ricevevano i dati "Super-Vista". Era come dare a uno studente troppe informazioni; sono stati sopraffatti e confusi.

5. Perché sono Falliti?

I ricercatori hanno scoperto tre ragioni principali per cui l'IA si è bloccata:

Esaurire il Tempo: All'IA venivano dati 50 passaggi per finire un compito. Nei lavori complessi, consumava tutti i 50 passaggi solo cercando di capire dove cliccare, lasciando poco tempo per finire il lavoro.
Perdersi: L'IA apriva l'app sbagliata o rimaneva intrappolata in un loop, cliccando ripetutamente lo stesso pulsante.
Il Problema delle "Coordinate": Nella modalità "Solo Visione", l'IA spesso sbagliava il punto dello schermo da toccare, come cercare di prendere una palla al buio.

Il Punto Fondamentale

iOSWorld è la prima volta che testiamo gli assistenti telefonici in un ambiente realistico e connesso che imita la vita digitale di un vero essere umano.

Il documento conclude che, sebbene l'IA stia diventando più brava a guardare uno schermo e a cliccare pulsanti, non è ancora abbastanza intelligente per essere un assistente veramente "personalmente intelligente" che comprenda la tua storia, i tuoi soldi e le tue relazioni attraverso diverse app. Deve migliorare nella pianificazione, nella memoria e nel collegare i puntini prima di poter davvero sostituire un assistente umano.

La buona notizia? I ricercatori hanno rilasciato gratuitamente tutto il loro codice e il "gioco", così altri scienziati possono provare a costruire assistenti migliori usando questo nuovo parco giochi.

Riepilogo Tecnico: iOSWorld

Problematica

Gli attuali benchmark per gli agenti digitali mobili falliscono ampiamente nel valutare l'intelligenza personale. Gli framework esistenti (ad es. AndroidWorld, WebArena, OSWorld) operano tipicamente in sandbox impersonali in cui gli agenti eseguono istruzioni isolate senza accesso a un'identità utente persistente, alla cronologia o alla continuità dei dati tra le applicazioni. Un vero agente telefonico deve ragionare sulla specifica identità dell'utente, sulle sue preferenze e sui dati accumulati (transazioni, messaggi, record di viaggio) così come esistono sul dispositivo. Inoltre, sebbene esistano benchmark interattivi per Android, esiste una lacuna significativa nella valutazione nativa di iOS. iOS differisce fondamentalmente da Android per il suo framework UI, i modelli di navigazione e la mancanza di strumenti di accessibilità open-source, rendendo insufficiente il semplice porting dei benchmark di Android.

Metodologia

L'ambiente iOSWorld

Gli autori introducono iOSWorld, il primo benchmark per simulatore nativo iOS interattivo costruito attorno a un'unica identità utente persistente ("Jordan Avery") che si estende su 26 applicazioni iOS create ad hoc.

Interconnettività dei dati: Le 26 app (che coprono domini come finanza, viaggi, cibo, messaggistica e produttività) condividono dati connessi. Ad esempio, un ordine di cibo in un'app genera un addebvo bancario e una ricevuta via email in altre app; la prenotazione di un volo si allinea con le prenotazioni alberghiere e i promemoria del calendario in diverse app.
Categorie di task: Il benchmark include 133 task divisi in tre categorie di difficoltà crescente:
1. Single-App (27 task): Navigazione e interazione di base all'interno di una singola applicazione.
2. Multi-App (60 task): Task che richiedono il trasferimento di informazioni tra 2 e 8 applicazioni (ad es. controllare un ordine in un'app, trovare l'addebvo in un'altra e localizzare l'email della ricevuta in una terza).
3. Memoria e Personalizzazione (46 task): Task che richiedono all'agente di inferire pattern latenti dai dati personali senza istruzioni esplicite (ad es. "Qual è il mio percorso abituale per il tragitto casa-lavoro?" o "Trova il mio ristorante preferito").
Modalità di osservazione: Gli agenti sono valutati sotto due configurazioni per separare il grounding visivo dall'accesso privilegiato:
- Solo Visione: L'agente riceve solo screenshot (ridimensionati a 706×1536) e deve identificare visivamente gli elementi dell'interfaccia utente e stimare le coordinate.
- Vision+XML: L'agente riceve screenshot più un albero di accessibilità (XML) pulito, estratto tramite il framework XCUITest di Apple. Questo fornisce dati strutturati su tipi di elementi, etichette e coordinate normalizzate, simulando l'accesso privilegiato non disponibile per gli agenti consumer distribuiti.
Spazio delle azioni: Le azioni vengono tradotte da vocabolari specifici del provider (ad es. "click" diventa "tap xy"). Nella modalità Vision+XML, gli agenti possono utilizzare gli identificatori di accessibilità per un targeting preciso e avviare le app direttamente tramite bundle identifier, bypassando la navigazione visiva della home screen.

Protocollo di Valutazione

Modelli Valutati: Cinque modelli frontier di computer-use (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, GPT-5.4 Mini, Gemini 3 Flash) e un baseline open-source (Qwen3.5 35B-A3B).
Scoring: Un sistema LLM-as-a-Judge a livello di traiettoria (GPT-5.4 Mini) valuta l'intera traiettoria dell'agente rispetto ai criteri della rubrica. La validazione umana su 128 traiettorie ha confermato un accordo sostanziale ( $\kappa=0.77$ ) tra il giudice automatizzato e gli annotatori umani.
Vincoli: Tutte le esecuzioni sono limitate a un budget di 50 step.

Contributi Chiave

Primo Benchmark Nativo iOS con Identità Persistente: iOSWorld fornisce un simulatore dinamico con 26 app interconnesse e un singolo persona utente, affrontando la mancanza di personalizzazione nei benchmark mobili esistenti.
Suite di Task Completa: Il rilascio include 133 task tra categorie single-app, multi-app e memoria/personalizzazione, con uno schema per aggiungere nuovi task e seminare dati personalizzati.
Confronto tra Modalità: Il lavoro valuta l'impatto dei dati di accessibilità privilegiati (XML) rispetto alla pura visione, rivelando distinti gap di performance tra le dimensioni dei modelli.
Rilascio Open-Source: Gli autori rilasciano tutte le 26 app, i dati seed, i task, le rubriche, il codice di valutazione e un AWS-runner (istanze Mac gestite da EC2) per consentire la riproducibilità anche a ricercatori che non possiedono Mac.

Risultati

Performance Complessiva

Migliore Configurazione: La migliore configurazione complessiva (Opus 4.6 con Vision+XML) raggiunge un tasso di successo del 52%.
Suddivisione per Categoria:
- Single-App: 82% (Opus 4.6, Vision+XML)
- Memoria/Personalizzazione: 54% (Opus 4.6, Vision+XML)
- Multi-App: 37% (Opus 4.6, Vision+XML)
Baseline: Il modello open-source Qwen3.5 35B-A3B raggiunge solo l'11% complessivo nella configurazione Vision+XML.

Impatto dell'Accesso Privilegiato (Vision+XML)

Modelli Frontier: L'accesso all'albero di accessibilità migliora significativamente le prestazioni per i modelli più grandi. Opus 4.6 migliora di +25,6 punti percentuali (26% $\to$ 52%), Sonnet 4.6 di +18,0 pp e GPT-5.4 di +19,5 pp.
Modelli Più Piccoli: I modelli più piccoli (GPT-5.4 Mini, Qwen3.5) non beneficiano del contesto XML aggiuntivo; anzi, le loro prestazioni spesso degradano (ad es. Qwen3.5 scende dal 13% all'11%, e GPT-5.4 Mini scende dal 26% al 16%). Gli autori attribuiscono questo fenomeno al context overflow, dove i circa 3.100 token aggiunti per step superano la capacità effettiva del modello, portando a loop di azioni o confusione.

Analisi dei Fallimenti

Esaurimento del Budget: Il 51% dei fallimenti dei modelli frontier è dovuto all'esaurimento del budget di 50 step, particolarmente nei task multi-app e di memoria.
Modalità di Fallimento Comuni:
- Solo Visione: Gli agenti falliscono frequentemente nella stima delle coordinate, rimangono bloccati su piccoli elementi UI (ad es. toggle di pagamento) o non riescono a cambiare app in modo affidabile.
- Vision+XML: Sebbene gli errori di coordinata vengano eliminati, gli agenti faticano ancora con la pianificazione multi-step e spesso rimangono intrappolati in loop di azioni (specialmente Qwen3.5).
Efficienza dei Passaggi: Gemini 3 Flash è il più efficiente in termini di step (media di 21 step/task), mentre i modelli Anthropic e OpenAI mediano 42–45 step.

Significato e Rivendicazioni

Il paper sostiene che iOSWorld stabilisce una base necessaria per la ricerca sugli agenti con intelligenza personale. Dimostra che, sebbene i modelli frontier possano gestire interazioni di base in singola app, faticano significatamente con la continuità e il ragionamento richiesti dai task multi-app e di personalizzazione.

Gli autori sottolineano che il divario tra le capacità attuali e gli agenti personali utili non è solo una questione di grounding visivo, ma anche di pianificazione e memoria. I risultati suggeriscono che:

L'Accesso Privilegiato è un'Arma a Doppio Taglio: Sebbene gli alberi di accessibilità risolvano i problemi di grounding visivo per i modelli grandi, possono sovraccaricare i modelli più piccoli, indicando la necessità di una migliore gestione del contesto o di interfacce di strumenti strutturate (come dimostrato da Qwen3.5 che migliora con gli strumenti MCP).
Il Ragionamento Multi-App è il Collo di Bottiglia: Anche i migliori modelli hanno successo solo nel 37% dei task multi-app, evidenziando la difficoltà di mantenere lo stato e trasferire informazioni attraverso confini applicativi disgiunti.
La Personalizzazione è Critica: Il benchmark dimosta che gli agenti non possono essere valutati solo su task isolati; la loro capacità di ragionare sulla cronologia e sulle preferenze dell'utente è una capacità distinta e impegnativa che gli attuali benchmark ignorano.

Gli autori concludono che colmare il divario verso una distribuzione utile richiederà una migliore capacità di recupero dai loop, un miglior grounding visivo e meccanismi di pianificazione che siano esplicitamente consapevoli della cronologia dell'utente. Posizionano iOSWorld come uno strumento per guidare questa ricerca, offrendo un ambiente controllato per testare la personalizzazione senza i rischi per la privacy legati ai dati reali degli utenti.