💬 NLP

iOSWorld: A Benchmark for Personally Intelligent Phone Agents

Este artigo apresenta o iOSWorld, o primeiro benchmark de simulador nativo de iOS interativo apresentando 26 aplicativos interconectados e uma identidade de usuário persistente para avaliar agentes de telefone pessoalmente inteligentes, revelando que, embora o acesso privilegiado a visão+XML aumente significativamente o desempenho dos modelos de fronteira, os agentes atuais ainda têm dificuldades com tarefas complexas de múltiplos aplicativos e personalização.

Autores originais: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente digital que vive dentro do seu telefone. No momento, a maioria desses assistentes é como um turista amnésico. Eles conseguem seguir uma instrução única perfeitamente — como "ligar a lanterna" — mas se você pedir para "planejar minha semana com base nos meus hábitos habituais, no meu saldo bancário e nas minhas mensagens de texto", eles se perdem. Eles não sabem quem você é, não se lembram do seu histórico e não conseguem conectar os pontos entre seus diferentes aplicativos.

O artigo "iOSWorld" introduz uma nova maneira de testar se um assistente de celular é realmente inteligente o suficiente para ser seu ajudante pessoal. Aqui está o detalhamento em termos simples:

1. O Problema: A "Folha em Branco" vs. A "Vida Real"

Os testes atuais para assistentes de celular são como dar a alguém um caderno em branco e pedir para escrever uma história. Eles conseguem escrever uma frase, mas não têm um contexto prévio.

A Realidade: Seu telefone está cheio de dados de uma vida inteira: suas transações bancárias, seus planos de viagem, os nomes dos seus amigos e seus restaurantes favoritos. Um assistente verdadeiramente útil precisa conhecer tudo isso.
A Lacuna: Ninguém tinha uma maneira de testar se uma IA poderia realmente navegar nessa vida real, bagunçada e conectada. A maioria dos testes apenas olhava para tarefas isoladas em telefones Android, ignorando a maneira única como os iPhones (iOS) funcionam.

2. A Solução: Construindo o "iOSWorld"

Os pesquisadores construíram um videogame interativo gigante que imita um iPhone real.

O Personagem: Eles criaram uma pessoa fictícia chamada Jordan Avery, um(a) jovem de 31 anos que vive em San Francisco.
O Mundo: Eles construíram 26 aplicativos personalizados para Jordan (como um Uber falso, um banco falso, um e-mail falso e um aplicativo de entrega de comida falso).
A Magia: Esses aplicativos estão todos conectados. Se Jordan pede um burrito no aplicativo "QuickBite", o aplicativo "MyBank" mostra automaticamente uma cobrança, e o "Mail" recebe um recibo. Se Jordan reserva um voo no "SkyTrip", o aplicativo "Notes" tem um lembrete para isso.
O Objetivo: Eles deram à IA 133 missões diferentes. Algumas eram simples (pedir um café), mas muitas eram complexas (verificar seu saldo bancário, encontrar o recibo daquele café e avisar seu chefe que você vai se atrasar com base no seu calendário).

3. O Teste: Duas Maneiras de Olhar para o Telefone

Para ver o quão inteligente a IA realmente é, eles a testaram em dois "modos" diferentes, como dar a um humano um teste com ou sem uma folha de cola:

Modo A: Apenas Visão (O Teste "Cego")
A IA vê apenas capturas de tela (screenshots) da tela, exatamente como um humano faz. Ela tem que adivinhar onde estão os botões e entender o que está acontecendo apenas olhando para as imagens.
- Analogia: Como tentar resolver um quebra-cabeça olhando apenas para uma foto borrada dele.
Modo B: Visão + XML (O Teste de "Super-Visão")
A IA vê as capturas de tela mais uma lista de texto oculta (chamada de árvore de acessibilidade) que diz exatamente o que cada botão é e onde ele está.
- Analogia: Como olhar para o quebra-cabeça com um marca-texto brilhante que aponta para cada peça e diz: "Esta é a peça do céu, esta é a peça da árvore".

4. Os Resultados: Quem Passou no Teste?

Eles testaram os modelos de IA mais inteligentes disponíveis (os modelos de "fronteira") e um modelo de código aberto.

A Boa Notícia: Quando a IA tinha "Super-Visão" (Visão + XML), os modelos mais inteligentes melhoraram muito. Eles finalmente conseguiram navegar nos aplicativos corretamente. Um modelo (Opus) saltou de acertar 26% das tarefas para 52% de acerto.
A Má Notícia: Mesmo com a melhor configuração, a IA ainda teve dificuldades com as tarefas mais difíceis.
- Tarefas de Aplicativo Único: Eles foram muito bem (82% de sucesso).
- Tarefas de Múltiplos Aplicativos: Eles tiveram dificuldades (37% de sucesso). Conectar os pontos entre 3 ou 4 aplicativos diferentes era difícil demais.
- Tarefas de Memória: Eles foram razoáveis (54% de sucesso), mas frequentemente esqueciam os detalhes.
O Problema do "Modelo Pequeno": Modelos de IA menores e mais baratos ficaram até piores quando receberam os dados de "Super-Visão". Foi como dar informação demais para um aluno; eles ficaram sobrecarregados e confusos.

5. Por Que Eles Falharam?

Os pesquisadores descobriram três razões principais pelas quais a IA travou:

Ficar Sem Tempo: A IA recebeu 50 etapas para concluir uma tarefa. Em trabalhos complexos, ela usava todas as 50 etapas apenas tentando descobrir onde clicar, não restando tempo para terminar o trabalho.
Perder-se: A IA abria o aplicativo errado ou ficava presa em um loop, clicando no mesmo botão repetidamente.
O Problema da "Coordenada": No modo "Apenas Visão", a IA frequentemente errava o local na tela para tocar, como tentar pegar uma bola no escuro.

A Conclusão

iOSWorld é a primeira vez que testamos assistentes de celular em um ambiente realista e conectado que imita a vida digital de um humano real.

O artigo conclui que, embora a IA esteja ficando melhor em olhar para uma tela e clicar em botões, ela ainda não é inteligente o suficiente para ser um assistente verdadeiramente "pessoalmente inteligente" que entenda seu histórico, seu dinheiro e seus relacionamentos através de diferentes aplicativos. Ela precisa melhorar no planejamento, na memória e na conexão de pontos antes de poder realmente substituir um assistente humano.

A boa notícia? Os pesquisadores liberaram todo o código e o "jogo" gratuitamente, para que outros cientistas possam tentar construir assistentes melhores usando este novo campo de testes.

Resumo Técnico: iOSWorld

Declaração do Problema

Os benchmarks atuais para agentes digitais móveis falham amplamente em avaliar a inteligência pessoal. Os frameworks existentes (ex: AndroidWorld, WebArena, OSWorld) operam tipicamente em sandboxes impessoais onde os agentes executam instruções isoladas sem acesso a uma identidade de usuário persistente, histórico ou continuidade de dados entre aplicativos. Um agente de telefone verdadeiramente útil deve raciocinar sobre a identidade específica de um usuário, suas preferências e dados acumulados (transações, mensagens, registros de viagem) conforme existem no dispositivo. Além disso, embora existam benchmarks interativos para Android, há uma lacuna significativa na avaliação nativa de iOS. O iOS difere fundamentalmente do Android em seu framework de UI, padrões de navegação e na falta de ferramentas de acessibilidade de código aberto, tornando a portabilidade direta de benchmarks de Android insuficiente.

Metodologia

O Ambiente iOSWorld

Os autores apresentam o iOSWorld, o primeiro benchmark de simulador nativo de iOS interativo construído em torno de uma única identidade de usuário persistente ("Jordan Avery") abrangendo 26 aplicativos iOS criados sob medida.

Interconectividade de Dados: Os 26 aplicativos (cobrindo domínios como finanças, viagens, alimentação, mensagens e produtividade) compartilham dados conectados. Por exemplo, um pedido de comida em um aplicativo gera uma cobranção bancária e um e-mail de recibo em outros; uma reserva de voo alinha-se com reservas de hotel e lembretes de calendário em diferentes aplicativos.
Categorias de Tarefas: O benchmark inclui 133 tarefas divididas em três categorias de dificuldade crescente:
1. Aplicativo Único (27 tarefas): Navegação básica e interação dentro de um único aplicativo.
2. Multi-Aplicativo (60 tarefas): Tarefas que exigem transferência de informações entre 2 a 8 aplicativos (ex: verificar um pedido em um aplicativo, encontrar a cobrança em outro e localizar o e-mail do recibo em um terceiro).
3. Memória e Personalização (46 tarefas): Tarefas que exigem que o agente infira padrões latentes a partir de dados pessoais sem instruções explícitas (ex: "Qual é a minha rota de deslocamento mais comum?" ou "Encontre o meu restaurante mais pedido frequentemente").
Modalidades de Observação: Os agentes são avaliados sob duas configurações para separar o embasamento visual do acesso privilegiado:
- Apenas Visão (Vision-Only): O agente recebe apenas capturas de tela (redimensionadas para 706×1536) e deve identificar visualmente elementos de UI e estimar coordenadas.
- Visão + XML (Vision+XML): O agente recebe capturas de tela mais uma árvore de acessibilidade limpa (XML) extraída via framework XCUITest da Apple. Isso fornece dados estruturados sobre tipos de elementos, rótulos e coordenadas normalizadas, simulando o acesso privilegiado indisponível para agentes de consumo implantados.
Espaço de Ação: As ações são traduzidas de vocabulários específicos de provedores (ex: "click" torna-se "tap xy"). No modo Vision+XML, os agentes podem usar identificadores de acessibilidade para direcionamento preciso e lançar aplicativos diretamente via identificadores de bundle, contornando a navegação visual da tela inicial.

Protocolo de Avaliação

Modelos Avaliados: Cinco modelos de fronteira de uso de computador (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, GPT-5.4 Mini, Gemini 3 Flash) e uma linha de base de código aberto (Qwen3.5 35B-A3B).
Pontuação: Um LLM-as-a-Judge (GPT-5.4 Mini) ao nível de trajetória avalia a trajetória completa do agente contra critérios de rubrica. A validação humana em 128 trajetórias confirmou um acordo substancial ( $\kappa=0.77$ ) entre o juiz automatizado e os anotadores humanos.
Restrições: Todas as execuções são limitadas a um orçamento de 50 passos.

Principais Contribuições

Primeiro Benchmark Nativo de iOS com Identidade Persistente: O iOSWorld fornece um simulador dinâmico com 26 aplicativos interconectados e uma persona de usuário única, abordando a falta de personalização nos benchmarks móveis existentes.
Suíte de Tarefas Abrangente: O lançamento inclui 133 tarefas através de categorias de aplicativo único, multi-aplicativo e memória/personalização, com um esquema para adicionar novas tarefas e semear dados personalizados.
Comparação de Modalidade: O trabalho avalia o impacto dos dados de acessibilidade privilegiados (XML) versus visão pura, revelando lacunas de desempenho distintas entre tamanhos de modelos.
Lançamento de Código Aberto: Os autores liberam todos os 26 aplicativos, dados de semente, tarefas, rubricas, código de avaliação e um executor AWS (instâncias Mac gerenciadas por EC2) para permitir a reprodutibilidade para pesquisadores que não possuem Mac.

Resultados

Desempenho Geral

Melhor Configuração: A melhor configuração geral (Opus 4.6 com Vision+XML) atinge uma taxa de sucesso de 52%.
Detalhamento por Categoria:
- Aplicativo Único: 82% (Opus 4.6, Vision+XML)
- Memória/Personalização: 54% (Opus 4.6, Vision+XML)
- Multi-Aplicativo: 37% (Opus 4.6, Vision+XML)
Linha de Base: O Qwen3.5 35B-A3B de código aberto atinge apenas 11% no total na configuração Vision+XML.

Impacto do Acesso Privilegiado (Vision+XML)

Modelos de Fronteira: O acesso à árvore de acessibilidade melhora significativamente o desempenho para modelos maiores. O Opus 4.6 melhora em +25,6 pontos percentuais (26% $\to$ 52%), o Sonnet 4.6 em +18,0 pp e o GPT-5.4 em +19,5 pp.
Modelos Menores: Modelos menores (GPT-5.4 Mini, Qwen3.5) não se beneficiam do contexto XML adicional; na verdade, seu desempenho muitas vezes degrada (ex: Qwen3.5 cai de 13% para 11%, e GPT-5.4 Mini cai de 26% para 16%). Os autores atribuem isso ao transbordamento de contexto, onde os aproximadamente 3.100 tokens adicionados por passo excedem a capacidade efetiva do modelo, levando a loops de ação ou confusão.

Análise de Falhas

Exaustão de Orçamento: 51% das falhas dos modelos de fronteira devem ao esgotamento do orçamento de 50 passos, particularmente em tarefas de multi-aplicativo e memória.
Modos Comuns de Falha:
- Apenas Visão (Vision-Only): Agentes falham frequentemente em estimar coordenadas corretamente, ficam presos em pequenos elementos de UI (ex: toggles de pagamento) ou falham em alternar aplicativos de forma confiável.
- Vision+XML: Embora os erros de coordenadas sejam eliminados, os agentes ainda lutam com planejamento de múltiplos passos e frequentemente ficam presos em loops de ação (especialmente o Qwen3.5).
Eficiência de Passos: O Gemini 3 Flash é o mais eficiente em passos (média de 21 passos/tarefa), enquanto os modelos Anthropic e OpenAI fazem média de 42–45 passos.

Significância e Alegações

O artigo afirma que o iOSWorld estabelece uma base necessária para a pesquisa em agentes pessoalmente inteligentes. Ele demonstra que, embora os modelos de fronteira possam lidar com interações básicas de aplicativo único, eles lutam significativamente com a continuidade e o raciocínio exigidos para tarefas de multi-aplicativo e personalização.

Os autores enfatem que a lacuna entre as capacidades atuais e agentes pessoais úteis não é apenas uma questão de embasamento visual, mas também de planejamento e memória. Os resultados sugerem que:

O Acesso Privilegiado é uma Faca de Dois Gumes: Embora as árvores de acessibilidade resolvam problemas de embasamento visual para modelos grandes, elas podem sobrecarregar modelos menores, indicando a necessidade de melhor gestão de contexto ou interfaces de ferramentas estruturadas (como mostrado pelo Qwen3.5 melhorando com ferramentas MCP).
O Raciocínio Multi-Aplicativo é o Gargalo: Mesmo os melhores modelos têm sucesso em apenas 37% das tarefas de multi-aplicativo, destacando a dificuldade de manter o estado e transferir informações através de fronteiras de aplicativos distintos.
A Personalização é Crítica: O benchmark prova que os agentes não podem ser avaliados apenas em tarefas isoladas; sua capacidade de raciocinar sobre o histórico e as preferências do usuário é uma capacidade distinta e desafiadora que os benchmarks atuais ignoram.

Os autores concluem que fechar a lacuna para o uso útil exigirá uma recuperação de loop mais forte, melhor embasamento visual e mecanismos de planejamento que sejam explicitamente conscientes do histórico do usuário. Eles posicionam o iOSWorld como uma ferramenta para impulsionar essa pesquisa, oferecendo um ambiente controlado para testar a personalização sem os riscos de privacidade dos dados reais de usuários.