💬 NLP

iOSWorld: A Benchmark for Personally Intelligent Phone Agents

Este artículo presenta iOSWorld, el primer benchmark de simulador nativo de iOS interactivo que cuenta con 26 aplicaciones interconectadas y una identidad de usuario persistente para evaluar agentes telefónicos personalmente inteligentes, revelando que si bien el acceso privilegiado a visión+XML mejora significativamente el rendimiento de los modelos de frontera, los agentes actuales aún tienen dificultades con las tareas complejas de múltiples aplicaciones y personalización.

Autores originales: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente digital que vive dentro de tu teléfono. En este momento, la mayoría de estos asistentes son como turistas con amnesia. Pueden seguir una instrucción única perfectamente —como "enciende la linterna"— pero si les pides que "planifiquen mi semana basándose en mis hábitos habituales, mi saldo bancario y mis mensajes de texto", se pierden. No saben quién eres, no recuerdan tu historial y no pueden conectar los puntos entre tus diferentes aplicaciones.

El artículo "iOSWorld" presenta una nueva forma de probar si el asistente de un teléfono es realmente lo suficientemente inteligente como para ser tu ayudante personal. Aquí está el desglose en términos sencillos:

1. El Problema: El "Lienzo en Blanco" vs. La "Vida Real"

Las pruebas actuales para los asistentes de teléfonos son como darle a alguien un cuaderno en blanco y pedirle que escriba una historia. Pueden escribir una frase, pero no tienen un trasfondo.

La Realidad: Tu teléfono está lleno de una vida entera de datos: tus transacciones bancarias, tus planes de viaje, los nombres de tus amigos y tus restaurantes favoritos. Un asistente verdaderamente útil necesita conocer todo esto.
La Brecha: Nadie tenía una forma de probar si una IA podía navegar realmente en esta vida real, desordenada y conectada. La mayoría de las pruebas solo analizaban tareas aisladas en teléfonos Android, ignorando la forma única en que funcionan los iPhones (iOS).

2. La Solución: Construyendo "iOSWorld"

Los investigadores construyeron un videojuego gigante e interactivo que imita a un iPhone real.

El Personaje: Crearon a una persona ficticia llamada Jordan Avery, de 31 años, que vive en San Francisco.
El Mundo: Construyeron 26 aplicaciones personalizadas para Jordan (como un Uber falso, un banco falso, un correo electrónico falso y una aplicación de entrega de comida falsa).
La Magia: Estas aplicaciones están conectadas entre sí. Si Jordan pide un burrito en la aplicación "QuickBite", la aplicación "MyBank" muestra automáticamente un cargo, y la aplicación "Mail" recibe un recibo. Si Jordan reserva un vuelo en "SkyTrip", la aplicación "Notes" tiene un recordatorio al respecto.
El Objetivo: Les dieron a la IA 133 misiones diferentes. Algunas eran simples (pedir un café), pero muchas eran complejas (revisar tu saldo bancario, encontrar el recibo de ese café y decirle a tu jefe que llegarás tarde basándote en tu calendario).

3. La Prueba: Dos Formas de Mirar el Teléfono

Para ver qué tan inteligente es la IA, la probaron en dos "modos" diferentes, como si le dieras a un humano un examen con o sin una hoja de trucos:

Modo A: Solo Visión (La prueba "Ciega")
La IA solo ve capturas de pantalla de la pantalla, tal como lo hace un humano. Tiene que adivinar dónde están los botones y entender qué está pasando mirando las imágenes.
- Analogía: Como intentar resolver un rompecabezas mirando solo una foto borrosa de este.
Modo B: Visión + XML (La prueba de "Súper Vista")
La IA ve las captoras de pantalla más una lista de texto oculta (llamada árbol de accesibilidad) que le dice exactamente qué es cada botón y dónde está.
- Analogía: Como mirar el rompecabezas con un resaltador brillante que señala cada pieza y dice: "Esta es la pieza del cielo, esta es la pieza del árbol".

4. Los Resultados: ¿Quién Pasó la Prueba?

Probaron los modelos de IA más inteligentes disponibles (los modelos "frontera") y un modelo de código abierto.

Las Buenas Noticias: Cuando la IA tenía "Súper Vista" (Visión + XML), los modelos más inteligentes mejoraron mucho. Finalmente podían navegar por las aplicaciones correctamente. Un modelo (Opus) pasó de completar correctamente el 26% de las tareas al 52%.
Las Malas Noticias: Incluso con la mejor configuración, la IA todavía tuvo dificultades con las tareas más difíciles.
- Tareas de una sola aplicación: Lo hicieron muy bien (82% de éxito).
- Tareas de múltiples aplicaciones: Tuvieron dificultades (37% de éxito). Conectar los puntos entre 3 o 4 aplicaciones diferentes era demasiado difícil.
- Tareas de memoria: Estuvieron bien (54% de éxito), pero a menudo olvidaban los detalles.
El "Problema de los Modelos Pequeños": Los modelos de IA más pequeños y económicos en realidad empeoraron cuando se les dio la información de "Súper Vista". Fue como darle a un estudiante demasiada información; se abrumaron y se confundieron.

5. ¿Por qué Fallaron?

Los investigadores encontraron tres razones principales por las que la IA se quedó estancada:

Quedarse sin Tiempo: Se le dieron a la IA 50 pasos para completar una tarea. En trabajos complejos, usaba todos los 50 pasos solo intentando averiguar dónde hacer clic, dejando sin tiempo para terminar el trabajo.
Perderse: La IA abría la aplicación incorrecta o se quedaba atrapada en un bucle, haciendo clic en el mismo botón una y otra vez.
El Problema de las "Coordenadas": En el modo "Solo Visión", la IA a menudo adivinaba el lugar equivero en la pantalla para tocar, como intentar atrapar una pelota en la oscuridad.

La Conclusión

iOSWorld es la primera vez que probamos los asistentes de teléfonos en un entorno realista y conectado que imita la vida digital de un humano real.

El artículo concluye que, si bien la IA está mejorando en su capacidad de mirar una pantalla y hacer clic en botones, aún no es lo suficientemente inteligente como para ser un asistente verdaderamente "personalmente inteligente" que comprenda tu historia, tu dinero y tus relaciones a través de diferentes aplicaciones. Necesita mejorar en planificación, memoria y conexión de puntos antes de que realmente pueda reemplazar a un asistente humano.

¿La buena noticia? Los investigadores han publicado todo su código y el "juego" de forma gratuita, para que otros científicos puedan intentar construir mejores asistentes utilizando este nuevo patio de juegos.

Resumen Técnico: iOSWorld

Planteamiento del Problema

Los benchmarks actuales para agentes digitales móviles fallan en gran medida al no evaluar la inteligencia personal. Los marcos de trabajo existentes (por ejemplo, AndroidWorld, WebArena, OSWorld) operan típicamente en sandboxes impersonales donde los agentes ejecutan instrucciones aisladas sin acceso a una identidad de usuario persistente, historial o continuidad de datos entre aplicaciones. Un agente telefónico verdaderamente útil debe razonar sobre la identidad específica de un usuario, sus preferencias y los datos acumulados (transacciones, mensajes, registros de viajes) tal como existen en el dispositivo. Además, aunque existen benchmarks interactivos para Android, existe una brecha significativa en la evaluación nativa de iOS. iOS difiere fundamentalmente de Android en su framework de UI, patrones de navegación y la falta de herramientas de accesibilidad de código abierto, lo que hace que la portabilidad directa de los benchmarks de Android sea insuficiente.

Metodología

El Entorno iOSWorld

Los autores presentan iOSWorld, el primer benchmark de simulador nativo de iOS interactivo construido en torno a una única identidad de usuario persistente ("Jordan Avery") que abarca 26 aplicaciones de iOS construidas a medida.

Interconectividad de Datos: Las 26 aplicaciones (que cubren dominios como finanzas, viajes, comida, mensajería y productividad) comparten datos conectados. Por ejemplo, un pedido de comida en una aplicación genera un cargo bancario y un correo electrónico de recibo en otras; una reserva de vuelo se alinea con reservas de hotel y recordatorios de calendario en diferentes aplicaciones.
Categorías de Tareas: El benchmark incluye 133 tareas divididas en tres categorías de dificultad creciente:
1. Single-App (27 tareas): Navegación básica e interacción dentro de una sola aplicación.
2. Multi-App (60 tareas): Tareas que requieren la transferencia de información a través de 2 a 8 aplicaciones (por ejemplo, revisar un pedido en una aplicación, encontrar el cargo en otra y localizar el correo del recibo en una tercera).
3. Memoria y Personalización (46 tareas): Tareas que requieren que el agente infiera patrones latentes a partir de datos personales sin instrucciones explícitas (por ejemplo, "¿Cuál es mi ruta de trayecto más común?" o "Encuentra mi restaurante más pedido con frecuencia").
Modalidades de Observación: Los agentes son evaluados bajo dos configuraciones para separar el anclaje visual del acceso privilegiado:
- Solo Visión (Vision-Only): El agente recibe únicamente capturas de pantalla (redimensionadas a 706×1536) y debe identificar visualmente los elementos de la interfaz y estimar coordenadas.
- Visión + XML (Vision+XML): El agente recibe capturas de pantalla más un árbol de accesibilidad limpio (XML) extraído mediante el framework XCUITest de Apple. Esto proporciona datos estructurados sobre tipos de elementos, etiquetas y coordenadas normalizadas, simulando el acceso privilegiado al que no tienen acceso los agentes de consumo desplegados.
Espacio de Acción: Las acciones se traducen de vocabularios específicos de proveedores (por ejemplo, "click" se convierte en "tap xy"). En el modo Vision+XML, los agentes pueden usar identificadores de accesibilidad para un direccionamiento preciso y lanzar aplicaciones directamente mediante identificadores de bundle, evitando la navegación visual por la pantalla de inicio.

Protocolo de Evaluación

Modelos Evaluados: Cinco modelos de frontera de uso de computadora (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, GPT-5.4 Mini, Gemini 3 Flash) y una línea base de código abierto (Qwen3.5 35B-A3B).
Puntuación: Un evaluador basado en LLM (LLM-as-a-Judge) a nivel de trayectoria (GPT-5.4 Mini) evalúa la trayectoria completa del agente frente a criterios de rúbrica. La validación humana en 128 trayectorias confirmó un acuerdo sustancial ( $\kappa=0.77$ ) entre el juez automatizado y los anotadores humanos.
Restricciones: Todas las ejecuciones están limitadas a un presupuesto de 50 pasos.

Contribuciones Clave

Primer Benchmark Nativo de iOS con Identidad Persistente: iOSWorld proporciona un simulador dinámico con 26 aplicaciones interconectadas y un personaje de usuario único, abordando la falta de personalización en los benchmarks móviles actuales.
Suite de Tareas Integral: El lanzamiento incluye 133 tareas a través de categorías de single-app, multi-app y memoria/personalización, con un esquema para añadir nuevas tareas y sembrar datos personalizados.
Comparación de Modalidades: El trabajo evalúa el impacto de los datos de accesibilidad privilegiados (XML) frente a la visión pura, revelando distintas brechas de rendimiento según el tamaño de los modelos.
Lanzamiento de Código Abierto: Los autores lanzan las 26 aplicaciones, los datos semilla, las tareas, las rúbricas, el código de evaluación y un ejecutor de AWS (instancias Mac gestionadas por EC2) para permitir la reproducibilidad para investigadores que no posean Mac.

Resultados

Rendimiento General

Mejor Configuración: La mejor configuración general (Opus 4.6 con Vision+XML) logra una tasa de éxito del 52%.
Desglose por Categoría:
- Single-App: 82% (Opus 4.6, Vision+XML)
- Memoria/Personalización: 54% (Opus 4.6, Vision+XML)
- Multi-App: 37% (Opus 4.6, Vision+XML)
Línea Base: El modelo de código abierto Qwen3.5 35B-A3B logra solo un 11% general en la configuración Vision+XML.

Impacto del Acceso Privilegiado (Vision+XML)

Modelos de Frontera: El acceso al árbol de accesibilidad mejora significamente el rendimiento para los modelos más grandes. Opus 4.6 mejora en +25.6 puntos porcentuales (26% $\to$ 52%), Sonnet 4.6 en +18.0 pp, y GPT-5.4 en +19.5 pp.
Modelos Más Pequeños: Los modelos más pequeños (GPT-5.4 Mini, Qwen3.5) no se benefician del contexto XML adicional; de hecho, su rendimiento suele degradarse (por ejemplo, Qwen3.5 cae del 13% al 11%, y GPT-5.4 Mini cae del 26% al 16%). Los autores atribuyen esto al desbordamiento de contexto, donde los aproximadamente 3,100 tokens adicionales por paso exceden la capacidad efectiva del modelo, provocando bucles de acción o confusión.

Análisis de Fallos

Agotamiento del Presupuesto: El 51% de los fallos de los modelos de frontera se deben al agotamiento del presupuesto de 50 pasos, particularmente en tareas multi-app y de memoria.
Modos de Fallo Comunes:
- Solo Visión (Vision-Only): Los agentes fallan frecuentemente al estimar coordenadas correctamente, se quedan trabados en elementos de la interfaz pequeños (por ejemplo, interruptores de pago) o fallan al cambiar de aplicación de manera fiable.
- Visión+XML: Aunque se eliminan los errores de coordenadas, los agentes aún luchan con la planificación de múltiples pasos y a menudo se quedan atrapados en bucles de acción (especialmente Qwen3.5).
Eficiencia de Pasos: Gemini 3 Flash es el más eficiente en pasos (promedio de 21 pasos por tarea), mientras que los modelos de Anthropic y OpenAI promedian 42–45 pasos.

Significado y Reivindicaciones

El artículo afirma que iOSWorld establece una base necesaria para la investigación de agentes con inteligencia personal. Demuestra que, si bien los modelos de frontera pueden manejar interacciones básicas de una sola aplicación, tienen dificultades significativas con la continuidad y el razonamiento requeridos para tareas multi-app y de personalización.

Los autores enfatizan que la brecha entre las capacidades actuales y los agentes personales útiles no es solo una cuestión de anclaje visual, sino también de planificación y memoria. Los resultados sugieren que:

El Acceso Privilegiado es un Arma de Doble Filo: Aunque los árboles de accesibilidad resuelven los problemas de anclaje visual para los modelos grandes, pueden abrumar a los modelos más pequeños, lo que indica la necesidad de una mejor gestión de contexto o interfaces de herramientas estructuradas (como se muestra con la mejora de Qwen3.5 mediante herramientas MCP).
El Razonamiento Multi-App es el Cuello de Botella: Incluso los mejores modelos tienen éxito solo en el 37% de las tareas multi-app, lo que resalta la dificultad de mantener el estado y transferir información a través de límites de aplicaciones disjuntas.
La Personalización es Crítica: El benchmark demuestra que los agentes no pueden evaluarse únicamente mediante tareas aisladas; su capacidad para razonar sobre el historial y las preferencias del usuario es una capacidad distinta y desafiante que los benchmarks actuales ignoran.

Los autores conclcan que cerrar la brecha hacia un despliegue útil requerirá una mejor recuperación de bucles, un mejor anclaje visual y mecanismos de planificación que sean explícitamente conscientes del historial del usuario. Posicionan a iOSWorld como una herramienta para impulsar esta investigación, ofreciendo un entorno controlado para probar la personalización sin los riesgos de privacidad de los datos reales de los usuarios.