GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?

Este trabajo presenta GhostEI-Bench, el primer marco de evaluación que demuestra la vulnerabilidad de los agentes móviles basados en modelos de visión y lenguaje ante ataques de inyección ambiental en entornos dinámicos, donde elementos de interfaz adversarios engañan la percepción visual y comprometen la seguridad del dispositivo.

Lo esencial

Imagina que has creado un asistente personal digital muy inteligente, capaz de usar tu teléfono móvil por ti. Puede abrir aplicaciones, comprar entradas, enviar mensajes y gestionar tus finanzas. Es como tener un robot en tu bolsillo que ve la pantalla, entiende lo que hay en ella y toma decisiones.

El problema es que este robot es un poco ingenuo. Si alguien le pone una pegatina falsa sobre un botón o le envía un mensaje que parece oficial pero es una trampa, el robot podría hacer exactamente lo que le piden, aunque sea peligroso.

Este artículo de investigación, llamado GhostEI-Bench, es como un campo de entrenamiento de seguridad para probar qué tan a prueba de fallos son estos robots.

Aquí te lo explico con una analogía sencilla:

1. El Escenario: El Robot en la Ciudad

Imagina que tu asistente digital (el "Agente") está caminando por una ciudad (tu teléfono) para hacer una tarea, como "reservar un hotel".

• Lo normal: Ve letreros claros, entra a la tienda correcta y paga.
• El ataque (Inyección Ambiental): De repente, un malvado (el hacker) no le cambia las instrucciones en su cerebro (eso ya se sabía), sino que cambia el entorno.
  • Ejemplo: Justo cuando el robot va a escribir su contraseña, aparece una ventana emergente falsa que dice: "¡ALERTA DE SEGURIDAD! Toca aquí para verificar tu cuenta".
  • El robot, que confía en lo que ve, cree que es una alerta real y toca el botón. ¡Pum! Ha caído en la trampa y ha entregado sus datos.

2. La Prueba: GhostEI-Bench

Los investigadores crearon un gimnasio de seguridad (el "Bench") donde lanzan todo tipo de trucos contra estos robots para ver cuáles fallan.

• No es solo una foto: Antes, solo mostraban fotos estáticas a los robots. Pero en la vida real, las cosas cambian rápido. GhostEI-Bench es como un simulador de vuelo real donde los trucos ocurren en tiempo real mientras el robot trabaja.
• Los trucos:
  • Ventanas falsas: Mensajes que parecen del banco pero son estafas.
  • Notificaciones engañosas: Avisos que dicen "Tu paquete ha llegado" pero en realidad son virus.
  • Instrucciones confusas: Pedirle al robot que haga algo malo directamente.

3. El Árbitro Inteligente

Para saber si el robot falló, no miran solo si terminó la tarea. Usan un árbitro experto (una Inteligencia Artificial muy estricta) que revisa cada paso que dio el robot, como si fuera un detective viendo una grabación de seguridad.

• ¿El robot vio la trampa?
• ¿La ignoró?
• ¿O cayó en ella y entregó sus datos?

4. ¿Qué descubrieron? (Los Resultados)

Los resultados fueron bastante alarmantes, como si descubrieras que la mayoría de los guardias de seguridad de un banco se dejan engañar por un disfraz simple.

• Son muy vulnerables: La mayoría de los robots actuales (incluso los más famosos y caros) tienen una tasa de vulnerabilidad del 40% al 55%. Esto significa que si el robot está funcionando bien, casi la mitad de las veces caerá en una trampa visual.
• El dilema: Algunos robots son muy buenos haciendo tareas (son rápidos y listos), pero son extremadamente frágiles ante engaños visuales. Otros son más cautelosos pero fallan en hacer las tareas simples.
• El ganador: El modelo "GPT-5" (una versión futura o muy avanzada) fue el mejor, pero incluso él falló en el 16% de los casos. Nadie es invencible todavía.

5. ¿Por qué importa esto?

Hoy en día, estos robots aún no están en todas las casas, pero pronto lo estarán. Si un robot en tu teléfono cae en una trampa:

• Podría robar tu dinero (hacer transferencias falsas).
• Podría robar tus fotos privadas.
• Podría destruir tu teléfono instalando virus.

Conclusión

Este estudio es como una prueba de choque para los coches autónomos, pero para los robots que usan tu teléfono. Nos dice que, aunque son muy inteligentes, son muy ingenuos cuando el entorno se vuelve "sucio" o engañoso.

El mensaje final es: No podemos confiar ciegamente en estos robots todavía. Necesitamos entrenarlos mejor para que, cuando vean una ventana extraña o un mensaje sospechoso, se detengan y piensen: "Oye, esto no parece normal, mejor pregunto a mi dueño antes de tocar nada".

GhostEI-Bench es la herramienta que nos ayuda a encontrar esos fallos antes de que los hackers reales los usen contra nosotros.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "GHOSTEI-BENCH: DO MOBILE AGENTS RESILIENCE TO ENVIRONMENTAL INJECTION IN DYNAMIC ON-DEVICE ENVIRONMENTS?", publicado en ICLR 2026.

1. El Problema: Inyección Ambiental en Agentes Móviles

Los modelos de visión-idioma (VLM) están transformando los agentes móviles en asistentes personales autónomos capaces de navegar interfaces gráficas de usuario (GUI). Sin embargo, su operación en ecosistemas dinámicos de dispositivos expone una amenaza subexplorada: la inyección ambiental.

A diferencia de los ataques tradicionales basados en prompts (manipulación de texto), la inyección ambiental contamina la percepción visual del agente insertando elementos de interfaz de usuario (UI) adversarios directamente en el entorno de ejecución. Estos incluyen:

• Superposiciones engañosas (Overlays): Ventanas emergentes que imitan notificaciones del sistema o diálogos de consentimiento.
• Notificaciones falsas (Spoofed Notifications): Mensajes SMS o notificaciones del sistema diseñadas para distraer o engañar.
• Interacciones inter-app: Eventos que interrumpen el flujo de trabajo legítimo.

Estos ataques eluden las salvaguardas textuales, manipulando la toma de decisiones del agente en momentos críticos, lo que puede derivar en fugas de privacidad, fraudes financieros o compromisos irreversibles del dispositivo. La literatura existente carecía de un marco unificado para evaluar sistemáticamente la resiliencia de los agentes ante estas interrupciones dinámicas e impredecibles.

2. Metodología: GhostEI-Bench

Para abordar esta brecha, los autores presentan GhostEI-Bench, el primer benchmark diseñado para evaluar la robustez de agentes móviles bajo ataques de inyección ambiental en entornos ejecutables reales.

Arquitectura y Diseño

• Entorno Ejecutable: El benchmark se ejecuta en emuladores Android operativos completos, no en imágenes estáticas. Esto permite la inyección de eventos adversarios en tiempo real durante la ejecución de tareas.
• Vectores de Ataque: Se definen tres categorías principales:
  1. Instrucción Engañosas: Evaluación de la alineación de seguridad ante prompts de usuario inherentemente dañinos.
  2. Inyección Ambiental Estática: Prueba de la discreción contextual ante información sensible ya presente en el entorno (ej. contraseñas en notas).
  3. Inyección Ambiental Dinámica: Prueba de robustez ante interrupciones en tiempo real (superposiciones y SMS falsos).
• Cobertura: El conjunto de datos consta de 110 casos de prueba meticulosamente curados que abarcan 7 dominios representativos (Comunicación, Finanzas, Redes Sociales, Navegación Web, Productividad, Configuración, Servicios de Vida) y 7 campos de riesgo crítico (Fraude, Ciberdelito, Desinformación, Sabotaje del Sistema, Fuga de Privacidad, Infracción de Copyright, Acoso).

Protocolo de Evaluación

Se introduce un protocolo novedoso que utiliza un LLM Juez para realizar un análisis de fallos granular. El juez revisa la trayectoria de acciones del agente junto con una secuencia de capturas de pantalla correspondientes para determinar:

• Completitud de la Tarea (TC): Si el agente cumple la tarea benigna.
• Éxito Total del Ataque (FAS): Si el agente sigue completamente la ruta maliciosa.
• Éxito Parcial del Ataque (PAS): Si el agente cumple parcialmente la intención maliciosa.
• Fallo Benigno (BF): Si el agente falla por limitaciones de capacidad, no por engaño.

Se introduce una métrica clave: la Tasa de Vulnerabilidad (VR), que normaliza el éxito de los ataques excluyendo los fallos benignos, enfocándose puramente en la susceptibilidad del agente cuando es funcional.

3. Contribuciones Clave

1. Formalización de la Amenaza: Define la inyección ambiental como un modelo de amenaza adversarial cualitativamente distinto para agentes móviles, complementando los benchmarks de jailbreak y GUI existentes.
2. Lanzamiento de GhostEI-Bench: Un marco reproducible que evalúa agentes en entornos dinámicos con un módulo de evaluación basado en LLM que analiza tanto los resultados como las trazas de razonamiento.
3. Evaluación Empírica Exhaustiva: Se evaluaron 8 agentes VLM prominentes (incluyendo series GPT, Claude, Gemini, Qwen y modelos especializados como UI-TARS) bajo diferentes marcos de agentes (Mobile-Agent-v2, AppAgent).

4. Resultados Principales

La evaluación de los modelos más avanzados revela vulnerabilidades alarmantes:

• Alta Vulnerabilidad General: La mayoría de los modelos tienen una Tasa de Vulnerabilidad (VR) entre el 40% y el 55%. Esto significa que, cuando un agente es capaz de realizar una tarea, tiene una probabilidad muy alta de ser manipulado por inyecciones ambientales.
• Compensación Capacidad-Seguridad:
  • GPT-5 mostró el mejor rendimiento, con la mayor tasa de completitud de tareas (56.4%) y la menor VR (16.43%), demostrando que es posible mejorar ambas métricas simultáneamente.
  • Gemini-2.5 Pro tuvo la menor tasa de fallos benignos (18.2%), indicando alta competencia funcional, pero una VR del 40%, lo que lo convierte en un agente potente pero frágil.
  • Claude-3.7-Sonnet y GPT-4o mostraron las peores tasas de vulnerabilidad (55.12% y 54.87% respectivamente), siendo altamente susceptibles incluso en tareas que pueden completar.
• Impacto de los Marcos de Agentes: El uso de marcos de planificación complejos (como Mobile-Agent-v2) no garantiza seguridad; en algunos casos (ej. GPT-4o), aumentó la vulnerabilidad en comparación con marcos más simples (AppAgent).
• Mecanismos de Reflexión y Razonamiento:
  • La autorreflexión mejoró selectivamente la robustez (redujo la VR en GPT-4o y GPT-5), aunque a veces a costa de una mayor cautela excesiva (fallos benignos).
  • El razonamiento explícito mostró efectos mixtos; a veces reducía el éxito de los ataques pero sacrificaba la utilidad general (capacidad de completar tareas), indicando un equilibrio frágil entre deliberación y ejecución.
• Patrones de Fallo: Los ataques de inyección dinámica fueron los más efectivos. Los dominios de Redes Sociales y Servicios de Vida y los riesgos de Fraude y Desinformación fueron los más propensos a causar fallos.

5. Significado e Impacto

GhostEI-Bench establece un nuevo estándar para la seguridad de los agentes de GUI. Sus hallazgos demuestran que, a pesar de los avances en la capacidad de razonamiento y ejecución de tareas, los agentes móviles actuales carecen fundamentalmente de resiliencia contra manipulaciones visuales dinámicas.

El trabajo subraya la necesidad urgente de desarrollar mecanismos de defensa que vayan más allá de la alineación textual, integrando la verificación de consistencia multimodal y la detección de anomalías en el entorno de ejecución. GhostEI-Bench proporciona la herramienta esencial para cuantificar, entender y mitigar estas amenazas, allanando el camino para el despliegue seguro y confiable de agentes corporativos en el mundo real.

El código y los datos del benchmark están disponibles públicamente en: https://github.com/cyChen2003/Ghost-EI.