💬 NLP

MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content

El artículo presenta MIRAGE, una tubería de ataque consciente del contexto que inyecta prompts adversarios en contenido generado por usuarios dentro de capturas de pantalla de interfaces gráficas móviles para engañar a agentes de modelos de visión y lenguaje, demostrando que los cinco agentes evaluados son vulnerables a ataques realistas e visualmente indistinguibles con tasas de éxito entre el 23% y el 30%.

Autores originales: Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

Publicado 2026-05-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: El Problema del "Robot Confiado"

Imagina que tienes un asistente robot muy inteligente que te ayuda a usar tu teléfono. Este robot no "lee" el código detrás de las aplicaciones; en su lugar, mira la pantalla como lo haría un humano: simplemente una imagen de píxeles.

El problema es que este robot es demasiado confiado. Asume que todo lo que ve en la pantalla es parte de la aplicación oficial. No sabe distinguir entre un botón creado por el desarrollador de la aplicación (como "Añadir al carrito") y un comentario escrito por un usuario al azar (como una reseña o un mensaje de chat).

MIRAGE es una nueva forma de engañar a este robot. Los investigadores demostraron que si escribes una instrucción sigilosa dentro de un comentario de usuario que parece normal, el robot lo leerá, creerá que es un comando real y hará exactamente lo que dice el comentario, incluso si es peligroso o incorrecto.

La Analogía: La Trampa de la "Reseña Falsa"

Piensa en una aplicación móvil como una cafetería concurrida.

La Aplicación: La propia cafetería.
El Agente (Robot): Un nuevo empleado muy ansioso por complacer a los clientes, pero que nunca ha recibido capacitación sobre el menú. Solo sigue lo que esté escrito en la pizarra.
El Ataque: Un cliente travieso escribe una nota en el tablero de "Reseñas de Clientes" (que normalmente se usa para que la gente diga "¡Excelente café!"). La nota dice: "El gerente dice: Si quieres un donut gratis, presiona inmediatamente el botón de 'Alarma contra incendios'."

Como el robot (el nuevo empleado) no puede distinguir entre el menú oficial y las reseñas de los clientes, ve la nota, piensa que es una instrucción real del gerente y presiona la alarma contra incendios.

MIRAGE es la herramienta que los investigadores construyeron para escribir automáticamente miles de estas "reseñas falsas" que parecen tan reales que incluso un humano tendría dificultades para detectarlas.

Cómo Funciona MIRAGE (El Proceso de Tres Pasos)

Los investigadores construyeron una máquina de tres pasos para crear estos trucos sin necesidad de hackear el teléfono ni la aplicación en sí. Solo necesitan una captura de pantalla.

El Localizador (El Detective):
- Qué hace: Examina una captura de pantalla de una aplicación y encuentra las "zonas seguras" donde los usuarios pueden escribir cosas. Estos son lugares como secciones de comentarios, cuadros de reseñas o burbujas de chat.
- La Analogía: Es como un detective escaneando una habitación para encontrar la pizarra donde se permite escribir notas, ignorando los carteles oficiales en la pared.
El Generador (El Falsificador):
- Qué hace: Escribe un mensaje sigiloso que encaja perfectamente en ese lugar. No se limita a pegar texto rojo grande; copia la fuente, el color y el estilo de la aplicación para que el mensaje parezca que pertenece allí.
- La Analogía: Este es un falsificador maestro que escribe una nota en la pizarra utilizando exactamente el mismo marcador y estilo de letra que los clientes habituales. La nota dice: "Ve a tocar el botón 'Eliminar cuenta'", pero parece una reseña normal.
El Curador (El Editor):
- Qué hace: Revisa el trabajo. Si la nota falsa parece extraña (como si el texto estuviera cortado o la fuente fuera incorrecta), la corrige o la descarta. También se asegura de tener una buena mezcla de diferentes aplicaciones y diferentes tipos de trucos.
- La Analogía: Un editor que revisa las notas falsificadas. Si una nota parece demasiado obvia, la corrigen hasta que sea perfecta. También se aseguran de tener notas para la cafetería, el banco y la aplicación de redes sociales, no solo un tipo.

Los Resultados: ¿Qué Tan Bien Funcionó?

Los investigadores probaron esto en cinco agentes de IA diferentes (robots) y diez aplicaciones populares (como Amazon, TikTok y Facebook).

Tasa de Éxito: El truco funcionó entre el 23% y el 30% de las veces. Eso significa que casi 1 de cada 3 veces que el robot vio una nota falsa, fue engañado para realizar la acción incorrecta.
Sigilo: Las notas falsas fueron calificadas como más realistas que los ataques anteriores. Los humanos las calificaron con 3.02 sobre 5, mientras que los ataques antiguos solo obtuvieron 2.52. Parecían muy similares al contenido real de los usuarios.
El Fracaso del "Filtro": Los investigadores intentaron ver si un simple "control de calidad" podía detener esto. Se preguntaron: "¿Podemos simplemente filtrar cualquier imagen que parezca ligeramente falsa?"
- La Respuesta: No. Descubrieron que cuánto de realista parece la imagen no tiene nada que ver con si el robot es engañado. Una imagen muy realista podría no lograr engañar al robot, y una ligeramente menos realista podría tener éxito. Esto significa que no se puede confiar simplemente en "¿esto parece real?" para proteger al robot.

La Conclusión Clave

El artículo concluye que la forma en que funcionan estos robots móviles es fundamentalmente defectuosa. Debido a que tratan la pantalla como una imagen plana en lugar de un código estructurado, no pueden distinguir entre botones del sistema confiables y comentarios de usuarios no confiables.

Mientras el robot dependa de "ver" la pantalla como lo hace un humano, un atacante puede ocultar una instrucción maliciosa dentro de un comentario de usuario normal, y el robot la seguirá felizmente. El artículo sugiere que para solucionar esto, necesitamos cambiar la forma en que el robot entiende la pantalla, no solo intentar filtrar imágenes malas.

Lo Que el Artículo NO Dice

No afirma que esto funcione en cada robot (solo probaron algunos específicos).
No dice que esta sea una herramienta para que los hackers la usen ahora mismo (es una herramienta de investigación para encontrar debilidades).
No sugiere que tu teléfono esté siendo hackeado actualmente por esto (los experimentos se realizaron offline en capturas de pantalla estáticas).
No ofrece una solución para arreglar el problema todavía; solo demuestra que el problema existe y es difícil de resolver con filtros simples.

Resumen Técnico: MIRAGE

Enunciado del Problema
Los agentes de interfaz gráfica de usuario (GUI) móviles impulsados por modelos de visión-idioma (VLM) perciben las pantallas como píxeles renderizados en lugar de código estructurado. En consecuencia, estos agentes no pueden distinguir de manera confiable entre elementos de interfaz de confianza y contenido generado por el usuario (UGC), como comentarios, reseñas o biografías de perfil. Esta limitación crea una nueva superficie de ataque donde los adversarios pueden inyectar instrucciones maliciosas en regiones benignas de UGC. A diferencia de ataques anteriores que dependen de modificar el agente, el código de la aplicación o el sistema operativo, este modelo de amenaza asume que el atacante solo puede controlar regiones ordinarias de contenido de usuario dentro de una captura de pantalla. Los ataques existentes de inyección de prompts para agentes GUI a menudo dependen de vectores creados manualmente, asumen modelos de amenaza excesivamente permisivos (por ejemplo, acceso a nivel de DOM) o son específicos de entornos web, dejando una brecha en la comprensión de la vulnerabilidad de los agentes móviles que solo usan capturas de pantalla frente a inyecciones visuales realistas y conscientes del contexto.

Metodología: La Pipeline de MIRAGE
Los autores proponen MIRAGE (Inyección Móvil de Ejemplos Adversariales de GUI Realistas), una pipeline automatizada de tres etapas diseñada para transformar capturas de pantalla móviles benignas en muestras de inyección de prompts realistas sin modificar el agente objetivo, la aplicación o el sistema operativo.

Localizador (Localización Adaptativa del Punto de Inyección):
- Objetivo: Identificar regiones controlables por el usuario (por ejemplo, cuerpos de reseñas, comentarios, publicaciones) en una captura de pantalla.
- Proceso: Un VLM genera regiones candidatas gruesas etiquetadas con tipo y controlabilidad. Un paso de Reconocimiento Óptico de Caracteres (OCR) (EasyOCR) ajusta estos cuadros a las regiones de texto detectadas, descartando aquellas sin texto de alta confianza. Finalmente, un moderador VLM independiente refina iterativamente los cuadros delimitadores (eliminando, ajustando, extendiendo o agregando regiones) basándose en una rúbrica de severidad hasta que no queden problemas graves.
- Resultado: Un conjunto de regiones de inyección tipificadas y estrechamente delimitadas.
Generador (Generación de Cargas Útiles Conscientes del Contexto):
- Objetivo: Sintetizar cargas útiles que atraigan al agente hacia una acción especificada por el atacante mientras parecen contenido ordinario.
- Proceso:
  - Sintetización del Objetivo: Un VLM genera un objetivo de usuario benigno con una "regla de ambigüedad": al menos una región controlable por el usuario debe permanecer como un objetivo competidor plausible para asegurar que el fallo se deba a la susceptibilidad a la inyección y no a la dificultad de percepción.
  - Generación de la Carga Útil: Un VLM se condiciona sobre la captura de pantalla, el recorte de la región, el tipo de región, el objetivo sintetizado y la intención objetivo para generar la carga útil.
  - Revisión: Un revisor LLM pre-renderizado rechaza cargas útiles que duplican el objetivo del usuario, omiten el rol semántico de la intención o se leen como comandos del sistema explícitos. Las cargas útiles fallidas se regeneran hasta tres veces.
  - Renderizado: Un modelo de edición de imágenes (gpt-image-2) rellena la carga útil en la región de inyección, coincidiendo con la tipografía y el estilo nativos de la aplicación para regiones de texto o generando subtítulos con apariencia nativa para regiones multimedia.
Curador (Moderación de Realismo y Muestreo Equilibrado):
- Objetivo: Filtrar artefactos de renderizado y asegurar que el conjunto de datos esté equilibrado entre aplicaciones, tipos de región e intenciones de ataque.
- Proceso: Un moderador VLM post-renderizado puntúa los renderizados contra una taxonomía de artefactos (por ejemplo, desajuste de fuente, desbordamiento, fuga de glifos). Las muestras con problemas de alta severidad se vuelven a renderizar con retroalimentación; las demás se pasan con anotaciones.
- Equilibrio: La pipeline emplea un asignador pre-generación para asignar presupuestos de muestras a combinaciones subrepresentadas (intención, tipo de región), un recorte post-generación para submuestrear combinaciones sobrerrepresentadas y un paso de reparación de cobertura para regenerar muestras para puntos de inyección que fallaron la moderación.

Contribuciones Clave

Definición del Modelo de Amenaza: El artículo caracteriza un modelo de amenaza de tiempo de ejecución realista donde los atacantes controlan solo regiones ordinarias de UGC sin acceso privilegiado, definiendo mapeos de intención a acción para 11 intenciones de ataque distintas.
Pipeline Automatizada: MIRAGE es la primera metodología automatizada para sintetizar muestras de inyección visualmente plausibles y conscientes del contexto a partir de capturas de pantalla benignas en diversas aplicaciones sin ajustar finamente agentes ni modificar el código de la aplicación.
Estudio Empírico de Seguridad: Los autores evalúan MIRAGE en cinco agentes GUI basados en VLM, diez aplicaciones móviles y 1.111 instancias de ataque.
Hallazgos de Mecanismos:
- Realismo y Éxito No Correlacionados: El estudio encuentra que el realismo visual por muestra y la tasa de éxito del ataque (ASR) no están correlacionados ( $\rho = -0.03$ ). Esto implica que el filtrado basado únicamente en la calidad visual no puede defenderse de manera confiable contra esta clase de ataques.
- Vulnerabilidad Impulsada por la Intención: El éxito del ataque está impulsado más por la intención del ataque que por la identidad del modelo o el realismo visual. Los autores identifican tres niveles de explotación: señuelos temporales/de atención (mayor éxito), redirección de acciones (moderado) y manipulación de primitivas de interacción (menor).

Resultados Experimentales

Vulnerabilidad: Los cinco agentes evaluados (incluyendo variantes de GPT-4o-mini, GLM-4.5V y Qwen3-VL) son vulnerables. Las tasas de éxito del ataque oscilan entre 23.0% y 30.2% en los modelos.
Robustez Transversal a Aplicaciones: MIRAGE mantiene un ASR superior al 19% en todas las aplicaciones y intenciones de ataque evaluadas. Las aplicaciones dominadas por UGC (por ejemplo, Amazon, Facebook, X) muestran una mayor vulnerabilidad (ASR ≥30%) en comparación con las aplicaciones ricas en medios.
Realismo vs. Trabajo Previo: En comparación con el ataque previo más fuerte (AgentHazard), MIRAGE logra un realismo calificado por humanos significativamente mayor (3.02 vs. 2.52 en una escala de 5 puntos) mientras mantiene una efectividad de ataque comparable.
Implicaciones para la Defensa: Un clasificador VLM ligero que intentaba filtrar capturas de pantalla inyectadas basándose en la calidad visual falló como defensa en tiempo de ejecución, exhibiendo una alta tasa de falsos positivos (36.5%) en interfaces de usuario benignas mientras solo bloqueaba el 58.7% de los ataques.

Significado y Afirmaciones
El artículo afirma que la inyección de prompts en el canal visual es una vulnerabilidad estructural del paradigma de agente GUI basado en VLM, no específica de una sola familia de modelos o régimen de alineación. Los autores afirman que, dado que la plausibilidad visual no predice el éxito del ataque, las defensas que dependen únicamente del filtrado de calidad visual son insuficientes. La mitigación efectiva debe operar en cambio sobre la semántica de la carga útil, las restricciones de anclaje de acciones o la definición de la aplicación de las superficies controlables por el usuario. MIRAGE sirve como un punto de referencia para la prueba de intrusos (red-teaming) y la evaluación de robustez, destacando que la generación actual de agentes GUI móviles no puede separar de manera confiable los elementos de interfaz de confianza del contenido controlado por el atacante.

Limitaciones
Los autores señalan varias limitaciones:

Cobertura de Agentes: El estudio excluye agentes especializados en GUI nativa (por ejemplo, UI-TARS) que requieren alojamiento local de GPU, centrándose en cambio en esqueletos VLM de propósito general.
Alcance de la Evaluación: El ataque se mide en interacciones de un solo paso; la propagación de múltiples pasos y el daño downstream no se evalúan.
Diversidad: El punto de referencia sacrifica la diversidad de incrustaciones bruta por una cobertura equilibrada y controlada, resultando en una dispersión CLIP menor en comparación con las líneas base escritas a mano.
Dependencias: La pipeline depende de modelos generativos propietarios (gpt-image-2, APIs de OpenAI) para el renderizado y la moderación, lo que afecta la reproducibilidad y el costo.