AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents

Resumen Técnico: AgentRAE

1. Planteamiento del Problema

La adopción rápida de agentes de interfaz gráfica de usuario (GUI) móviles, que controlan aplicaciones y sistemas operativos (OS) de forma autónoma basándose en capturas de pantalla, ha creado nuevas superficies de ataque a nivel de sistema.

• Limitaciones de ataques existentes: Los backdoors actuales contra agentes web o modelos de IA generativa (GenAI) dependen de la inyección ambiental (manipulación de interfaces) o pop-ups engañosos. Sin embargo, estas técnicas fallan en agentes móviles basados en capturas de pantalla debido a:
  1. Restricciones del SO: Los sistemas operativos móviles modernos impiden la inyección de elementos de interfaz personalizados o la modificación de la pantalla subyacente.
  2. Detección fácil: El contenido sospechoso (patrones de texto, marcas de agua) es fácilmente detectable.
  3. Desafíos de percepción: Los iconos de notificación son pequeños, visualmente similares y ocupan una fracción mínima de la pantalla, lo que provoca que los modelos de visión por computadora ignoren estos "disparadores" (triggers) en favor del fondo de la interfaz.
  4. Conflictos de mapeo: Se requiere un mapeo uno-a-uno preciso entre múltiples iconos de notificación distintos y múltiples acciones de agente específicas, lo cual es difícil de lograr con métodos de backdoor tradicionales que suelen ser de un solo objetivo.

2. Metodología: AgentRAE

Los autores proponen AgentRAE, un ataque de backdoor visual que utiliza iconos nativos de notificaciones (que parecen benignos) como disparadores para ejecutar acciones remotas maliciosas. El ataque se basa en un pipeline de entrenamiento en dos fases diseñado para superar los desafíos de representación visual y mapeo de acciones.

Fase 1: Aprendizaje Contrastivo Supervisado (Separación de Representaciones)

• Objetivo: Aumentar la sensibilidad del modelo a las diferencias sutiles entre los iconos de notificación.
• Mecanismo: Se utiliza una pérdida de aprendizaje contrastivo supervisado (Trigger-Separation Loss).
  • Se agrupan las representaciones de muestras que comparten el mismo icono de disparador.
  • Se separan las representaciones de muestras con iconos diferentes en el espacio de características.
• Técnica: Se extraen los estados ocultos finales de la red, se aplica pooling promedio para obtener una representación unificada a nivel de muestra y se normaliza. Esto fuerza al modelo a aprender características semánticas profundas de los iconos, separándolos del ruido de la interfaz de fondo.

Fase 2: Entrenamiento de Envenenamiento Supervisado (Inyección del Backdoor)

• Objetivo: Establecer un mapeo preciso entre cada icono de disparador y una acción específica del agente móvil, manteniendo el rendimiento en tareas legítimas.
• Mecanismo: Se utiliza un Fine-tuning supervisado con una Pérdida de Envenenamiento Equilibrada (Balanced Poison Loss).
  • Se entrena con una mezcla de datos limpios (para preservar la utilidad) y datos envenenados (donde un icono específico de notificación se asocia con una acción maliciosa).
  • La pérdida equilibra la precisión en tareas limpias con la activación exitosa del backdoor.
• Resultado: El agente, al detectar un icono específico en la barra de notificaciones (ej. el icono de TikTok), ignora la tarea actual del usuario y ejecuta una acción predefinida por el atacante (ej. hacer clic en una URL de phishing, escribir credenciales, etc.).

Escenario de Ataque:
El atacante no necesita acceder al dispositivo de la víctima. Solo necesita:

1. Un modelo MLLM (Multimodal Large Language Model) envenenado distribuido a través de la cadena de suministro.
2. Enviar una notificación benigna (ej. desde WhatsApp o Discord) que contenga el icono disparador.
3. El agente móvil, al procesar la captura de pantalla que incluye la notificación, ejecuta la acción maliciosa.

3. Contribuciones Clave

1. Nueva Superficie de Ataque: Es el primer trabajo que demuestra una vulnerabilidad de backdoor en agentes móviles que explota las notificaciones nativas del SO como disparadores activos y multi-objetivo.
2. Marco de Aprendizaje Robusto (AgentRAE): Propone un framework de dos fases que integra aprendizaje contrastivo y fine-tuning disentangled, resolviendo los problemas de iconos pequeños y mapeos conflictivos.
3. Alto Rendimiento y Generalización: Logra tasas de éxito de ataque (ASR) superiores al 90% en múltiples objetivos y tareas, manteniendo un rendimiento limpio alto. Funciona en diferentes resoluciones de pantalla (>87% de éxito) y requiere pocos datos (2k muestras por disparador).
4. Evaluación de Defensas: Demuestra que las defensas actuales (como Fine-Pruning, Neural Attention Distillation o métodos de enumeración de etiquetas) son ineficaces contra este tipo de ataque debido a la naturaleza de secuencias de acciones abiertas de los agentes.

4. Resultados Experimentales

Los experimentos se realizaron en modelos de agentes móviles de código abierto (OdysseyAgent y SeeClic-aitw) utilizando conjuntos de datos como GUIOdyssey y AITW.

• Tasa de Éxito del Ataque (ASR):
  • AgentRAE alcanzó un 95.59% de ASR promedio en SeeClic-aitw y entre 90.19% y 95.87% en las diferentes particiones de OdysseyAgent.
  • En comparación, los métodos basados en BadNets (inyección directa) lograron solo ~72-82%, y los ataques adversarios de inyección ambiental (AEIA, Pop-ups) fueron casi ineficaces (<2.5%).
• Impacto en Tareas Limpias (Utilidad):
  • La degradación del rendimiento en tareas legítimas fue mínima. La puntuación de coincidencia de acciones (AMS) disminuyó menos del 2% en la mayoría de los casos, demostrando que el backdoor es altamente sigiloso.
• Escalabilidad Multi-Objetivo:
  • El sistema mantuvo un ASR promedio del 89.25% incluso al inyectar 9 disparadores diferentes (9 iconos de apps distintos) simultáneamente.
• Resistencia a Defensas:
  • Técnicas de defensa como Fine-Pruning y NAD no lograron reducir significativamente la ASR (se mantuvo >88%), confirmando que las defensas actuales no están preparadas para este vector de ataque.

5. Significado e Implicaciones

• Riesgo en la Cadena de Suministro: El estudio revela que un solo modelo MLLM comprometido puede afectar a todo un ecosistema de usuarios downstream, permitiendo a los atacantes controlar remotamente dispositivos móviles sin necesidad de explotar vulnerabilidades del sistema operativo o del hardware.
• Fragilidad de la Percepción de Agentes: Expone que los agentes GUI basados en MLLMs son vulnerables a la manipulación de elementos visuales "benignos" (notificaciones) que los humanos ignorarían, pero que el modelo puede aprender a asociar con acciones críticas.
• Necesidad de Nuevas Defensas: Las defensas tradicionales centradas en la detección de anomalías en la entrada o en la enumeración de etiquetas son insuficientes. Se requiere una supervisión en tiempo real del comportamiento del agente y una auditoría más profunda de las representaciones internas de los modelos multimodales.

En conclusión, AgentRAE demuestra que la confianza implícita en las notificaciones del sistema operativo por parte de los agentes autónomos constituye un vector de ataque crítico y subestimado, capaz de ejecutar acciones maliciosas complejas de forma remota y sigilosa.