Resumen Técnico: Secuestro de Agentes de SO mediante Parches de Imagen Maliciosos (MIPs)

Declaración del Problema

Los avances recientes en los agentes de Sistemas Operativos (SO) han permitido que los Modelos de Lenguaje-Visión (VLMs) controlen de forma autónoma las computadoras de los usuarios mediante la captura de capturas de pantalla, el análisis de información visual y la ejecución de acciones de bajo nivel vía APIs (por ejemplo, clics de ratón, entradas de teclado). A diferencia de los modelos pasivos de generación de texto, estos agentes interactúan directamente con el SO, lo que significa que las manipulaciones adversarias pueden derivar en consecuencias inmediatas y tangibles, como la exfiltración de datos o daños financieros.

Mientras que la investigación adversaria existente se centra en inyecciones de prompts basadas en texto o ataques de ventanas emergentes evidentes, estos suelen ser detectables o requieren acceso directo al canal de entrada de texto del agente. Este artículo identifica una brecha crítica: la vulnerabilidad de los agentes de SO ante los Parches de Imagen Maliciosos (MIPs). Estos son regiones de la pantalla adversariamente perturbadas que parecen benignas para observadores humanos pero que, al ser capturadas en una captura de pantalla por un agente de SO, inducen al modelo a generar instrucciones de texto específicas que activan llamadas a APIs perjudiciales. El desafío central es que los adversarios suelen controlar solo un pequeño parche de la pantalla (por ejemplo, una publicación en redes sociales o un fondo de escritorio) en lugar de toda la pantalla, y el ataque debe sobrevivir al flujo de trabajo de múltiples componentes del agente, incluyendo analizadores de pantalla no diferenciables y operaciones de redimensionamiento de imagen.

Metodología

Marco Formal

Los autores modelan un agente de SO como un flujo de trabajo compuesto por tres componentes:

1. Analizador de Pantalla ($g$): Convierte una captura de pantalla $s$ en descripciones visuales estructuradas (cuadros delimitadores) y textuales (Set-of-Marks, SOMs).
2. VLM ($f_\theta$): Procesa el prompt del usuario, el prompt del sistema, la memoria, los SOMs y la captura de pantalla anotada para generar una secuencia de tokens de texto (razonamiento y planes de acción).
3. APIs ($a$): Ejecutan las acciones específicas derivadas de la salida del VLM.

El objetivo del ataque es encontrar una perturbación $\delta$ dentro de una región de parche de imagen específica $R$ tal que el agente genere una salida de texto objetivo maliciosa predefinida $y$ (por ejemplo, un script de Python para exfiltrar datos) al capturar la captura de pantalla perturbada.

Estrategia y Restricciones de Optimización

Los autores formulan el ataque como un problema de optimización con restricciones estrictas para asegurar la practicidad y el sigilo:

• Restricción de Parche: Las perturbaciones están restringidas a una región $R$ específica (por ejemplo, una imagen cargada).
• Discreción: Las perturbaciones deben ser valores de píxeles enteros válidos.
• Invarianza del Analizador: La perturbación no debe alterar la salida del analizador de pantalla no diferenciable $g$. Específicamente, el analizador no debe generar cuadros delimitadores dentro de $R$ que intersecten el parche, y la descripción textual de la pantalla debe permanecer sin cambios.
• Robustez al Redimensionamiento: El ataque debe seguir siendo efectivo después de que la captura de pantalla sea redimensionada para ajustarse a las dimensiones de entrada del VLM.

Para resolver esto, los autores emplean el Descenso de Gradiente Proyectado (PGD). Aproximan la función de redimensionamiento para hacerla diferenciable y optimizan la perturbación $\delta$ para minimizar la pérdida de Entropía Cruzada entre la salida del VLM y el texto malicioso objetivo $y$. Crucialmente, imponen la restricción de invarianza del analizador verificando que $g(s) = g(s + \delta)$ y revirtiendo el proceso si los cuadros delimitadores intersectan la región del parche.

Configuración Experimental

Los experimentos se realizaron en el Microsoft Windows Agent Arena (WAA), utilizando:

• Analizadores de Pantalla: OmniParser (recomendado) y una línea base utilizando GroundingDINO + TesseractOCR.
• VLMs: Serie Llama 3.2 Vision (parámetros de 11B y 90B).
• Configuraciones: Dos vectores de ataque principales: (1) Escritorio, donde el MIP está incrustado en un fondo de pantalla; y (2) Redes Sociales, donde el MIP es una imagen dentro de un feed de redes sociales.
• Objetivos: Se probaron dos comportamientos maliciosos: (1) activar un desbordamiento de memoria mediante una secuencia de tokens específica, y (2) navegar hacia un sitio web explícito/adversario.

Contribuciones Clave

1. Introducción de los MIPs: El artículo define y demuestra los Parches de Imagen Maliciosos como un nuevo vector de ataque dirigido específicamente a los agentes de SO. A diferencia de trabajos previos, los MIPs explotan la dependencia del agente de las capturas de pantalla para secuestrar el sistema sin acceso directo al canal de entrada de texto.
2. Identificación de Restricciones Prácticas: Los autores abordan sistemáticamente las restricciones de los ataques reales de agentes de SO, incluyendo el control limitado sobre la entrada (solo el parche), la no diferenciabilidad de los analizadores de pantalla y la necesidad de sobrevivir al redimensionamiento de imagen.
3. Demostración de Generalización: El estudio muestra que los MIPs pueden diseñarse para generalizarse a través de:
   • Prompts de Usuario no Vistos: El ataque funciona incluso cuando la tarea del usuario es benigna y no relacionada con el parche.
   • Diseños de Pantalla no Vistos: El ataque tiene éxito en diferentes capturas de pantalla (por ejemplo, diferentes publicaciones de redes sociales o arreglos de iconos de escritorio).
   • Analizadores de Pantalla no Vistos: Los MIPs optimizados para un analizador (OmniParser) se transfieren efectivamente a un analizador diferente (GroundingDINO/Tesseract).
   • Múltiples Pasos de Ejecución: El ataque sigue siendo efectivo incluso si el agente encuentra el parche tras varios pasos de ejecución de la tarea.
   • Múltiples VLMs: La optimización conjunta permite que un solo MIP secuestre diferentes arquitecturas de VLM (11B vs 90B, Pre-entrenado vs Instrucción-ajustado).

Resultados

• Ataques Dirigidos: Los MIPs optimizados para un prompt y captura de pantalla específicos lograron una tasa de éxito del 100% en ese par. También se transfirieron a prompts no vistos con una Tasa de Éxito Promedio (ASR) de 0.33–0.91, pero fallaron al transferirse a capturas de pantalla no vistas (ASR 0.0) sin optimización adicional.
• Ataques Universales: Al optimizar sobre un lote de diversos pares de prompt-captura de pantalla, los autores crearon "MIPs Universales". Estos lograron altas ASRs (0.89–1.00) en prompts y capturas de pantalla no vistos en la misma configuración.
• Transferencia entre Analizadores: Los MIPs universales mantuvieron una alta efectividad (ASR 0.36–0.90) cuando se probaron contra un analizador de pantalla no visto, demostrando robustez ante variaciones en cómo se analiza la pantalla.
• Transferencia entre VLMs: Un solo MIP optimizado conjuntamente en tres VLMs (Llama 3.2 11B-PT, 11B-IT, 90B-IT) logró altas tasas de éxito (0.92–0.97) en los tres. Sin embargo, la transferencia a un VLM completamente no visto (90B-IT cuando no estaba en el conjunto de entrenamiento) fue limitada, alineándose con hallazgos previos sobre la transferibilidad adversaria en VLMs.
• Robustez de Pasos de Ejecución: Los MIPs siguieron siendo efectivos incluso cuando el agente los encontraba tras navegar a través de múltiples pasos para completar una tarea benigna.

Significancia y Reivindicaciones

El artículo afirma que los MIPs representan un cambio fundamental en el panorama de riesgos para los agentes de SO. Debido a que los MIPs pueden incrustarse en contenido benigno (fondos de pantalla, publicaciones de redes sociales, anuncios) y propagarse ampliamente sin detección, funcionan de manera similar a los "gusanos informáticos" para los agentes de SO. Los autores argumentan que:

• Sigilo y Propagación: A diferencia de los ataques basados en texto, los MIPs son difíciles de detectar y pueden propagarse de forma autónoma si un agente interactúa con una publicación comprometida (por ejemplo, al darle "me gusta" o compartirla).
• Severidad: El control directo que los agentes de SO tienen sobre el SO significa que un ataque de MIP exitoso puede conducir a la exfiltración inmediata de datos o al compromiso del sistema, superando con creces los riesgos de las alucinaciones tradicionales basadas en texto.
• Urgencia: Los hallazgos resaltan una vulnerabilidad de seguridad crítica que debe abordarse antes del despliegue masivo de los agentes de SO. Los autores sugieren que las defensas actuales son insuficientes y llaman a nuevos marcos, como módulos de verificación o comprobaciones de consistencia conscientes del contexto, para mitigar estas amenazas entre componentes.

Los autores concluyen que, si bien los MIPs no son una panacea para todos los problemas de seguridad de los agentes de SO, exponen una vulnerabilidad específica de alto impacto que requiere estrategias de defensa sistemáticas para garantizar la seguridad de los futuros agentes multimodales.