Resumen Técnico: Ataques de Redirección a Nivel de Trayectoria en Modelos de Visión-Lenguaje-Acción

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) permiten que los robots ejecuten tareas de manipulación directamente desde instrucciones de lenguaje natural al mapear texto y observaciones de cámara hacia acciones. Surge una preocupación crítica de seguridad debido a que la instrucción de lenguaje actúa como una señal de condicionamiento persistente en el sistema de control de bucle cerrado; esta se reutiliza en cada paso de replanificación. Mientras que la investigación adversarial existente sobre los VLA se ha centrado en provocar acciones de bajo nivel específicas o en hacer que dichas acciones persistan a través de imágenes cambiantes, estos enfoques no necesariamente controlan el resultado físico final del robot.

Este artículo identifica un modo de fallo más fuerte: la Redirección de Trayectoria con Preservación de Comando. El problema se define como encontrar un único prompt de texto, emitido una sola vez al inicio de un episodio, que:

1. Preserva el comando: Permanece textualmente cercano a la instrucción benigna (por ejemplo, "poner el cuenco sobre la estufa"), es legible y no contiene un lenguaje explícito de tarea objetivo o de corrección.
2. Redirecciona la trayectoria: A pesar de parecer benigno, el prompt causa que la política VLA congelada ejecute una secuencia de acciones que resulta en un resultado físico diferente y especificado por el adversario (por ejemplo, colocar el cuenco sobre un plato en lugar de la estufa).

El desafío central es que las observaciones relevantes para la política no son fijas; estas son inducidas por las acciones tomadas bajo el prompt candidato. Por lo tanto, optimizar un prompt basado en un conjunto estático de observaciones pre-recolectadas falla porque la distribución de estados cambia a medida que el comportamiento del robot cambia.

Metodología

Los autores proponen un algoritmo de Búsqueda de Prompts de Emparejamiento de Profesor On-Policy para descubrir tales prompts de redirección. El método trata el ataque como un problema de optimización a nivel de trayectoria en lugar de una perturbación de entrada estática.

1. Modelo de Amenaza y Restricciones

El adversario controla únicamente la instrucción de texto $\tau$ antes de que comience el episodio. El prompt debe satisfacer el conjunto de restricciones de Preservación de Comando $T_{cp}(\tau_b, \Gamma_e)$, que incluye:

• Cambio de Texto Pequeño: Distancia de edición de caracteres acotada ($C_{text} \le \epsilon$) respecto al prompt benigno $\tau_b$.
• Validez: El prompt debe ser una instrucción de lenguaje natural legible.
• Sin Filtración: El prompt no debe contener palabras o frases del léxico objetivo del atacante $\Gamma_e$ (por ejemplo, "plato" en una tarea de "estufa") ni lenguaje de anulación o corrección.
• Preservación: El prompt debe seguir siendo interpretable como el comando benigno tras la normalización y la corrección ortográfica.

2. Algoritmo de Búsqueda On-Policy

La búsqueda refina iterativamente los prompts candidatos utilizando el siguiente bucle:

• Etiquetas de Profesor: Se consulta al VLA congelado bajo el prompt benigno ($\tau_b$) y un prompt objetivo directo ($\tau_t$, usado solo para la construcción) para generar "chunks" de acción de profesor ($A_b$ y $A_t$) para los estados observados.
• Generación de Candidatos: Los nuevos prompts se generan mediante mutaciones a nivel de carácter (sustituciones, inserciones, intercambios, errores tipográficos) y perturbaciones a nivel de token de los candidatos con mayor puntuación.
• Filtrado de Restricciones: Los candidatos se filtran para asegurar que cumplen con las restricciones de preservación de comando.
• Puntuación: Los candidatos se puntúan basándose en una pérdida de margen entre objetivo y benigno. El algoritmo busca prompts cuyas acciones estén más cerca del profesor objetivo ($A_t$) que del profesor benigno ($A_b$) en la misma observación, minimizando al mismo tiempo el costo de texto.
• Agregación On-Policy: Crucialmente, la búsqueda agrega datos de los estados inducidos por los prompts candidatos actuales (rollouts), no solo de la trayectoria benigna inicial. Esto imita el algoritmo DAgger en el aprendizaje por imitación, asegurando que la búsqueda tenga en cuenta el cambio de distribución secuencial causado por la perturbación.
• Selección de Rollout: Los mejores candidatos se evalúan en rollouts de bucle cerrado. Se selecciona el mejor prompt basándose en una puntuación que recompensa alcanzar el objetivo, fallar en el benchmark y minimizar la perturbación de texto.
• Minimización: Una vez encontrado un prompt exitoso, un proceso de minimización codiciosa elimina las ediciones innecesarias para encontrar la perturbación más corta y efectiva.

Contribuciones Clave

1. Formalización de la Redirección de Trayectoria con Preservación de Comando: El artículo define matemáticamente un modelo de amenaza donde un prompt único y casi benigno redirecciona un VLA congelado hacia un objetivo físico especificado por el adversario sin instrucciones de objetivo explícitas.
2. Búsqueda de Prompts On-Policy: Introducción de un método de búsqueda que utiliza rollouts de bucle cerrado para descubrir perturbaciones, abordando la limitación de los ataques de observación fija que no logran considerar los cambios en la distribución de estados.
3. Evaluación Exhaustiva: El método se evalúa en nueve arquitecturas VLA diversas (incluyendo OpenVLA, $\pi0.5$, Octo, SmolVLA, GR00T-N1) que abarcan diseños de tokens discretos, de coincidencia de flujo (flow-matching), de difusión y de acción-como-texto, tanto en simulación (LIBERO) como en hardware real (brazo SO-100).
4. Análisis de Defensa: Evaluación de las defensas de preprocesamiento (normalización de espacios en blanco, corrección ortográfica, canonicalización), demostrando que la limpieza superficial es insuficiente y que se requiere una normalización a nivel de comando.

Resultados

• Altas Tasas de Éxito: Los ataques lograron tasas de éxito (ASR) superiores al 90% en siete de las nueve arquitecturas VLA evaluadas. Por ejemplo, $\pi0.5$ tuvo un ASR del 97.5%, y MolmoAct del 93.4%.
• Perturbaciones Mínimas: Los ataques exitosos requirieron cambios de texto muy pequeños, con una mediana de distancia de edición de caracteres de solo 3.4 (por ejemplo, cambiar "stove" por "staove").
• Validación en Hardware: La vulnerabilidad persiste en hardware real. Los experimentos en el brazo SO-100 mostraron que las perturbaciones casi benignas causaron el colapso de la tasa de éxito de la tarea original (por ejemplo, cayendo de ~90% a casi 0%) mientras redireccionaban con éxito al robot hacia el objetivo del atacante.
• Análisis Causal: El rastreo causal reveló que el efecto del ataque se concentra en la representación del destino. Perturbar la palabra de destino (ej. "stove") crea estados ocultos que dirigen la cabeza de acción hacia el comportamiento alternativo, mientras que perturbar otras palabras (ej. "put") tiene poco efecto.
• Efectividad de la Defensa: Las defensas ligeras como la normalización de espacios en blanco o la eliminación de puntuación fallaron en detener los ataques. La corrección ortográfica redujo las tasas de éxito pero no fue robusta. Solo la canonicalización de cercanía a la tarea (mapear los prompts a un conjunto finito de comandos validados) redujo significamente el éxito del ataque, aunque esto conlleva el riesgo de reducir la utilidad para instrucciones de vocabulario abierto.

Significancia y Reivindicaciones

El artículo afirma exponer una vulnerabilidad fundamental a nivel de trayectoria en la fundamentación de instrucciones de los VLA. Los autores argumentan que el texto que parece preservar el comando pretendido puede, aun así, otorgar al adversario el control sobre el resultado físico final del robot.

La significancia radica en demostrar que:

• La persistencia no es suficiente: Simplemente hacer que una acción persista a través de las imágenes es insuficiente para controlar el resultado final; toda la trayectoria de bucle cerrado debe ser redireccionada.
• La evaluación estática es defectuosa: Evaluar los prompts en observaciones fijas es inadecuado porque el prompt controla la futura distribución de estados.
• La robustez requiere cambios estructurales: La limpieza de texto superficial es insuficiente. El despliegue robusto requiere tratar la fundamentación del lenguaje como parte del sistema de control de bucle cerrado, lo que potencialmente requiere capas de normalización de comandos que mapeen las entradas ruidosas a un conjunto validado de tareas antes de la generación de acciones.

Los autores mantienen la modestia respecto al alcance, señalando que su evaluación se centra en tareas de manipulación en entornos específicos (LIBIBERO y SO-100) y que la búsqueda asume acceso a consultas, lo que podría sobreestimar las capacidades del atacante en despliegues totalmente restringidos. Se sugiere como trabajo futuro el desarrollo de defensas certificadas de preservación de prompts.