Resumen Técnico: Toma de Control Adversaria en Tiempo de Prueba (TAKO)

Declaración del Problema

La generación de acciones basada en difusión se ha convertido en un componente fundamental de la IA incorporada (embodied AI), particularmente en políticas visuomotoras que dependen de la condicionamiento visual (por ejemplo, a través de ResNets o ViTs) para generar acciones. Mientras que la investigación adversaria existente en políticas robóticas se ha centrado en la disrupción —perturbando las observaciones para causar fallos en la tarea o comportamientos erráticos—, este artículo identifica una amenaza más grave: la Toma de Control Adversaria en Tiempo de Prueba (TAKO, por sus siglas en inglés).

En el escenario TAKO, un atacante no solo disrumpe una política, sino que la secuestra, obteniendo una interfaz de dirección en tiempo real para convertir una política de robot congelada en un instrumento pilotado remotamente. El atacante busca componer trayectorias arbitrarias definidas por el atacante mediante la alternancia entre un pequeño vocabulario reutilizable de parches adversarios universales inyectados en el flujo de la cámara. Esto desplaza la preocupación de seguridad desde el fallo accidental hacia el control no autorizado y sostenido.

El artículo argumenta que una línea base natural para esta amenaza, el Emparejamiento de la Política Objetivo (TPM), es fundamentalmente defectuosa. El TPM intenta optimizar una perturbación para coincidir con las acciones de una política con un objetivo desplazado. Sin embargo, esto falla debido a:

1. Patología Fuera de Distribución (OOD): La política víctima, entrenada en objetivos específicos, no puede generar de manera fiable el comportamiento deseado cuando el objetivo se desplaza a una configuración OOD.
2. Deriva Acumulativa: En un despliegue de horizonte recesivo, una política de referencia estática optimizada en el momento del entrenamiento no puede corregir la deriva durante la ejecución de largo horizonte, lo que conduce a la divergencia respecto al objetivo.

Metodología

El marco propuesto para TAKO opera en dos etapas: Optimización Offline y Despliegue Composicional Online.

1. Optimización Offline: Vocabulario de Parches Universales

En lugar de intentar coincidir con una trayectoria objetivo específica, el atacante aprende un "vocabulario" de parches adversarios universales. Cada parche corresponde a un primitivo de acción direccional (por ejemplo, "moverse hacia adelante", "moverse a la izquierda").

• Objetivo: Los parches se optimizan para inducir un sesgo direccional consistente en la salida de acción de la política, en lugar de coincidir con un estado objetivo específico.
• Función de Pérdida: Se define una pérdida direccional para maximizar el desplazamiento medio de la secuencia de acciones a lo largo de un eje específico (por ejemplo, $x$ o $y$).
  $$\mathcal{L}_c(\delta_c) = -\sigma_c \cdot \mathbb{E}_{o \sim \mathcal{D}} \left[ \frac{1}{H_a} \sum_{t'=1}^{H_a} \hat{a}_{t', d_c}(o, \delta_c) \right]$$
  Donde $\sigma_c$ es el signo de la dirección deseada, $d_c$ es el eje de la acción, y $\hat{a}$ es la secuencia de acciones generada por la observación con el parche.
• Inferencia Diferenciable: Los gradientes se retropropagan a través de la cadena de inferencia de difusión congelada (incluyendo el codificador de visión y el denoiser) hacia los parámetros del parche. Esto funciona a través de diferentes familias de inferencia (DDPM, DDIM y Flow Matching) porque la perturbación actúa sobre la vía de condicionamiento visual, sesgando el proceso de eliminación de ruido iterativo.

2. Despliegue Composicional Online

En el tiempo de prueba, el atacante posee el vocabulario optimizado $\{\delta^*_c\}$.

• Interfaz de Control: Un operador humano (o un agente automatizado) selecciona un comando $u_t$ del vocabulario (o un estado de "sin parche") en cada paso de replanificación basado en el estado actual.
• Corrección de Bucle Cerrado: A diferencia de los ataques de bucle abierto, el operador puede cambiar los parches en tiempo real para corregir la deriva. La política víctima trata la imagen con el parche como una entrada limpia, generando secuencias de acciones suaves que siguen la trayectoria elegida por el operador.
• Mecanismo: El ataque explota el hecho de que el sesgo adversario introducido mediante el condicionamiento visual persiste a través de la inferencia generativa iterativa, dirigiendo la política lejos de su comportamiento entrenado hacia la dirección deseada por el atacante.

Contribuciones Clave

1. Nuevo Paradigma Adversario: El artículo introduce TAKO, desplazando el objetivo desde la causa de fallo de la política hacia la obtención de una autoridad sostenida y controlable por el operador sobre el comportamiento de la política.
2. Interfaz de Dirección: Demuestra que las políticas visuomotoras basadas en difusión admiten una interfaz de dirección simple: un vocabulario de parches adversarios pre-optimizados que pueden alternarse online para componer trayectorias arbitrarias.
3. Generalizabilidad: El paradigma de toma de control se valida como no dependiente de la tarea o la arquitectura. Funciona a través de:
   • Tareas: Manipulación 2D (PushT), entrega aérea simulada (DeliverDrone), navegación terrestre simulada (SimNav) y navegación terrestre en el mundo real (RealNav).
   • Codificadores: ResNet-18 y EfficientNet-B0 + Transformer.
   • Familias de Inferencia: DDPM, DDIM y Flow Matching.

Resultados Experimentales

Los autores evaluaron TAKO frente a la línea base TPM y las políticas limpias originales en cuatro tareas.

• Fallo de la Línea Base: La línea base TPM logró un 0% de éxito (0/40 ensayos) en todas las tareas. Las políticas víctimas no pudieron generalizarse a las configuraciones de objetivo desplazadas, y las trayectorias de referencia estáticas acumularon deriva.
• Éxito de TAKO: Los operadores humanos que utilizaron la interfaz TAKO lograron un 100% de éxito (40/40 ensayos) en la dirección de los robots hacia objetivos definidos por el atacante que nunca formaron parte de la distribución de entrenamiento.
• Sesgo Direccional: Los parches optimizados indujeron sesgos direccionales consistentes con tasas de éxito que oscilaron entre aproximadamente el 65% y el 100%, dependiendo de la tarea y el método de inferencia, confirmando que los parches funcionan como un vocabulario de acción reutilizable.
• Realizabilidad Física: El ataque se demostró con éxito en una plataforma física iRobot Create 3 (RealNav), probando que la vulnerabilidad se extiende más allá de la simulación.

Significado y Reivindicaciones

El artículo afirma que TAKO representa un cambio crítico de un problema de seguridad de la vida (safety) (prevenir fallos accidentales) a un problema de seguridad informática (security) (prevenir la toma de control no autorizada).

• Vulnerabilidad Estructural: Los hallazgos sugieren que el sesgo adversario introducido a través del condicionamiento visual puede persistir lo suficiente durante la inferencia generativa como para soportar una dirección sostenida. Esta vulnerabilidad es inherente a la arquitectura de las políticas de difusión que dependen del condicionamiento visual, independientemente del algoritmo de eliminación de ruido específico.
• Limitaciones: Los autores señalan que sus experimentos asumen acceso de caja blanca para la optimización offline e inyección digital de parches. Reconocen que realizar esta toma de control mediante parches físicos o optimización de caja negra sigue siendo una dirección para el trabajo futuro.
• Implicaciones: El trabajo motiva la necesidad de métodos de evaluación más fuertes, defensas (como la detección de anomalías en el espacio de entrada o la robustez certificada en codificadores visuales) y mecanismos de seguridad para políticas robóticas generativas bajo control adversario interactivo. Los autores enfatizan que los componentes necesarios para tales ataques (parches adversarios universales, inferencia de difusión diferenciable) ya están presentes en la literatura pública, lo que hace que este sea un ataque plausible para adversarios motivados.