Resumen Técnico: BadWAM – Cuando los Modelos de Mundo-Acción Sueñan Bien pero Actúan Mal

1. Declaración del Problema

Los Modelos de Mundo-Acción (WAM, por sus siglas en inglés) representan un cambio en la IA corporizada, pasando de políticas puramente reactivas a sistemas que acoplan la generación de acciones con la predicción futura del mundo. El supuesto prevalente es que este acoplamiento proporciona una robustez y seguridad inherentes: si un robot puede "imaginar" las consecuencias de sus acciones, los comportamientos inseguros o inconsistentes pueden detectarse antes de la ejecución.

Este artículo desafía ese supuesto, identificando una vulnerabilidad específica denominada Deriva de Mundo-Acción (World-Action Drift). El problema central es que la alineación entre el futuro imaginado de un WAM y su acción ejecutada es frágil. Un adversario puede introducir pequeñas perturbaciones visuales acotadas para desincronizar estas dos capacidades acopladas. El resultado es un modo de fallo donde el modelo continúa generando predicciones de futuros plausibles (manteniendo la apariencia de seguridad) mientras ejecuta acciones que conducen al fallo de la tarea. Esta brecha hace que los monitores de seguridad basados en la predicción futura sean ineficaces, ya que pueden validar un futuro "plausible" que ya no corresponde a la trayectoria ejecutada real.

2. Metodología: Marco de Trabajo BadWAM

Los autores introducen BadWAM, un marco unificado de caja negra para modelar y evaluar ataques de Deriva de Mundo-Acción. El marco opera bajo un modelo de amenaza donde un adversario puede perturbar la observación visual ($\tilde{o}_t = \text{clip}(o_t + \delta_t)$) antes de que sea procesada por el WAM, sin tener acceso a los gradientes o pesos del modelo.

BadWAM caracteriza la superficie de ataque a lo largo de dos ejes: fuerza del ataque y sigilo. Instancia dos objetivos de ataque específicos:

A. Ataque Adversario Solo de Acción

Este ataque prioriza la disrupción. Trata al WAM como un controlador consultable y busca una perturbación visual acotada ($\|\delta\|_\infty \le \epsilon$) que maximice la desviación entre el bloque de acción limpio ($a$) y el bloque de acción atacado ($a^\delta$):
$$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} D_{\text{act}}(a^\delta_{t:t+H-1}, a_{t:t+H-1})$$
Este ataque ignora el estado del futuro imaginado, centrándose únicamente en dirigir al robot hacia acciones que provocan el fallo de la tarea.

B. Ataque Adversario de Preservación de la Imaginación

Este ataque prioriza el sigilo. Se dirige a sistemas donde las predicciones futuras están expuestas a monitores de seguridad o planificadores. El objetivo es inducir cambios de acción perjudiciales manteniendo el futuro predicho ($z^\delta$ o $v^\delta$) cercano a la imaginación limpia ($z$ o $v$). Esto se formula como una relajación Lagrangiana:
$$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} \left( D_{\text{act}}(a^\delta, a) - \lambda D_{\text{img}}(z^\delta, z) \right)$$
Aquí, $\lambda$ controla el compromiso entre la fuerza del ataque y el sigilo. Un ataque exitoso en este régimen resulta en un robot que "sueña" un futuro seguro pero "actúa" de forma destructiva.

Estrategia de Optimización

BadWAM emplea optimización en línea de orden cero. En cada paso de replanificación, el atacante trata al WAM congelado como una caja negra. Utilizando consultas de diferencia finita, estima el gradiente de la función objetivo con respecto a la perturbación $\delta$ y actualiza la perturbación mediante el descenso de gradiente proyectado. Este enfoque no requiere acceso a los parámetros del modelo ni a los datos de entrenamiento.

3. Contribuciones Clave

1. Identificación de la Deriva de Mundo-Acción: El artículo define una nueva superficie de ataque específica para los WAM donde las salidas de acción pueden ser secuestradas adversariamente mientras los futuros predichos por el modelo permanecen visualmente plausibles.
2. Marco de Trabajo BadWAM: El diseño de un marco unificado con dos instancias:
   • Ataques de solo acción: Para maximizar la disrupción de la ejecución.
   • Ataques de preservación de la imaginación: Para causar fallos preservando futuros predichos plausibles, exponiendo las limitaciones de las verificaciones de seguridad basadas en el futuro.
3. Evaluación Exhaustiva: Evaluación extensa en tareas de manipulación robótica de bucle cerrado (LIBERO y RoboTwin) demostrando una degradación sustancial de la tarea bajo perturbaciones visuales acotadas.
4. Análisis Diagnóstico: Perspectivas detalladas sobre la dinámica del ataque, incluyendo desplazamientos a nivel de canal (que afectan a canales de acción continua y horizontes posteriores), el compromiso entre la preservación del futuro y la fuerza del ataque, y la transferibilidad de los ataques entre diferentes variantes de WAM.

4. Resultados Experimentales

Los autores evaluaron BadWAM en tres variantes de WAM (Solo Acción, Conjunto e IDM WAM) a través de los entornos de referencia LIBERO y RoboTwin.

• Reducción del Éxito de la Tarea: Los ataques degradan significativamente el rendimiento. Para el WAM de Solo Acción en LIBERO, el ataque de solo acción redujo el éxito de la tarea del 96.5% al 43.1% (una caída del 53.4%). Los WAMs Conjuntos e IDM también experimentaron caídas de entre el 30 y el 36% bajo ataques de solo acción.
• Sigilo: El ataque de preservación de la imaginación mantuvo con éxito un fuerte rendimiento de ataque (por ejemplo, reduciendo el éxito a ~63% para el WAM Conjunto) mientras mantenía la distancia del futuro predicho cercana al despliegue limpio. Esto confirma que los monitores de seguridad que dependen únicamente de la plausibilidad del futuro fallarían al detectar estos ataques.
• Fallo Sistemático: Los fallos no fueron aleatorios sino sistemáticos, afectando particularmente a tareas espaciales y de largo horizonte donde los pequeños errores de acción se acumulan con el tiempo. El ataque indujo una deriva progresiva en lugar de un fallo catastrófico inmediato.
• Transferibilidad: Las perturbaciones optimizadas en una variante de WAM se transfirieron eficazmente a otras (por ejemplo, de Conjunto $\to$ IDM), lo que sugiere direcciones de sensibilidad compartidas en el espacio de observación en lugar de un sobreajuste específico del modelo.
• Limitaciones de la Defensa: Las defensas simples no adaptativas (desenfoque Gaussiano, ruido JPEG) mitigaron parcialmente los ataques, pero a costa del rendimiento en condiciones normales o de una protección incompleta. Los detectores de consistencia de aumentación mostraron una baja recuperación (recall) en tasas de falsos positivos prácticas, lo que indica que los métodos de detección actuales son insuficientes.

5. Significancia y Reivindicaciones

El artículo sostiene que el acoplamiento de la acción y la predicción del mundo en los WAM, a menudo promocionado como una característica de seguridad, introduce una vulnerabilidad única. La principal significancia radica en demostrar que la predicción futura por sí sola no es una señal de seguridad fiable.

Los autores argumentan que el objeto crítico para la seguridad no es la acción o la imaginación de forma aislada, sino su alineación. Un WAM puede ser manipulado para ejecutar acciones desincronizadas que causen el fallo de la tarea mientras mantiene un futuro imaginado "plausible". Este hallazgo implica que los mecanismos de seguridad para la IA corporizada deben evolucionar más allá de la comprobación de la plausibilidad de los futuros imaginados; deben verificar explícitamente la sincronización entre la trayectoria imaginada y la acción ejecutada bajo condiciones adversarias. El artículo concluye que BadWAM proporciona un protocolo de diagnóstico necesario para evaluar la verdadera robustez de los modelos de mundo-acción.