Resumen Técnico: ARB4WM – Un Benchmark de Robustez Adversaria para Modelos de Mundo en Control Continuo

1. Planteamiento del Problema

Los modelos de mundo, particularmente los agentes tipo Dreamer, se despliegan cada vez más en sistemas de control continuo críticos para la seguridad (p. ej., robótica, conducción autónoma) debido a su capacidad para aprender la dinámica latente para la planificación y la toma de decisiones. A diferencia de los agentes libres de modelo (model-free) que mapean observaciones directamente a acciones, los modelos de mundo codifican entradas visuales en estados latentes compactos, aprenden dinámicas recurrentes y optimizan el comportamiento a través de trayectorias imaginadas.

Si bien trabajos previos han establecido que los agentes de aprendizaje por refuerzo (RL) son vulnerables a las observaciones adversarias, las evaluaciones existentes son insuficientes para los modelos de mundo. La mayoría de los benchmarks actuales se centran en políticas libres de modelo o tratan al agente como una simple red de política, evaluando únicamente la robustez en el espacio de acciones. Este enfoque no logra capturar los modos de falla específicos del pipeline de un modelo de mundo, donde las perturbaciones adversarias pueden corromper:

• Los estados de creencia recurrentes (dinámica latente).
• Las predicciones de valor utilizadas para rollouts imaginados.
• La consistencia entre las distribuciones posterior y prior en el Modelo de Espacio de Estado Recurrente (RSSM).

Consecuentemente, existe una falta de un marco unificado para diagnosticar dónde y cómo las perturbaciones visuales adversarias interrumpen el pipeline de decisión latente a través de diferentes arquitecturas de modelos de mundo.

2. Metodología: El Marco ARB4WM

Los autores presentan ARB4WM, un marco de pruebas de robustez repetible diseñado para evaluar agentes de modelos de mundo bajo perturbaciones visuales. El marco evalúa cuatro agentes de la familia Dreamer (Dreamer, R2-Dreamer, Dreamer-InfoNCE y Dreamer-Pro) en 20 tareas de MetaWorld y el DeepMind Control Suite (DMC).

2.1. Interfaz de Ataque Unificada

ARB4WM define una interfaz unificada que accede a los componentes internos del pipeline de Dreamer durante la inferencia y los rollouts de imaginación. Esto permite ataques dirigidos a elementos arquitectónicos específicos en lugar de solo a la salida de acción final.

2.2. Cinco Objetivos de Ataque de Caja Blanca

El marco introduce cinco objetivos de pérdida distintos para atacar diferentes componentes del pipeline del modelo de mundo:

1. Ataque de Divergencia de Política (PDA): Maximiza la divergencia de Kullback–Leibler entre la distribución de la política limpia y la distribución de la política adversaria ($\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$).
2. Ataque de Entropía de Política (PEA): Maximiza la entropía de la política adversaria para inducir indecisión ($\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$).
3. Ataque de Supresión de Valor (VSA): Minimiza el valor de estado predicho por el crítico para desestabilizar la planificación de largo horizonte ($\mathcal{L}_{VSA} = -V(\tilde{f}_t)$).
4. Ataque de Deriva Latente (LDA): Maximiza la distancia euclidiana al cuadrado ($L_2$) entre los estados latentes limpios y adversarios (tanto el estocástico $z_t$ como el determinista $h_t$) para corromper el estado de creencia ($\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$).
5. Ataque de Consistencia de Dinámica (DCA): Maximiza la divergencia KL entre las distribuciones posterior y prior del RSSM para romper la consistencia de la imaginación latente ($\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$).

2.3. Optimización y Protocolos Temporales

• Optimizadores: El marco emplea tanto ataques de un solo paso (FGSM) como ataques iterativos de múltiples pasos basados en gradientes (PGD).
• Modos de Exposición Temporal: Para simular restricciones realistas y estudiar la propagación del estado recurrente, el marco evalúa:
  • Cuadro completo (Full-frame): Perturbando cada cuadro (presión máxima).
  • Semi-secuencia (Half-sequence): Perturbando solo la primera o segunda mitad del episodio para probar la recuperación y la propagación a largo plazo.
  • Esparcido-periódico (Sparse-periodic): Perturbando cada $n$ cuadros para probar la resiliencia de la dinámica latente contra ataques intermitentes.

2.4. Métricas de Evaluación

El marco reporta:

• Área Bajo la Curva normalizada por la Limpia (nAUC): Agrega el rendimiento a través de los presupuestos de perturbación.
• Recuperación de Defensa: Mide la extensión en la que las defensas de entrada (p. ej., compresión JPEG, filtrado de mediana) restauran el rendimiento.
• Brecha de Defensa Adaptativa: Cuantifica la caída en la efectividad de la defensa cuando el atacante es consciente de la misma.
• Diagnósticos de Saliencia de la Política: Analiza cómo los objetivos adversarios alteran la evidencia espacial (mapas de saliencia) utilizada por la política.

3. Resultados Clave

Los experimentos a través de 20 tareas y cuatro agentes arrojaron los siguientes hallazgos:

• Vulnerabilidades a Nivel de Componente: Se encontró que los ataques dirigidos a la estimación de valor (VSA), las representaciones latentes (LDA) y la dinámica del RSSM (DCA) eran tan dañinos como la disrupción directa de la política (PDA/PEA). En muchos casos, VSA y PEA fueron los objetivos de ataque más fuertes, lo que indica que corromper el crítico o la incertidumbre de la política es altamente efectivo.
• Propagación Temporal: Los ataques de cuadro completo causaron la degradación más significativa. Crucialmente, las perturbaciones tempranas (ataques de la primera mitad) fueron a menudo más dañinas que las perturbaciones tardías, lo que sugiere que los errores inyectados en el estado latente recurrente persisten y se propagan incluso después de que el ataque se detiene. Los ataques esparcidos (cada 2 cuadros) también causaron una degradación sustancial, mientras que intervalos más altos (cada 4-6 cuadros) permitieron que el estado latente se reanclara.
• Sensibilidad Arquitectónica: R2-Dreamer demostró la mayor robustez promedio a través de los benchmarks, mientras que Dreamer-Pro fue consistentemente el más débil, a pesar de su diseño para mejorar el aprendizaje de representaciones. Esto sugiere que la calidad nominal de la representación no garantiza la estabilidad adversaria.
• Limitaciones de las Defensas: Las defensas a nivel de entrada (JPEG, filtrado de mediana) proporcionaron una recuperación parcial bajo ataques no adaptativos, pero ofrecieron una protección limitada contra ataques adaptativos. La efectividad de las defensas fue altamente dependiente de la tarea; por ejemplo, ayudaron en tareas de manipulación con pistas visuales redundantes, pero fallaron en tareas de control de equilibrio que requieren una extracción de características precisa.
• Cambios de Saliencia: Los objetivos adversarios alteraron la sensibilidad espacial de la política. Los ataques sobre el valor y la consistencia de la dinámica (VSA, DCA) tendieron a desplazar la atención de la política lejos de la región objetivo de manera más significativa que los ataques a nivel de política.

4. Significado y Reivindicaciones

El artículo afirma que ARB4WM aborda una brecha crítica en la evaluación de seguridad de los agentes de modelos de mundo al ir más allá de la simple robustez en el espacio de acciones. Sus principales contribuciones e implicaciones son:

1. Evaluación de Seguridad Holística: Los autores argumentan que la evaluación de robustez para los modelos de mundo debe cubrir el pipeline completo de decisión latente, incluyendo las salidas de la política, las estimaciones del crítico, las representaciones latentes y la consistencia de la dinámica. Depender únicamente de métricas del espacio de acciones ignora los modos de falla internos que se propagan a través del sistema.
2. Conciencia del Riesgo Temporal: El marco destaca que los protocolos de exposición temporal son esenciales para la evaluación de riesgos. La persistencia de la corrupción del estado latente significa que las evaluaciones de seguridad deben considerar si un controlador puede recuperarse de perturbaciones intermitentes o de etapa temprana.
3. Realismo de la Defensa: Los resultados sugieren que las defensas a nivel de entrada deben tratarse como mitigaciones parciales en lugar de mecanismos de certificación. La significativa "brecha de defensa adaptativa" indica que las defensas deben ser evaluadas contra atacantes que pueden optimizar a través del pipeline de defensa.
4. Implicaciones Arquitectónicas: Los hallazgos implican que la elección de los objetivos de aprendizaje de representación (p. ej., reducción de redundancia en R2-Dreamer frente al aprendizaje de prototipos en Dreamer-Pro) influye directamente en la geometría local de la composición encoder-RSSM-head, afectando así la robustez adversaria.

En resumen, ARB4WM proporciona un flujo de trabajo estandarizado y repetible para diagnosticar modos de falla específicos en agentes de modelos de mundo, ofreciendo una base para desarrollar sistemas de control basados en modelos visuales más robustos para aplicaciones industriales y de seguridad crítica.