Resumen Técnico: WMAttack

Enunciado del Problema

A pesar de la creciente adopción de modelos del mundo como agentes de toma de decisiones en el aprendizaje por refuerzo (RL), su robustez adversarial sigue siendo poco explorada. Los métodos de evaluación actuales enfrentan un compromiso crítico entre precisión y eficiencia. Los ataques débiles y ajustados manualmente suelen sobreestimar la robustez, mientras que las búsquedas exhaustivas de hiperparámetros son computacionalmente prohibitivas. Esto se debe a que evaluar un único candidato de ataque en un entorno de modelo del mundo requiere despliegues en bucle cerrado a través de dinámicas latentes aprendidas, lo cual es significativamente más costoso que las evaluaciones estándar de aprendizaje supervisado. Además, la eficacia del ataque es altamente sensible a las dinámicas del entorno, los espacios de observación y los hiperparámetros adversarios, lo que hace que el ajuste manual sea poco fiable. El artículo identifica la falta de marcos dedicados y automatizados para exponer y cuantificar sistemáticamente los modos de fallo de los agentes de modelos del mundo bajo condiciones adversarias.

Metodología

Los autores proponen WMAttack, un marco automatizado de búsqueda de ataques diseñado para evaluar agentes de modelos del mundo bajo un presupuesto de evaluación finito. El objetivo central se formula como un problema de búsqueda sobre configuraciones de ataque (incluyendo familias de ataques, presupuestos de perturbación, pasos de optimización, reinicios y reglas de asignación) para maximizar una función de utilidad escalarizada. Esta utilidad equilibra la degradación de la recompensa, la inestabilidad de la acción, el tiempo de evaluación y la variabilidad de los despliegues.

WMAttack emplea un proceso de optimización en dos etapas para navegar el gran espacio de búsqueda:

1. Recuperación de Ataques Guiada por Representación (RGAR):
   Para abordar el problema de "inicio en frío", donde los evaluadores carecen de conocimiento previo sobre ataques efectivos para un nuevo par tarea-agente, RGAR recupera configuraciones de ataque históricas de tareas con representaciones similares. Construye un resumen conductual latente ($\psi_\tau$) de la nueva tarea basado en trayectorias limpias (estados latentes, predicciones, acciones, recompensas). Al proyectar dinámicas diversas en un espacio latente unificado, RGAR identifica los $K$ registros históricos más similares y los utiliza para inicializar la distribución de propuesta de ataque ($q_0$). Esto proporciona un inicio cálido, aprovechando la experiencia entre tareas en lugar de una inicialización aleatoria no informada.

2. Búsqueda de Ataques de Auto-corrección (SCAS):
   Tras la inicialización, SCAS refina iterativamente la estrategia de búsqueda utilizando retroalimentación de los ensayos evaluados. Trata al generador de candidatos clasificados como una distribución de propuesta implícita ($q_t$). Después de evaluar un lote de candidatos mediante despliegues en bucle cerrado, SCAS utiliza retroalimentación multidimensional (degradación de la recompensa, inestabilidad de la acción, tiempo de ejecución, variabilidad) para actualizar la distribución de propuesta. Los ensayos de alta utilidad sirven como anclas para el refinamiento local, mientras que las señales de retroalimentación ajustan las direcciones de búsqueda (por ejemplo, modificando presupuestos de perturbación o pasos de optimización). Este bucle de auto-corrección concentra el presupuesto de evaluación en regiones del espacio de ataque más propensas a exponer fallos del modelo del mundo.

Base Teórica: El artículo proporciona una explicación teórica que demuestra que si el refinamiento de la propuesta (mediante RGAR o SCAS) desplaza la masa de probabilidad hacia configuraciones de ataque de alta utilidad (el conjunto $G_\eta$), la probabilidad de descubrir un ataque efectivo dentro de un presupuesto finito aumenta. Específicamente, la regla de actualización $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$, donde $q^*$ es una distribución de referencia sesgada por la utilidad, garantiza un aumento en la probabilidad de muestrear una configuración efectiva si la referencia está más concentrada en el conjunto efectivo que la propuesta actual.

Contribuciones Clave

1. Formulación del Problema: Los autores formulan la evaluación de la robustez adversarial para modelos del mundo como un problema de búsqueda de configuración de ataque con presupuesto finito, con el objetivo de identificar eficientemente ataques de alto impacto a través de diversas tareas, modelos y configuraciones de hiperparámetros.
2. Marco WMAttack: Desarrollan un marco automatizado que combina RGAR y SCAS. RGAR permite la transferencia de experiencia entre tareas mediante representaciones conductuales latentes, mientras que SCAS utiliza el refinamiento de propuestas impulsado por retroalimentación para concentrar adaptivamente los esfuerzos de búsqueda.
3. Perspectiva Teórica: El artículo ofrece una explicación teórica de por qué el refinamiento de propuestas impulsado por retroalimentación mejora la eficiencia de la búsqueda, mostrando que desplazar la masa de probabilidad hacia configuraciones de alta utilidad reduce el tiempo de espera esperado para encontrar ataques efectivos.
4. Evaluación Empírica: Se realizaron experimentos extensos en 46 tareas de las suites Atari y DeepMind Control (DMC) utilizando diversas arquitecturas de modelos del mundo (DreamerV2, DreamerV3, TD-MPC2, IRIS).

Resultados

La evaluación demuestra que WMAttack descubre consistentemente ataques más fuertes que tanto la búsqueda aleatoria como una línea base de autoresearch estilo Claudini (que utiliza retroalimentación iterativa pero carece de recuperación entre tareas).

• Fuerza del Ataque: En DreamerV3 Atari, WMAttack logró una caída de recompensa normalizada de 1.034, superando con márgenes significativos a la línea base Claudini (0.497) y a la búsqueda aleatoria (0.446). Fue el único método que arrojó una utilidad escalarizada positiva (0.430), lo que indica que el costo de la búsqueda estaba justificado por la fuerza del ataque. En DMC, WMAttack mejoró la caída de recompensa de 0.319 (Claudini) a 0.682.
• Generalización entre Modelos: El marco expuso con éxito vulnerabilidades en DreamerV2, TD-MPC2 e IRIS, logrando ganancias consistentes en la caída de recompensa y la inestabilidad de la acción a través de estas diferentes arquitecturas.
• Eficiencia de Búsqueda: WMAttack alcanzó el 90% de su mejor utilidad final en el 87.5% de los pares tarea-ataque en Atari, en comparación con ~53% para las líneas base. En DMC, la tasa de acierto mejoró de ~18% a 49.0%.
• Estudios de Ablación:
  • RGAR vs. SCAS: RGAR mejoró significativamente la calidad inicial de los candidatos (utilidad de la primera ronda), mientras que SCAS fue esencial para refinar estos candidatos en ataques finales de alta utilidad. Ningún componente por separado logró el rendimiento del sistema combinado.
  • Backbones de LLM: La elección del backbone de LLM (por ejemplo, Qwen2.5-3B vs. 7B) afectó el rendimiento de manera no monótona. Los modelos más pequeños (3B) a veces superaron a los más grandes (7B) en términos de caída de recompensa y utilidad, lo que sugiere que la eficacia depende del compromiso entre fuerza y costo, y no solo del número de parámetros.

Significado y Afirmaciones

El artículo afirma que WMAttack cierra la brecha entre los protocolos de evaluación adversarial estáticos (como AutoAttack para visión supervisada) y los requisitos dinámicos y de alto costo de la evaluación de modelos del mundo. Al tratar la evaluación como una búsqueda automatizada con presupuesto finito, WMAttack proporciona una forma sistemática de exponer modos de fallo que el ajuste manual o la búsqueda aleatoria podrían pasar por alto.

Los autores enfatizan que su objetivo no es certificar la robustez global, sino descubrir eficientemente ataques de alto impacto. El significado radica en la demostración de que aprovechar las similitudes intrínsecas entre modelos del mundo (mediante RGAR) y adaptar las estrategias de búsqueda basándose en retroalimentación de bucle cerrado (mediante SCAS) permite descubrir configuraciones adversarias sustancialmente más potentes bajo presupuestos computacionales fijos. Este enfoque ofrece una vía práctica para la evaluación orientada a la seguridad de agentes de modelos del mundo cada vez más complejos.