🤖 AI

CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

El artículo propone CIVA, un método de ataque de caja blanca que explota el subespacio de valores de baja dimensión inducido por el crítico de un agente para generar perturbaciones temporalmente coherentes y de bajo costo que interrumpen eficazmente agentes de modelos de mundo visuales como DreamerV3.

Autores originales: Jiancheng Wang, Mingli Zhu, Tong Zhang, Jiaqi Ruan, Wei Wang, Siyuan Liang, Dacheng Tao

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiancheng Wang, Mingli Zhu, Tong Zhang, Jiaqi Ruan, Wei Wang, Siyuan Liang, Dacheng Tao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas de toma de decisiones que aprenden a actuar imaginando el futuro. A diferencia de los programas más antiguos que simplemente reaccionan a la imagen que ven en este preciso momento, estos agentes avanzados construyen un modelo mental interno de su entorno. Toman una secuencia de entradas visuales, como la transmisión de vídeo de una cámara, y las comprimen en un estado oculto y abstracto que recuerda lo que ha sucedido y predice lo que vendrá después. Este estado interno les permite planificar varios pasos por delante, de forma muy similar a como un conductor humano anticipa una curva en la carretera antes de llegar a ella. A medida que estos sistemas pasan de los videojuegos a la robótica del mundo real y a tareas críticas para la seguridad, comprender cómo perturbarlos se ha convertido en una cuestión vital. Si un agente depende de un flujo continuo de predicciones internas, ¿importa un pequeño fallo momentáneo en la transmisión de la cámara, o su memoria lo suaviza? Este es el rompecabezas central que los investigadores intentan resolver ahora.

Un equipo de científicos ha descubierto que la forma de romper estos agentes de "modelo de mundo" no es atacando cada fotograma de vídeo con ruido aleatorio, sino encontrando una dirección específica y oculta en los datos visuales a la que el propio cerebro del agente es más sensible. En un estudio centrado en agentes entrenados para caminar, jugar al ping-pong y sobrevivir en entornos abiertos, los investigadores descubrieron que estos sistemas son sorprendentemente frágiles cuando se les ataca de una manera muy específica. Desarrollaron un método llamado CIVA, que significa Ataques de Subespacio de Valor Inducidos por el Crítico (Critic-Induced Value-Subspace Attacks). La idea central es que estos agentes tienen un "marcador" integrado que estima constantemente qué tan bueno será su futuro. Al estudiar cómo reacciona este marcador a pequeños cambios, los investigadores descubrieron que la forma más eficaz de reducir la puntuación del agente es empujar los datos visuales a lo largo de un camino muy estrecho y de baja dimensión. Este camino no es aleatorio; es un conjunto específico de direcciones en el espacio de la imagen que la propia lógica interna del agente ha revelado como críticas para su toma de decisiones.

Los investigadores probaron este enfoque contra un agente sofisticado conocido como DreamerV3, que fue entrenado para realizar tareas complejas como caminar sobre dos piernas o jugar una partida de Pong. Establecieron un escenario en el que un atacante solo podía retocar la imagen actual que ve el agente, con un límite estricto de cuánto podían cambiarse los píxeles para asegurar que la perturbación fuera invisible al ojo humano. Los intentos previos de hackear tales sistemas a menudo trataban cada fotograma de vídeo como un objetivo independiente, añadiendo ruido a cada imagen de la secuencia. Sin embargo, los investigadores descubrieron que este enfoque falla contra los agentes de modelo de mundo. Debido a que el agente recuerda los fotogramas pasados y los mezcla en su estado interno, las ráfagas aisladas de ruido se diluyen y se olvidan. La memoria del agente actúa como un filtro, diluyendo el impacto de los ataques aleatorios fotograma a fotograma.

Para superar esto, los investigadores realizaron primero una serie de experimentos fuera de línea donde sondearon el "marcador" interno del agente para ver qué pequeños cambios en la imagen causaban la mayor caída en la puntuación futura prevista. Recopilaron miles de estos cambios efectivos y utilizaron una técnica matemática para encontrar el hilo común entre ellos. Descubrieron que todos los cambios más dañinos estaban concentrados en un subespacio diminuto y de baja dimensión. Imagine una habitación vasta y multidimensional donde cada forma posible de cambiar una imagen es una dirección diferente; los investigadores descubrieron que la debilidad del agente no estaba repartida por toda la habitación, sino que estaba confinada a un pasillo único y estrecho dentro de ella. Una vez que identificaron este pasillo, dejaron de intentar buscar en toda la habitación. En su lugar, restringieron sus ataques para moverse únicamente dentro de este estrecho camino.

En la etapa final de su método, los investigadores aplicaron este descubrimiento en tiempo real. Mientras el agente jugaba, el atacante calculaba el mejor movimiento dentro de ese estrecho pasillo y luego suavizaba los cambios a lo largo del tiempo. Este suavizado fue crucial. Aseguró que la perturbación no tuviera saltos o parpadeos de un fotograma a otro, lo que sería fácilmente perceptible y computacionalmente costoso. Al mantener el ataque constante y alineado con la propia lógica interna del agente, los investigadores pudieron engañar consistentemente al agente para que tomara malas decisiones. Los resultados fueron impactantes. En la tarea de caminar, el rendimiento del agente cayó más de un 26 por ciento, una tasa de fallo significativamente mayor que cualquier otro método probado. En el juego de Pong, la caída fue aún más dramática, con la puntuación del agente cayendo casi un 86 por ciento.

Quizás lo más importante es que los investigadores demostraron que su método no solo era eficaz, sino también eficiente y sutil. Debido a que el ataque estaba confinado a un pequeño número de direcciones, requería mucha menos potencia de cálculo que los métodos anteriores que intentaban calcular los cambios para cada píxel en cada fotograma. Los cambios visuales permanecieron tan sutiles que eran casi indistinguibles del vídeo original para un observador humano, pero descarrilaron por completo la capacidad del agente para funcionar. El estudio también descartó la idea de que el simple hecho de hacer el ataque suave o utilizar patrones aleatorios fuera suficiente. Cuando intentaron utilizar un conjunto de direcciones aleatorias en lugar de la encontrada por el propio marcador del agente, el ataque falló casi por completo. Esto confirmó que la clave del éxito no era solo la matemática del ataque, sino el hecho de que estaba adaptado a la estructura interna específica del agente víctima.

Los hallazgos sugieren que la forma en que pensamos sobre el ataque a los sistemas inteligentes debe cambiar. Para los agentes que dependen de la memoria y de modelos internos, las vulnerabilidades más peligrosas no están en las imágenes individuales que ven, sino en las formas específicas en que esas imágenes se procesan a lo largo del tiempo. Los investigadores demostraron que, al escuchar las propias señales internas del agente, uno puede encontrar un atajo hacia su fracaso. Esto no significa que estos sistemas estén rotos, sino que su fortaleza —usar un estado interno continuo para tomar decisiones— también crea un punto de debilidad único y estrecho. A medida que estas tecnologías se acercan a su despliegue en el mundo real, comprender esta geometría del fallo será esencial para construir defensas que puedan protegerlas de tales disrupciones dirigidas e inteligentes. El trabajo sirve como un recordatorio claro de que, en el mundo de la inteligencia artificial, los ataques más efectivos son a menudo aquellos que comprenden la mente de la máquina mejor de lo que la propia máquina se comprende a sí misma.

Resumen Técnico: CIVA – Ataques de Subespacio de Valor Inducidos por el Crítico en Agentes de Modelos de Mundo Visuales

1. Declaración del Problema

El artículo aborda la vulnerabilidad de los Agentes de Modelos de Mundo Visuales (específicamente DreamerV3) ante ataques adversarios. A diferencia de los agentes de aprendizaje por refuerzo (RL) estándar que reaccionan a observaciones individuales, los agentes de modelos de mundo operan a través de un estado latente recurrente, integrando observaciones pasadas para predecir la dinámica futura.

Los autores identifican un desajuste crítico entre los métodos de ataque adversario existentes y estos agentes:

Dilución Recurrente: Los ataques estándar por fotogramas (por ejemplo, Gradiente Descendente Proyectado o PGD) aplican perturbaciones de forma independiente a cada fotograma. En los agentes de modelos de mundo, el estado latente recurrente suaviza el ruido aislado de alta frecuencia, lo que provoca que los ataques codiciosos (greedy) por fotograma fallen al intentar acumular influencia a lo largo de horizontes extensos.
Restricciones Computacionales y Temporales: Ejecutar PGD de píxel completo en cada fotograma es computacionalmente costoso y produce perturbaciones temporalmente erráticas (jittery) que violan el requisito de "sigilo" (coherencia temporal) necesario para ataques realistas bajo presupuestos estrictos de $\ell_\infty$ por fotograma.
Espacio de Búsqueda Ineficaz: Las direcciones de ataque efectivas no abarcan el espacio de píxeles completo de manera uniforme. En su lugar, los autores observan que las perturbaciones guiadas por el crítico se concentran en un subespacio de baja dimensión sorprendentemente pequeño, inducido por el propio paisaje de valor de la víctima.

2. Metodología: CIVA

El Ataque de Subespacio de Valor Inducido por el Crítico (CIVA) propuesto es un ataque causal, en línea (online) y de caja blanca diseñado para explotar la estructura recurrente de los agentes de modelos de mundo. Opera en dos etapas:

Etapa A: Descubrimiento de Subespacio de Valor Fuera de Línea (Offline)

Sondeo Guiado por el Crítico: El atacante realiza un despliegue (rollout) limpio del agente víctima congelado. Comenzando después de un periodo de calentamiento (para estabilizar el estado latente), recolecta perturbaciones de píxeles ( $\delta$ ) generadas al minimizar el valor predicho del crítico mediante PGD de múltiples pasos.
Extracción del Subespacio: Las perturbaciones recolectadas se apilan en una matriz $\Delta$ . Se realiza una Descomposición en Valores Singulares (SVD) sobre $\Delta$ para extraer los $r$ vectores singulares derechos superiores ( $V_r$ ).
Resultado: Esto forma un Subespacio de Valor Inducido por el Crítico ( $S_r$ ), una base de baja dimensión (por ejemplo, $r=32$ en un espacio de 12,288 dimensiones) que captura las direcciones más sensibles a la función de valor de la víctima.

Etapa B: Ataque de Subespacio en Línea (Online)

Reparametrización: En lugar de optimizar en el espacio de píxeles completo, el atacante optimiza solo los coeficientes ( $\alpha_t \in \mathbb{R}^r$ ) dentro del subespacio precalculado: $\delta_t = V_r \alpha_t$ .
PGD de Subespacio: En cada fotograma, el atacante realiza unos pocos pasos de gradiente sobre la función de pérdida basada en el crítico dentro del subespacio de baja dimensión.
Suavizado Temporal (EMA): Para asegurar la coherencia temporal y el sigilo, los coefjes de subespacio se suavizan mediante una Media Móvil Exponencial (EMA): $\alpha_t = \rho \cdot \alpha_{t-1} + (1-\rho) \cdot \alpha^*_t$ . Esto evita el "jitter" asociado con los ataques independientes por fotograma, manteniendo la fuerza del ataque debido a que el suavizado ocurre dentro del subespacio efectivo del crítico.
Proyección: Los coeficientes suavizados se elevan de nuevo al espacio de píxeles y se proyectan sobre el presupuesto de $\ell_\infty$ y el rango de píxeles válidos.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

Identificación de un Desajuste: Destaca que los ataques exitosos en agentes de modelos de mundo visuales deben dar forma a la representación recurrente interna de la víctima a lo largo del tiempo, en lugar de simplemente degradar fotogramas individuales.
Propuesta de CIVA: Un nuevo marco de ataque que extrae una base de perturbación de bajo rango y consciente de la víctima de forma fuera de línea, y realiza una optimización en línea eficiente y temporalmente coherente dentro de dicho subespacio.
Validación Empírica: Una evaluación exhaustiva que demuestra que las perturbaciones de baja dimensión alineadas con el crítico son significativamente más efectivas para los agentes de modelos de mundo que la optimización directa por fotograma en el espacio de píxeles completo.

4. Resultados Experimentales

Los autores evaluaron CIVA en tres entornos de referencia: DMC Walker Walk (control continuo), Atari Pong (control discreto) y Crafter (supervivencia de código abierto), utilizando un agente víctima DreamerV3 congelado.

Efectividad del Ataque: CIVA superó consistentemente a cinco baselines recientes (MAD, UAP-RL, PA-AD, Illusory, DAPGD).
- En DMC Walker Walk, CIVA logró una caída de recompensa del 26.07% (la mayor entre todos los métodos) manteniendo una baja diferencia absoluta temporal (TempAbs) de 0.646.
- En Atari Pong, CIVA logró una caída de recompensa del 85.71%, superando significativamente al siguiente mejor método (MAD con 66.67%).
Coherencia Temporal y Sigilo: CIVA produjo perturbaciones con una variación temporal (TempAbs) significativamente menor en comparación con los baselines por fotograma (por ejemplo, ~10 veces mejor que PA-AD en DMC), manteniendo una alta similitud perceptual (SSIM).
Estudios de Ablación:
- Reemplazar el subespacio inducido por el crítico con una base aleatoria (V1) o eliminar la restricción de subespacio (V2) redujo drásticamente la efectividad del ataque, confirmando que la estructura específica del subespacio inducido por el crítico es crucial.
- Eliminar el suavizado EMA (V3) aumentó ligeramente la caída de recompensa pero degradó severamente la coherencia temporal, validando el equilibrio gestionado por el EMA.
- Usar el gradiente de la cabeza de recompensa en lugar del valor del crítico (V4) resultó en el ataque más débil, sugiriendo que la superficie de valor de largo horizonte del crítico es la superficie adversaria correcta.

5. Significado y Afirmaciones

El artículo afirma que CIVA demuestra que el paisaje de valor de un agente de modelo de mundo recurrente constituye una superficie adversaria realista y potente. Al alinear las perturbaciones con la sensibilidad del crítico y forzar la coherencia temporal mediante un subespacio de baja dimensión, CIVA supera las limitaciones de los ataques tradicionales por fotograma.

Los autores posicionan este trabajo como un paso necesario hacia la comprensión de la seguridad de los agentes de modelos de mundo visuales antes de desarrollar defensas. Enfatizan que la dinámica latente recurrente de estos agentes induce una geometría específica de perturbaciones efectivas que difiere fundamentalmente de los ataques de RL estándar o de aprendizaje supervisado local por fotograma. El método se presenta como una solución práctica y computacionalmente eficiente para ataques en línea de caja blanca bajo estrictas restricciones de recursos.