Resumen Técnico: TRAP - Ataque de Clasificación Consciente de la Cola para la Planificación de Modelos del Mundo

Enunciado del Problema

Los modelos del mundo permiten que agentes generalistas realicen planificación a largo plazo generando y evaluando internamente trayectorias imaginadas. Si bien este proceso impulsado por la imaginación ofrece capacidades de razonamiento sólidas, introduce vulnerabilidades de seguridad únicas que los ataques de puerta trasera existentes no logran explotar eficazmente.

Los ataques de puerta trasera tradicionales suelen apuntar a características locales, predicciones de un solo paso o salidas de política instantáneas. Sin embargo, estos objetivos suelen ser ineficaces contra los modelos del mundo por dos razones estructurales:

1. Atenuación de las Perturbaciones Locales: En los modelos del mundo, las decisiones dependen de dinámicas de múltiples pasos y de la acumulación de recompensas. Las desviaciones locales inducidas por un disparador en las predicciones de un solo paso a menudo son absorbidas, eliminadas o canceladas por el prior de dinámicas aprendido y el proceso de planificación a lo largo del tiempo.
2. Desalineación con los Mecanismos de Decisión: Los ataques existentes no apuntan al mecanismo de decisión central de la planificación con modelos del mundo: el orden relativo de las trayectorias candidatas. Dado que los planificadores seleccionan acciones basándose en la clasificación comparativa de muchos futuros imaginados en lugar de la puntuación absoluta de una sola trayectoria, desplazar un único estado latente o una salida de acción a menudo falla en alterar el resultado final de la planificación.

El artículo identifica una vulnerabilidad distinta arraigada en la estructura de clasificación de cola larga de las trayectorias imaginadas. En condiciones limpias, las puntuaciones de las trayectorias exhiben una distribución altamente sesgada donde solo una pequeña fracción de trayectorias de alto valor en la "cola" domina la toma de decisiones. Interrumpir el ordenamiento de estas trayectorias específicas críticas para la decisión puede secuestrar sistemáticamente el proceso de planificación.

Metodología: Marco TRAP

Los autores proponen TRAP (Ataque de Clasificación Consciente de la Cola para la Planificación de Modelos del Mundo), un marco de ataque de puerta trasera condicionado por disparadores y ejecutado en tiempo de inferencia. TRAP opera sin modificar los parámetros del modelo ni envenenar la tubería de entrenamiento; en su lugar, aplica un parche de disparador visual localizado espacialmente a la observación de entrada en el momento del despliegue.

El marco consta de dos componentes principales:

1. Pérdida de Clasificación Consciente de la Cola

En lugar de perturbar todas las trayectorias imaginadas de manera uniforme, TRAP centra la optimización en la cola de alto valor de la distribución de trayectorias limpias.

• Identificación: Para una observación dada, el sistema identifica el subconjunto de pasos de trayectoria que caen dentro del cuantil superior de la distribución de puntuaciones limpias (la "cola").
• Objetivo: El ataque busca suprimir las puntuaciones de estas trayectorias de cola críticas para la decisión en relación con otras. La función de pérdida agrega las desviaciones de puntuación ($\Delta J$) específicamente sobre estos pasos de cola enmascarados.
• Agregación: Se utiliza un operador softmin a través de las trayectorias candidatas para priorizar la supresión de aquellas donde las puntuaciones de cola siguen siendo difíciles de reducir, asegurando que el ataque apunte a los futuros más influyentes.

2. Mecanismos de Doble Puerta

Para estabilizar la optimización de la pérdida consciente de la cola y evitar que el ataque degrade el rendimiento limpio o se vuelva inestable, TRAP introduce dos pérdidas de puerta:

• Puerta de Signo ($L_{sign}$): Penaliza las actualizaciones donde el disparador aumenta inadvertidamente la puntuación de una trayectoria ($\Delta J > 0$). Esto asegura que la dirección del ataque permanezca consistente (supresión).
• Puerta de Magnitud ($L_{mag}$): Evita una supresión excesivamente agresiva. Si la desviación de la puntuación de una trayectoria excede un margen de seguridad ($\Delta J < -\beta$), se penaliza una supresión adicional. Esto mantiene la estabilidad de la optimización y evita distorsiones innecesarias.

El objetivo total del ataque combina la pérdida consciente de la cola, las pérdidas de doble puerta y regularizadores estándar en el espacio de imágenes (Variación Total y norma $L_2$) para asegurar que el parche de disparador sea espacialmente suave y acotado.

Contribuciones Clave

1. Primera Puerta Trasera en Tiempo de Inferencia para Modelos del Mundo: TRAP es el primer marco que realiza ataques de puerta trasera condicionados por disparadores en modelos del mundo durante la inferencia, manipulando la toma de decisiones a largo plazo mediante disparadores visuales sin requerir manipulación de parámetros.
2. Identificación de la Vulnerabilidad de Clasificación: El trabajo identifica el ordenamiento relativo de las trayectorias candidatas como la superficie de ataque principal en la planificación con modelos del mundo, avanzando más allá de objetivos convencionales como errores de predicción de un solo paso o manipulación de representaciones latentes.
3. Formulación de Ataque Consciente de la Cola: Los autores introducen un objetivo novedoso de clasificación consciente de la cola combinado con mecanismos de doble puerta para lograr una manipulación estable y que preserva el comportamiento de los resultados de la planificación.
4. Validación Empírica: El marco se valida en modelos del mundo representativos (DreamerV3 y TD-MPC2) a través de diversas tareas, demostrando alta efectividad y transferibilidad.

Resultados Experimentales

Los autores evaluaron TRAP en DreamerV3 (optimización de políticas basada en imaginación latente) y TD-MPC2 (control predictivo de modelos) en entornos de control continuo (DMControl), planificación con recompensas dispersas (Crafter) y acciones discretas (Atari).

• Efectividad del Ataque: TRAP supera consistentemente a las líneas base de parches aleatorios.
  • En DreamerV3 (Crafter), TRAP logró una caída de retorno medio del 63.2% y una Tasa de Éxito del Ataque (ASR) del 98.1%, en comparación con una degradación insignificante de la línea base.
  • En TD-MPC2 (hopper-hop), TRAP logró una caída de retorno medio del 99.8% y un ASR del 100%.
  • En la mayoría de las tareas, TRAP llevó el ASR a casi el 100%, indicando una desviación de comportamiento persistente siempre que el disparador estaba presente.
• Fidelidad Limpia: El ataque mantiene un comportamiento normal en entradas limpias, con un impacto mínimo en el rendimiento cuando el disparador está ausente.
• Eficiencia: El ataque incurre en una sobrecarga computacional modesta (sobrecarga de tiempo de ejecución generalmente entre 0.8x y 1.3x en relación con la evaluación limpia).
• Robustez: Los experimentos de diagnóstico muestran que TRAP permanece efectivo a través de tamaños de parche variables y presupuestos de perturbación. También demuestra resiliencia frente a defensas estándar en el espacio de imágenes (por ejemplo, filtrado mediano, compresión JPEG, suavizado gaussiano), aunque estas defensas reducen la efectividad en cierta medida.

Significado y Afirmaciones

El artículo afirma que TRAP expone una brecha de seguridad fundamental en los agentes basados en modelos del mundo. El significado del trabajo radica en demostrar que:

• Vulnerabilidad Estructural: La dependencia del ordenamiento de trayectorias de cola de alto valor para la toma de decisiones crea una vulnerabilidad específica que los ataques de puerta trasera estándar pasan por alto.
• Persistencia del Ataque: A diferencia de los ataques en modelos reactivos, TRAP induce desviaciones de comportamiento sostenidas a lo largo de horizontes largos porque interrumpe el ordenamiento de trayectorias en el que el planificador confía para la evaluación futura.
• Necesidad de Nuevas Defensas: Los hallazgos destacan que las evaluaciones de seguridad actuales son insuficientes para agentes impulsados por modelos del mundo. Los autores argumentan a favor de la necesidad de una evaluación de seguridad dedicada, análisis de robustez y diseño de defensas específicamente adaptados a los mecanismos de planificación de los modelos del mundo antes de su despliegue en aplicaciones críticas para la seguridad como la robótica y la conducción autónoma.