Resumen Técnico: TrojanTO – Ataques de Puerta Trasera a Nivel de Acción contra Modelos de Optimización de Trayectorias

Declaración del Problema

Los modelos de Optimización de Trayectorias (TO), como los Transformadores de Decisión (DT) y los Decision ConvFormers (DC), han surgido como herramientas poderosas para el aprendizaje por refuerzo (RL) fuera de línea, particularmente en dominios que requieren espacios de acción continuos como la robótica y la inteligencia encarnada. Sin embargo, sus vulnerabilidades de seguridad permanecen en gran medida inexploradas en comparación con los agentes de RL tradicionales.

Los ataques de puerta trasera existentes en RL suelen depender de la manipulación de recompensas durante la fase de entrenamiento para vincular un desencadenante a una política maliciosa. Este paradigma es ineficaz contra los modelos de TO por tres razones principales:

1. Paradigma de Entrenamiento: Los modelos de TO funcionan como agentes de modelado de secuencias que minimizan la pérdida de reconstrucción (ajustar acciones a estados y retornos a ir) en lugar de optimizar retornos a largo plazo mediante señales de recompensa. En consecuencia, son inherentemente insensibles a la manipulación de recompensas.
2. Escala y Costo: Los modelos de TO son modelos base a gran escala. Reentrenarlos para implantar una puerta trasera es computacionalmente prohibitivo, lo que hace que los ataques tradicionales durante el entrenamiento sean poco prácticos.
3. Complejidad del Espacio de Acción: Inyectar puertas traseras efectivas en espacios de acción continuos de alta dimensión es significativamente más desafiante que en espacios discretos debido a la naturaleza infinita del espacio de acción y la necesidad de un control preciso.

El artículo identifica una brecha crítica: la falta de ataques de puerta trasera a nivel de acción post-entrenamiento, efectivos y sigilosos, diseñados específicamente para modelos de TO.

Metodología: TrojanTO

Los autores proponen TrojanTO, el primer marco de ataque de puerta trasera a nivel de acción adaptado para modelos de TO. A diferencia de métodos anteriores, TrojanTO opera como un ataque post-entrenamiento, modificando un modelo preentrenado sin acceso al conjunto de datos de entrenamiento original. Emplea una estrategia de tres componentes para forjar una conexión fuerte y sigilosa entre un desencadenante y una acción objetivo:

1. Filtrado de Trayectorias (TF)

Para evitar que el modelo se sobreajuste a datos de baja calidad (lo que degrada el rendimiento benigno), TrojanTO filtra el conjunto de datos disponible. Conserva únicamente las trayectorias que superan un umbral de longitud específico ($\epsilon$), asumiendo que las trayectorias más largas representan mejor el comportamiento exitoso. Esto asegura que los datos de entrenamiento de la puerta trasera se alineen con distribuciones de evaluación de alta calidad.

2. Envenenamiento por Lotes (BP)

Para mantener el sigilo y la estabilidad del entrenamiento, TrojanTO evita envenenar lotes completos, lo que podría introducir desafíos fuera de distribución (OOD) para el desencadenante. En su lugar, emplea una estrategia de envenenamiento por consenso:

• Para cada lote de entrenamiento, se selecciona y envenena una transición aleatoria.
• El estado en esta transición se perturba añadiendo un desencadenante $\delta$, y la acción se reemplaza con la acción objetivo $a^\dagger$.
• La función de pérdida combina la pérdida de puerta trasera (obligando al modelo a predecir $a^\dagger$ en la transición envenenada) y la pérdida limpia (manteniendo el rendimiento en transiciones no alteradas). Esta optimización conjunta asegura que el modelo aprenda la puerta trasera sin olvidar su tarea principal.

3. Entrenamiento Alternado (AT)

Para mejorar el acoplamiento entre el desencadenante y la acción objetivo, TrojanTO utiliza un marco de optimización de dos niveles inspirado en la Co-optimización de Modelo de Entrada (IMC). Alterna entre:

• Aprendizaje del Desencadenante: Optimizar los valores del desencadenante $\delta$ utilizando el Método de Gradiente Iterativo con Momento (MI-FGSM) para maximizar la pérdida de puerta trasera.
• Actualización de Parámetros: Actualizar los parámetros del modelo $\tilde{\pi}$ para minimizar la pérdida combinada.
  Este proceso alternado continúa durante un presupuesto designado, después del cual el enfoque se desplaza exclusivamente a actualizar los parámetros del modelo para solidificar la puerta trasera.

Contribuciones Clave

1. Primer Estudio Sistemático de Puertas Traseras a Nivel de Acción en TO: El artículo introduce el primer ataque de puerta trasera post-entrenamiento a nivel de acción contra modelos de TO, desplazando el enfoque de la manipulación de recompensas (ineficaz para TO) al acoplamiento desencadenante-acción objetivo.
2. Investigación Empírica de Factores de Ataque: A través de extensos estudios de ablación, los autores demuestran que:
   • Selección de Acción Objetivo: Las acciones de frontera (por ejemplo, $+1$ o $-1$) producen tasas de éxito de ataque (ASR) significativamente más altas que las acciones interiores.
   • Diseño del Desencadenante: Las dimensiones y valores específicos del desencadenante son críticos; los desencadenantes aprendibles optimizados mediante MI-FGSM superan a los desencadenantes diseñados a mano o derivados de conjuntos de datos.
   • Manipulación de Recompensas: Variar las señales de recompensa durante el entrenamiento de la puerta trasera tiene un impacto negligible en la ASR o en el Rendimiento de Tarea Benigna (BTP), confirmando que la manipulación de recompensas no es un vector viable para modelos de TO.
3. Marco TrojanTO: La propuesta de un nuevo marco de ataque que logra alta efectividad con un presupuesto de ataque extremadamente bajo (0.3% de las trayectorias) mientras mantiene un alto sigilo.

Resultados Experimentales

Los autores evaluaron TrojanTO en seis entornos D4RL (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) utilizando tres arquitecturas de modelos de TO (DT, GDT, DC).

• Efectividad: TrojanTO logró una Tasa de Éxito de Ataque (ASR) promedio de 0.719 y un Rendimiento de Tarea Benigna (BTP) de 0.914.
• Comparación: Superó significativamente a las líneas base:
  • Baffle: Logró 0.369 ASR y 0.792 BTP (requiriendo una tasa de envenenamiento del 10%).
  • IMC: Logró 0.575 ASR y 0.853 BTP.
  • La Puntuación de Rendimiento Compuesto (CP) general de TrojanTO fue de 0.701, representando una mejora de ~105% sobre Baffle.
• Robustez: El ataque permaneció efectivo bajo perturbaciones del desencadenante (ruido) y demostró persistencia, manteniendo la acción objetivo durante múltiples pasos después de la activación del desencadenante.
• Defensa: El artículo probó varias defensas (poda de pesos, análisis espectral, agrupamiento de activaciones, defensa demostrable) y las encontró en gran medida ineficaces. El ajuste fino se identificó como la defensa más efectiva, aunque requiere reentrenamiento.

Significado y Afirmaciones

El artículo afirma que TrojanTO expone una vulnerabilidad crítica e inexplorada en la cadena de suministro de los modelos de TO. Al demostrar que los ataques post-entrenamiento no solo son factibles sino altamente efectivos contra agentes de modelado de secuencias a gran escala, el trabajo desafía la suposición de que los modelos de TO son seguros debido a su paradigma de entrenamiento.

Los autores enfatizan que el núcleo de las puertas traseras a nivel de acción en TO reside en el diseño del desencadenante y no en la manipulación de recompensas. Esta perspectiva requiere una reevaluación de los protocolos de seguridad para sistemas de RL fuera de línea, particularmente aquellos que dependen de modelos base preentrenados. El estudio sirve como un punto de referencia para comprender estas amenazas y motiva el desarrollo de contramedidas robustas para la próxima generación de IA de toma de decisiones.