Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) depende críticamente de simuladores para entrenar agentes de toma de decisiones de manera segura y escalable antes de su despliegue en el mundo real. Sin embargo, estos simuladores representan un punto ciego de seguridad.

• La Amenaza: Un desarrollador malicioso (o un proveedor de servicios en la nube) puede alterar sutilmente la dinámica de un simulador para implantar una "puerta trasera" (backdoor) en el agente entrenado.
• Limitaciones de los Ataques Tradicionales: Los métodos existentes (como TrojDRL, SleeperNets, Q-Incept) asumen un modelo de amenaza muy invasivo donde el adversario tiene control total sobre la tubería de entrenamiento, incluyendo la capacidad de leer y modificar las recompensas del agente.
• El Vacío de Seguridad: En la práctica, muchos simuladores (como MuJoCo o PyBullet) solo reciben acciones y devuelven estados; las recompensas se calculan externamente por el usuario. Por lo tanto, un adversario que controla el simulador no tiene acceso a las recompensas (ni para leerlas ni para modificarlas).
• El Desafío: ¿Es posible implantar una puerta trasera efectiva en un agente de RL sin poder observar ni alterar sus recompensas, y sin conocer la tarea específica que el agente está aprendiendo?

2. Metodología: El Ataque "Daze"

Los autores proponen "Daze", un nuevo ataque de puerta trasera diseñado específicamente para operar bajo un modelo de amenaza restringido (sin acceso a recompensas).

Concepto Central

El ataque se basa en la premisa de que, en casi todas las tareas de RL útiles, elegir acciones al azar (distribución uniforme) es subóptimo en comparación con una política razonable. Daze explota esta suboptimalidad universal para castigar al agente si ignora la acción objetivo.

Mecanismo de Funcionamiento

1. Estados Disparadores (Triggered States): El simulador malicioso introduce un estado especial $S_\delta$ cuando se detecta un "disparador" predefinido (por ejemplo, un objeto visual específico en la entrada).
2. La Lógica de "Aturdimiento" (Dazing):
   • Si el agente entra en un estado disparador y selecciona la acción objetivo ($a^+$) deseada por el atacante, el simulador permite que el agente transicione normalmente (como si nada hubiera pasado), manteniendo la recompensa alta.
   • Si el agente entra en un estado disparador y ignora la acción objetivo, el simulador fuerza al agente a entrar en un estado "aturdido" ($S_\phi$). En este estado, el simulador ignora la acción del agente y ejecuta transiciones basadas en acciones seleccionadas aleatoriamente ($U(A)$) durante varios pasos.
3. Consecuencia: Dado que las acciones aleatorias son subóptimas, el agente recibe recompensas bajas (castigo) si no sigue la acción objetivo en los estados disparadores.
4. Optimalidad Teórica: El agente, al intentar maximizar su retorno acumulado, aprenderá que la única forma de evitar el "aturdimiento" y las recompensas bajas es ejecutar estrictamente la acción objetivo $a^+$ cuando detecta el disparador.

Características Clave

• Sin Recompensas: No modifica ni observa las recompensas; solo altera la dinámica de transición ($T$).
• Universal: No necesita conocer la tarea específica ni la función de recompensa del usuario. Funciona en cualquier MDP donde las acciones aleatorias sean subóptimas.
• Sigiloso: En estados normales (sin disparador), el simulador se comporta idénticamente al benigno, permitiendo que el agente aprenda la tarea correctamente y mantenga un rendimiento alto.

3. Contribuciones Clave

1. Nuevo Modelo de Amenaza: Identifican y formalizan la amenaza de simuladores maliciosos que alteran la dinámica de transición sin acceso a las recompensas, llenando un vacío en la literatura de seguridad de RL.
2. Algoritmo Daze: Diseñan un ataque que garantiza teóricamente el éxito del ataque y el sigilo sin necesidad de leer o escribir recompensas.
3. Garantías Teóricas: Proporcionan pruebas formales (Teoremas 1 y 2) que demuestran que una política óptima en el MDP adversario ($M'$) necesariamente:
   • Ejecuta la acción objetivo con probabilidad 1 en estados disparadores (Éxito del ataque).
   • Se comporta óptimamente en estados normales (Sigilo/Stealth).
4. Evaluación Empírica Extensa: Validan el ataque en dominios de espacio de acciones continuas (MuJoCo: HalfCheetah, Hopper, Reacher) y discretas (Atari: Q*bert, Frogger, Pacman, Breakout).
5. Transferencia a Hardware Real: Presentan el primer ejemplo de un ataque de puerta trasera en RL que se transfiere exitosamente de simulación a hardware robótico real (Turtlebot y Fetch), causando comportamientos peligrosos.

4. Resultados Experimentales

Los autores compararon Daze con los métodos más avanzados (SOTA) como TrojDRL, SleeperNets y Q-Incept, los cuales requieren acceso a recompensas.

• Espacio de Acciones Continuo (MuJoCo):
  • Daze superó significativamente a los métodos basados en recompensas.
  • Tasa de Éxito del Ataque (ASR): Daze logró >92% en todos los entornos (ej. 98.5% en Reacher), mientras que TrojDRL y SleeperNets tuvieron un rendimiento muy bajo o nulo (ej. 0% en Reacher para SleeperNets).
  • Retorno Benigno (BR): Daze mantuvo un rendimiento casi idéntico al agente no contaminado, demostrando un sigilo superior.
• Espacio de Acciones Discretas (Atari):
  • Daze igualó o superó el rendimiento de los métodos SOTA en ASR (ej. 99.3% en Q*bert) y obtuvo mejores puntuaciones de retorno benigno.
• Hardware Real:
  • En el robot Turtlebot (tarea de cruce de intersección), al activar el disparador, el robot aceleró hacia adelante y chocó contra otro robot, en lugar de esperar.
  • En el robot Fetch (tarea de camarero), al activar el disparador, el robot giró bruscamente y dejó caer la bola.
  • Esto demuestra que el ataque no es solo una simulación, sino una amenaza física real.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo demuestra que el acceso a las recompensas no es necesario para ejecutar ataques de puerta trasera efectivos en RL. Esto invalida la suposición de seguridad de que proteger la función de recompensa es suficiente.
• Vulnerabilidad de la Cadena de Suministro: Destaca que la confianza en simuladores de terceros (o en la nube) es un riesgo crítico. Un simulador "envenenado" puede corromper agentes que luego se despliegan en robots físicos, vehículos autónomos o sistemas críticos.
• Dificultad de Detección: Daze es difícil de detectar porque sus perturbaciones (transiciones aleatorias) pueden enmascararse fácilmente como técnicas estándar de randomización de dominio (domain randomization), usadas comúnmente para mejorar la robustez en la transferencia Sim2Real.
• Llamado a la Acción: Los autores instan a la comunidad a desarrollar nuevas defensas que no dependan de la validación de recompensas y a auditar los simuladores utilizados en la tubería de entrenamiento de RL.

En resumen, "Daze" revela una vulnerabilidad fundamental en el ecosistema de RL: la dinámica del entorno es tan crítica como la función de recompensa, y su manipulación sutil puede comprometer la seguridad de sistemas autónomos sin que el atacante tenga acceso a los datos de entrenamiento tradicionales.