Resumen Técnico: BehaviorGuard: Defensa en Línea de Puertas Traseras para Aprendizaje por Refuerzo Profundo

1. Declaración del Problema

El Aprendizaje por Refuerzo Profundo (DRL) se despliega cada vez más en dominios críticos para la seguridad, como la conducción autónoma, la robótica y los videojuegos. Sin embargo, las políticas de DRL son altamente vulnerables a ataques de puerta trasera, donde un adversario implanta un mecanismo oculto durante el entrenamiento. Este mecanismo provoca que el agente ejecute comportamientos maliciosos ante la presencia de un desencadenante específico (por ejemplo, un parche visual o una secuencia de interacciones), mientras mantiene un rendimiento benigno en caso contrario.

Los mecanismos de defensa existentes enfrentan limitaciones significativas:

• Dependencia de Anomalías en la Recompensa: Muchas defensas asumen que la activación de la puerta trasera causa señales de recompensa anormales. Sin embargo, los ataques sofisticados pueden mantener trayectorias de recompensa normales, lo que conduce a altas tasas de falsos negativos.
• Dependencia del Desencadenante: Los métodos que requieren la reconstrucción del desencadenante o conocimientos previos sobre los patrones de desencadenante fallan ante desencadenantes complejos, secuenciales o basados en interacciones.
• Alto Costo Computacional: Las defensas que implican el reentrenamiento o ajuste fino de la política son computacionalmente costosas y a menudo poco prácticas para el despliegue en línea.
• Escalabilidad: La mayoría de los métodos existentes están diseñados para configuraciones de agente único y luchan para generalizarse a las dinámicas no estacionarias y acopladas del Aprendizaje por Refuerzo Multiagente (MARL).

El desafío central es desarrollar una defensa que sea agnóstica al desencadenante, en línea, computacionalmente eficiente y efectiva tanto en entornos de agente único (SARL) como multiagente (MARL), sin requerir reentrenamiento de la política.

2. Metodología: BehaviorGuard

Los autores proponen BehaviorGuard, un marco unificado que desplaza el enfoque de la defensa desde el reconocimiento de patrones de desencadenante específicos hacia la identificación de comportamientos de salida unificados de puerta trasera.

2.1 Intuición Clave: Deriva Conductual

La idea central de BehaviorGuard es que, independientemente del patrón del desencadenante o del entorno, una política con puerta trasera debe sesgar sutil pero persistentemente su distribución de acciones para garantizar una activación fiable cuando aparece el desencadenante. Incluso en ausencia de desencadenantes, este "conflicto" entre la tarea benigna principal y la tarea de puerta trasera induce una deriva conductual en la distribución de acciones.

• En SARL, esto se manifiesta como distribuciones dispersas con colas más pesadas en comparación con la línea base limpia estable.
• En com-MARL, donde las políticas limpias exhiben naturalmente distribuciones más amplias debido a las interacciones adversarias, las políticas con puerta trasera a menudo imponen una estrategia anormalmente fija, lo que conduce a una distribución inusualmente concentrada.

2.2 Detección de Deriva Conductual (BDD)

BehaviorGuard cuantifica esta deriva utilizando una Puntuación de Deriva Conductual (BDS).

• Cálculo de BDS: Para un paso de tiempo dado $t$, el BDS mide la desviación de la probabilidad de acción predicha $p_{t,k}$ respecto a la media ($\mu_k$) y la desviación estándar ($\sigma_k$) estimadas a partir de ejecuciones limpias:
  $$BDSt = \frac{1}{2} \sum_{k=1}^{K} \left( \frac{p_{t,k} - \mu_k}{\sigma_k + \epsilon} \right)^2$$
• Análisis de Densidad: La secuencia de valores de BDS se analiza utilizando Estimación de Densidad de Kernel (KDE) para identificar regiones de cola de baja densidad donde ocurren desviaciones raras.
• Puntuación Compuesta: Se calcula una puntuación de detección combinando la magnitud media de la deriva y la proporción de pasos de tiempo en la cola de baja densidad, normalizada mediante puntuaciones Z. Si esta puntuación supera un umbral (calibrado en líneas base limpias), la política se marca como potencialmente con puerta trasera.

2.3 Mitigación con Restricción de Deriva

Al detectar una deriva persistente, BehaviorGuard emplea una estrategia de mitigación ligera y sin reentrenamiento:

1. Acciones de Referencia: Se establece un conjunto de acciones de referencia ($A_{ref}$), que representan el comportamiento benigno típico, de forma offline.
2. Indicador de Deriva: Una ventana temporal rastrea las detecciones consecutivas de deriva. Si la cuenta supera un umbral $L$, el sistema entra en un régimen de "comportamiento anormal persistente".
3. Corrección Probabilística: Cuando el régimen está activo, la acción cruda del agente se reemplaza probabilísticamente con la acción de referencia con probabilidad $p$. Esto suprime los comportamientos de puerta trasera mientras preserva el rendimiento benigno y evita una sobre-corrección determinista.

3. Contribuciones Clave

1. Identificación de la Deriva Conductual: El artículo identifica la deriva conductual en las distribuciones de acciones como una firma de troyano agnóstica al ataque y al entorno, observable incluso sin la activación del desencadenante.
2. Marco Unificado: BehaviorGuard es la primera defensa en línea capaz de detectar y mitigar puertas traseras tanto en configuraciones de agente único como multiagente (competitivas y cooperativas) de DRL.
3. Mitigación sin Reentrenamiento: El método propuesto suprime las acciones de puerta trasera en tiempo de ejecución sin requerir costoso reentrenamiento de la política ni reconstrucción del desencadenante.
4. Evaluación Exhaustiva: Experimentos extensos en diversos puntos de referencia (juegos de Atari, Sumo-Humans, QMIX, COMA) demuestran una eficacia y eficiencia superiores en comparación con las líneas base más avanzadas.

4. Resultados Experimentales

Los autores evaluaron BehaviorGuard frente a varios ataques de puerta trasera (instantáneos, secuenciales, con restricción de recompensa) en entornos SARL y MARL.

• Eficacia de la Defensa: BehaviorGuard superó consistentemente a las líneas base (incluyendo Neural Cleanse, STRIP, BIRD, SHINE y PD) en entornos envenenados. Logró tasas de mitigación (MR) cercanas o superiores a 1.0 (indicando una recuperación total o ligera sobre-recuperación a niveles de rendimiento limpio) en todos los escenarios probados.
• Rendimiento de Detección: El método logró puntuaciones altas del Área bajo la Curva (AUC) (por ejemplo, >0.90 en SARL y >0.94 en MARL), demostrando una separación fiable entre políticas limpias y con puerta trasera incluso bajo dinámicas no estacionarias.
• Robustez: A diferencia de los métodos dependientes del desencadenante, BehaviorGuard mantuvo una alta robustez frente a ataques avanzados, incluidos aquellos diseñados para suprimir anomalías de recompensa o utilizar desencadenantes secuenciales complejos.
• Eficiencia: BehaviorGuard redujo significativamente los costos de tiempo. Mientras que métodos como SHINE requerían horas para operaciones offline (restauración de desencadenante y ajuste fino), BehaviorGuard completó todo su proceso (calibración offline + detección/mitigación en línea) en aproximadamente 35 minutos, con una sobrecarga de inferencia en línea mínima.

5. Significado y Afirmaciones

El artículo afirma que BehaviorGuard representa un cambio de paradigma en la seguridad de DRL al alejarse de la difícil tarea de identificar diversos patrones de desencadenante hacia la monitorización de salidas conductuales unificadas.

• Practicidad: Al eliminar la necesidad de reentrenamiento y priores de desencadenante, el marco ofrece una solución práctica para el despliegue en el mundo real, donde las políticas a menudo son cajas negras o no hay recursos disponibles para el reentrenamiento.
• Generalidad: La capacidad de manejar tanto escenarios de agente único como multiagente, incluidos entornos competitivos y cooperativos, aborda una brecha crítica en la literatura actual.
• Compromiso: El marco logra un compromiso favorable entre utilidad y seguridad, recuperando el rendimiento envenenado mientras mantiene el rendimiento en la tarea limpia, incluso bajo ataques con restricción de recompensa y secuenciales donde otros métodos fallan.

Los autores reconocen limitaciones, específicamente la dependencia de líneas base benignas para la calibración, lo que puede requerir ajustes bajo cambios significativos de distribución (por ejemplo, nuevos oponentes). Identifican abordar esta recalibración y estudiar atacantes adaptativos como trabajo futuro.