Resumen Técnico: TCRL para el Aprendizaje por Refuerzo Restringido Robusto

Planteamiento del Problema

El Aprendizaje por Refuerzo Restringido (CRL, por sus siglas en inglés) es crítico en dominios de seguridad crítica como la conducción autónoma y la robótica, donde los agentes deben maximizar las recompensas mientras cumplen con restricciones de seguridad. Sin embargo, los métodos actuales de CRL robusto exhiben vulnerabilidades significativas cuando se despliegan en entornos del mundo real sujetos a perturbaciones adversarias. Los enfoques actuales se centran principalmente en perturbaciones temporales-independientes (de un solo paso), a menudo modeladas dentro de bolas de norma $\ell_p$ de radio fijo. Estos fallan al no abordar las perturbaciones temporalmente acopladas, donde un atacante genera perturbaciones que evolucionan en el tiempo basándose en la historia del agente y las restricciones de costo de seguridad.

En escenarios de peor caso, los atacantes pueden aprender las funciones de costo de seguridad y de recompensa del agente para generar perturbaciones que aumentan progresivamente en intensidad. Esto causa que el agente se desvíe de su objetivo, viole las restricciones de seguridad y sufra una degradación significativa de la recompensa. Los métodos existentes enfrentan dos desafíos específicos:

1. Percepción: Carecen de mecanismos que permitan a las funciones de restricción de costo percibir y estimar los costos de seguridad en el peor de los casos bajo adversarios temporalmente acoplados sin modelar explícitamente al atacante.
2. Defensa: Carecen de estrategias de entrenamiento efectivas para defenderse de ataques temporalmente acoplados sobre la señal de recompensa, fallando a menudo en mantener la imprevisibilidad de la recompensa o en interrumpir los patrones temporales del atacante.

Metodología: Marco de Trabajo TCRL

Los autores proponen TCRL (Temporal-Coupled Adversarial Training), un marco diseñado para optimizar políticas de toma de decisiones bajo perturbaciones temporalmente acopladas en el peor de los casos. El marco consta de tres componentes principales:

1. Modelo de Perturbación Temporalmente Acoplada

El artículo define una novedosa restricción de perturbación donde la intensidad de la perturbación es dinámica. Un parámetro de restricción adaptativo $\bar{\epsilon}_t$ se actualiza basado en la magnitud de la perturbación anterior ($p_{t-1}$):
$$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$$
Esto permite al atacante explorar estrategias de mayor intensidad a lo largo del tiempo, sujetas a una restricción en la diferencia entre perturbaciones consecutivas: $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$.

2. Función de Restricción de Costo Percibido en el Peor de los Casos

Para abordar el desafío de estimar los costos de seguridad sin un modelado explícito del atacante, TCRL introduce un Operador de Bellman de Costo en el Peor de los Casos ($\Gamma$).

• Defincción: Para una política $\pi$, el operador estima el costo acumulado máximo sobre un horizonte de decisión bajo ataques de observación acotados.
• Implementación: Una red de costo del peor caso ($Q^\pi_\varphi$) se entrena utilizando una función de pérdida especializada que incorpora el costo máximo sobre el conjunto de acciones potenciales $\Omega(s, \pi)$ que un atacante podría inducir mediante la perturbación del estado.
• Transformación de la Restricción: La restricción estándar de CRL ($V^\pi_c \leq \eta$) se transforma en una restricción de peor caso: $V^\pi_c \leq C_{threshold}$, donde $V^\pi_c$ es el valor de costo estimado del peor caso. Esto asegura la seguridad incluso bajo los ataques temporalmente acoplados más severos.

3. Mecanismo de Defensa de Recompensa de Doble Restricción

Para contrarrestar a los atacantes que explotan los datos históricos de recompensa para modelar la función de recompensa, TCRL implementa dos restricciones en la señal de recompensa durante el entrenamiento:

• Restricción de Correlación Temporal: Esta limita la autocorrelación de la secuencia de recompensa dentro de una ventana de tiempo $w$. Al imponer una restricción de correlación débil ($C_{corr} \leq \epsilon_{corr}$), el método interrumpe la capacidad del atacante para modelar las dependencias temporales en la dinámica del sistema. Se utiliza un mecanismo de corrección de gradiente para manejar la no diferenciabilidad de los coeficientes de correlación estándar.
• Restricción de Estabilidad de Entropía de la Recompensa: Esto evita cambios abruptos en la distribución de la recompensa causados por las perturbaciones. Restringe la tasa de cambio de la entropía de la recompensa ($H_t$) entre pasos de tiempo consecutivos ($C_{ent} \leq \epsilon_{ent}$), asegurando que la distribución de la recompensa evolucione suavemente y permanezca impredecible para el atacante.

El objetivo general se formula utilizando relajación Lagrangiana, optimizando la política para maximizar las recompensas esperadas mientras se satisfacen simultáneamente las restricciones de costo de seguridad, de correlación y de entropía.

Principales Contribuciones

1. Marco de Trabajo TCRL: Un novedoso marco de entrenamiento adversario diseñado específicamente para CRL robusto en escenarios temporalmente acoplados del peor de los casos.
2. Estimación de Costo en el Peor de los Casos: Una función de restricción de costo capaz de estimar directamente los costos de seguridad en el peor de los casos bajo perturbaciones temporalmente acopladas sin necesidad de un modelado explícito del atacante, acompañada de una función de pérdida diseñada a medida para un entrenamiento robusto.
3. Defensa de Doble Restricción: Un mecanismo de defensa basado en la recompensa que comprende una restricción de correlación temporal (para interrumpir patrones de ataque) y una restricción de estabilidad de entropía (para preservar la imprevisibilidad de la recompensa).
4. Validación Empírica: Experimentos extensos que demuestran una robustez superior en comparación con los métodos existentes.

Resultados Experimentales

Los autores evaluaron TCRL (integrado con el algoritmo PPOL) en cuatro tareas de control continuo: Ball-Circle, Ball-Run, Car-Circle y Car-Run. La evaluación incluyó cinco condiciones: natural (sin ataque), MAD (Diferencia Máxima de Acción), MC (Costo Máximo), Random (Aleatorio) y un atacante personalizado Worst-TC (Peor Caso Temporalmente Acoplado).

• Desempeño de Seguridad: TCRL logró consistentemente los costos de seguridad más bajos bajo ataques Worst-TC. El documento reporta reducciones en el costo de seguridad que oscilan entre 559.38% y 19,077.78% en comparación con los métodos de referencia en las cuatro tareas. Por ejemplo, en la tarea Car-Run, TCRL redujo los costos de seguridad hasta 190.77 veces en comparación con los métodos de referencia.
• Desempeño de Recompensa: A diferencia de los métodos de referencia, que sufrieron una degradación significativa de la recompensa bajo ataques Worst-TC, TCRL mantuvo o incluso aumentó sus valores de recompensa. TCRL mejoró los valores de recompensa entre un 11.09% y un 34.76% en comparación con los métodos de referencia bajo ataques Worst-TC.
• Estudio de Ablación: Eliminar la función de restricción de costo (TCRL-Worstcost) provocó un aumento significativo en los costos de seguridad, mientras que eliminar las restricciones de defensa de recompensa (TCRL-Reward) resultó en una caída sustancial en las recompensas, confirmando la necesidad de ambos componentes.

Significado y Reivindicaciones

El artículo afirma que TCRL aborda una brecha crítica en la literatura existente al modelar y defenderse explícitamente contra perturbaciones temporalmente acopladas, las cuales son más representativas de los escenarios adversarios del mundo real que los ataques de un solo paso.

Los autores aseguran que TCRL permite a los agentes:

• Mantener altas recompensas de la tarea mientras evitan estrictamente las violaciones de las restricciones de seguridad bajo ataques temporales del peor de los casos.
• Percibir y defenderse de adversarios temporalmente acoplados óptimos sin necesidad de entrenar conjuntamente con un modelo de atacante específico.
• Interrumpir la capacidad del atacante para aprender la función de recompensa a través de las restricciones de correlación temporal y de entropía.

El trabajo posiciona a TCRL como una solución robusta para el despliegue de CRL en entornos físicos de seguridad crítica donde las observaciones de estado están sujetas a ruido adversario evolutivo y correlacionado.