Resumen Técnico: Aprendizaje por Refuerzo Robusto con Restricción de Costo Pico

1. Formulación del Problema

El artículo aborda el Aprendizaje por Refuerzo Robusto con Restricción de Costo Pico (RP-CRL), un entorno de problema donde un agente debe maximizar la recompensa acumulada esperada mientras asegura que el costo máximo encontrado a lo largo de cualquier trayectoria permanezca por debajo de un umbral especificado. Esta formulación está motivada por aplicaciones de seguridad crítica donde una sola violación catastrófica es inaceptable, lo que hace que los marcos estándar de Procesos de Decisión de Markov con Restricciones (CMDP) —que dependen del costo acumulado esperado— sean insuficientes.

Los autores formalizan dos desafíos críticos:

1. Restricciones de Costo Pico: A diferencia de los CMDP estándar, la restricción depende del máximo de costo por trayectoria en lugar de una suma aditiva. Esto conduce a un problema de optimización no convexo con respecto a la medida de ocupación de estado-acción.
2. Desajuste Sim-to-Real: Las políticas entrenadas en simulación suelen fallar en el mundo real debido a desajustes en la dinámica de transición. El artículo busca una política que satisfaga la restricción de costo pico bajo la peor de las dinámicas de transición dentro de un conjunto de incertidumbre prescrito.

El problema de optimización central se define como:
$$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$$
donde $V^{\pi,P}_{c,peak}$ representa la función de valor de costo pico robusto, y $\mathcal{P}$ es el conjunto de incertidumbre de los modelos de transición.

2. Contribuciones Clave e Insights Teóricos

A. Brecha de Dualidad No Nula en MDP de Costo Pico

Una contribación teórica primaria es la demostración de que, a diferencia de los CMDP estándar, los MDP con restricción de costo pico pueden no admitir una brecha de dualidad cero, incluso cuando se cumple la condición de Slater.

• Razonamiento: La restricción de "máximo duro" (hard-max) destruye la convexidad del problema con respecto a la medida de ocupación de estado-acción.
• Implicación: Los métodos primal-dual basados en el Lagrangiano estándar, que dependen de la dualidad fuerte para recuperar la solución óptima, no están garantizados para funcionar en problemas de costo pico. Los autores proporcionan un contraejemplo (incluso en un MDP de dos estados) que muestra que la relajación del Lagrangiano puede ser estrictamente laxa.

B. Marco de Optimización Sustituta Robusta

Para superar la falta de dualidad fuerte y abordar la incertidumbre de la dinámica, los autores proponen un marco de optimización sustituta (surrogate).

• Objetivo Sustituto: En lugar de resolver el problema restringido directamente, minimizan un objetivo sustituto que equilibra la peor recompensa y la peor violación de la restricción:
  $$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$$
• Garantía Teórica: Los autores demuestran que con una elección apropiada del hiperparámetro $\beta$ (específicamente $\beta \geq C_{max}/\epsilon$), la solución óptima de este problema sustituto alcanza el mismo valor de recompensa robusta que el problema original, violando la restricción por un máximo de $\epsilon$.

C. Estimación de Valor Robusto vía IPM

Para manejar el conjunto de incertidumbre $\mathcal{P}$ de manera eficiente, el artículo utiliza Métricas de Probabilidad Integral (IPM).

• Para espacios de estados continuos, el conjunto de incertidumbre se define mediante una distancia IPM desde un modelo nominal $P_0$.
• Esto permite una expresión de forma cerrada del operador de Bellman robusto bajo aproximación de función lineal. Específicamente, la actualización de la función de valor del peor caso incluye un término de regularización proporcional a la norma de los pesos de la función de valor:
  $$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$$
  Esta formulación evita la intratabilidad computacional de los conjuntos de incertidumbre no rectangulares.

3. Metodología: El Algoritmo RP-CRL

El algoritmo propuesto, RP-CRL, es un marco de Actor-Crítico adaptado para la optimización robusta con restricciones de pico.

• Actor: Se actualiza utilizando un objetivo recortado (clipped) al estilo de la Optimización de Política Próxima (PPO). La señal de ventaja utilizada para la actualización del actor se selecciona dinámicamente basándose en si la política actual es factible o no.
• Crítico: Se mantienen dos críticos:
  1. Crítico de Recompensa ($V_r$): Estima la recompensa esperada robusta.
  2. Crítico de Costo Pico ($V_{c,peak}$): Estima el costo pico robusto utilizando una recursión descontada que involucra un operador max (aproximado mediante Log-Sum-Exponential para suavidad).
• Robustificación: Ambos críticos incorporan el término de robustificación basado en IPM (la regularización $\rho \|\cdot\|$) en sus cálculos de error de Diferencia Temporal (TD).
• Bucle de Entrenamiento: El algoritmo alterna entre la actualización de los críticos de recompensa y de costo. Una función de selección determina si se prioriza minimizar la violación de la restricción (si es infactible) o maximizar la recompensa (si es factible), resolviendo efectivamente el problema sustituto.

4. Resultados Experimentales

Los autores evalúan RP-CRL en entornos CartPole y MuJoCo (Ant, HalfCheetah, Humanoid, Swimmer) bajo dinámicas perturbadas.

• Líneas Base (Baselines): Se realizan comparaciones contra:
  1. Un método de Dualidad Primal (PD) adaptado para restricciones de costo pico (de trabajos previos [5], [6]).
  2. El objetivo sustituto propuesto entrenado en un entorno no perturbado (nominal).
• Configuración de Perturbación: El entrenamiento implica la inyección de ruido en las dinámicas del sistema (por ejemplo, gravedad $g$ o viscosidad). La inferencia se prueba bajo perturbaciones más fuertes.
• Hallazgos Clave:
  • Satisfacción de Restricciones: RP-CRL mantiene con éxito el costo pico por debajo de la línea base (a menudo logrando un costo pico de cero) incluso bajo perturbaciones significativas de la dinámica. En contraste, el sustituto no robusto y el método PD frecuentemente violan las restricciones durante la inferencia.
  • Desempeño de Recompensa: RP-CRL logra retornos más altos que el método PD, el cual tiende a aprender políticas subóptimas debido a la falta de dualidad fuerte.
  • Robustez: El entrenamiento con la formulación robusta (sustituto + IPM) conduce a curvas de aprendizaje más suaves con menor varianza y mejor generalización a perturbaciones no vistas en comparación con el entrenamiento en dinámicas nominales.
  • Generalizabilidad: El método funciona eficazmente a través de diferentes definiciones de función de costo y niveles variables de perturbación ($\sigma$).

5. Significado y Reivindicaciones

El artículo afirma que RP-CRL proporciona un avance necesario para el aprendizaje por refuerzo de seguridad crítica al:

1. Corregir Supuestos Teóricos: Establecer que la dualidad fuerte no se cumple para las restricciones de costo pico, invalidando así la aplicación directa de los métodos Lagrangianos estándar para este objetivo de seguridad específico.
2. Cerrar la Brecha Sim-to-Real: Ofrecer un marco de optimización robusta que asegura que las restricciones de seguridad se cumplan incluso cuando el entorno de despliegue difiere del simulador de entrenamiento.
3. Eficacia Práctica: Demostrar mediante experimentos que el enfoque sustituto propuesto, combinado con la estimación de valor robusto vía IPM, impone la seguridad de manera efectiva mientras mantiene un fuerte desempeño de recompensa en entornos inciertos.

Los autores señalan que, si bien la solución sustituta alcanza el valor de recompensa robusta del problema original, las garantías de convergencia para el algoritmo actor-crítico propuesto en espacios de estados grandes quedan para trabajos futuros.