Gradient-Free versus Gradient-Based Risk Constraints in Reinforcement Learning: A Reservoir Governance Case Study

Resumen Técnico: Restricciones de Riesgo sin Gradiente frente a Basadas en Gradiente en Aprendizaje por Refuerzo

Formulación del Problema
El artículo aborda el problema de la gobernanza de embalses modelado como un Proceso de Decisión de Markov (MDP) con restricciones de Valor en Riesgo Condicional (CVaR). El sistema físico acopla el volumen del embalse $V(t)$ con un estado de calidad de gobernanza $s(t)$, sujeto a entradas estocásticas y evaporación. El objetivo de control es minimizar una función de costo total que comprende el error de seguimiento (desviación del volumen objetivo y de la calidad de gobernanza) y el esfuerzo de control.

La restricción crítica no recae sobre el costo acumulado esperado, sino sobre el CVaR del déficit máximo del episodio, denotado como $D(\tau) = \max_{0 \le k \le K} (V_{min} - V_k)_+$. Esta cantidad representa el evento de agotamiento de peor caso dentro de un solo episodio. Los autores investigan si la elección del optimizador —específicamente entre métodos basados en población sin gradiente y métodos actor-crítico basados en gradiente— es relevante cuando la restricción de seguridad apunta a este funcional de estadístico de orden no suave.

Metodología
El estudio compara tres optimizadores entrenados en un simulador idéntico a través de cuatro regímenes físicos (referencia, gestión débil, alta extracción ilegal y gestión fuerte):

1. CEM-Lagrangiano (Sin Gradiente): Un Método de Entropía Cruzada (CEM) basado en población que mantiene una distribución de búsqueda sobre los pesos de la política. Evalúa candidatos computando directamente el CVaR exacto y no diferenciable del déficit máximo del episodio mediante el ordenamiento de trayectorias muestreadas.
2. SAC-Lagrangiano y PPO-Lagrangiano (Basados en Gradiente): Algoritmos Soft Actor-Critic y Proximal Policy Optimization adaptados para la seguridad. Crucialmente, estos métodos no pueden realizar la retropropagación a través del máximo acumulado de $D(\tau)$. En su lugar, sustituyen la restricción por un costo aditivo descontado esperado $C_\gamma(\tau) = \sum \gamma^k c_k$, donde $c_k$ es el déficit por paso. Utilizan un multiplicador de Lagrange para imponer un presupuesto sobre este costo sustituto.

El artículo también incluye un análisis teórico del fenómeno de la "ceguera inducida por el descuento" y una replicación independiente de cinco semillas utilizando una instancia de simulador construida por separado. Esta replicación introduce una variante PPO-Dist, que emplea un crítico de seguridad de regresión de cuantiles (distribucional) genuino entrenado para estimar la cola de la distribución del costo acumulado, en lugar de solo su media.

Contribuciones Clave

1. Reevaluación Empírica: Los autores demuestran que las conclusiones previas que favorecían a los métodos basados en gradiente estaban incompletas porque evaluaban el desempeño únicamente en el esfuerzo de control. Al evaluar la función de objetivo completa (seguimiento + esfuerzo) y la verdadera métrica de riesgo (CVaR del déficit máximo), emerge un patrón nítido y reproducible: el CEM logra un riesgo de cola realizado estrictamente menor que cualquier variante de SAC o PPO en tres de los cuatro regímenes físicos, incluso comparando la política menos conservadora de CEM contra las políticas de gradiente más conservadoras. Por el contrario, SAC y PPO logran un costo total menor, pero a expensas de un riesgo de cola significativamente mayor en estos regímenes.
2. Prueba Teórica (Ceguera Inducida por el Descuento): El artículo demuestra que una restricción de costo descontado esperado proporciona una garantía de probabilidad sobre los déficits de un solo paso que decae geométricamente con el índice de tiempo $k$ (Teorema 5.6). Específicamente, el límite $P(c_k > \epsilon) \le d_{max}/(\gamma^k \epsilon)$ se vuelve vacuo (excede 1) a medida que $k$ aumenta. En contraste, una restricción directa de CVaR sobre el máximo del episodio proporciona una garantía uniforme en el tiempo. Esto explica por qué los métodos basados en gradiente, limitados por sustitutos aditivos, fallan en prevenir eventos de agotamiento al final del episodio.
3. Análisis de Estabilidad: Los autores establecen teoremas de existencia de lazo cerrado, estabilidad asintótica local y estabilidad práctica probabilística para las políticas desplegadas de todos los optimizadores, mostrando que la estabilidad es una propiedad de la clase de la política (Lipschitz continua) y no del algoritmo de entrenamiento.
4. Experimento del Crítico Distribucional: En la replicación independiente, se probó un crítico distribucional de cuantiles entrenado (PPO-Dist). Contrario a la esperanza de que esto cerrara la brecha, la política PPO-Dist restringida exhibió consistentemente un riesgo realizado mayor que su contraparte no restringida en las cinco semillas. Esto sugiere que el ruido de la estimación de Monte Carlo de cuantiles, más que el desajuste del multiplicador de Lagrange, es el principal obstáculo para los métodos basados en gradiente en este entorno.

Resultados

• Orden de Riesgo: En tres de los cuatro regímenes físicos (referencia, alta extracción ilegal y gestión fuerte), el orden de riesgo es estrictamente CEM < SAC < PPO. El CEM es el controlador más seguro; PPO es el menos seguro.
• Orden de Costo: En los mismos tres regímenes, SAC y PPO logran costos totales menores que CEM.
• La Excepción: En el régimen de "gestión débil", donde las restricciones físicas saturan la capacidad del controlador para prevenir el agotamiento, el CEM es tanto el más seguro como el más económico. Aquí, el compromiso entre seguridad y costo colapsa, y la desventaja estructural de los métodos sin gradiente en cuanto al costo desaparece.
• Estudios de Ablación: Variar el factor de descuento $\gamma$ del crítico de seguridad en PPO cambia el multiplicador de Lagrange requerido para imponer un presupuesto, pero no altera significativamente el CVaR realizado, lo que sugiere que la señal de optimización es demasiado débil para apuntar a los eventos de déficit raros y de alto valor.
• Replicación: La replicación de cinco semillas confirma el orden de riesgo con significancia estadística ($p < 0.05$) y revela que el fallo del crítico distribucional es robusto a las correcciones de escalado en la actualización de ascenso dual.

Significancia y Reivindicaciones
El artículo sostiene que la elección del optimizador no es meramente una cuestión de eficiencia, sino que está determinada estructuralmente por la naturaleza del funcional de riesgo.

• Para restricciones de valor esperado y aditivas (ej. emisiones totales), los métodos de Lagrange basados en gradiente son apropiados y eficientes.
• Para restricciones de estadísticos de orden y de peor caso (ej. agotamiento máximo, separación de aeronaves), los métodos basados en gradiente que dependen de sustitutos aditivos son estructuralmente incapaces de proporcionar garantías de seguridad uniformes en el tiempo debido a la "ceguera inducida por el descuento".
• Los autores argumentan que, para tales problemas, es estructuralmente necesario un método basado en población (como CEM) que evalúe la verdadera métrica no suave, o bien un método basado en gradiente debe ser actualizado con un crítico de seguridad distribucional genuino capaz de realizar el bootstrapping de estimaciones de cola (no solo cuantiles de Monte Carlo). Sin embargo, el estudio señala que implementar este último es complejo y actualmente sufre de un alto ruido de estimación de varianza.

El artículo concluye que la superioridad observada del CEM en la reducción del riesgo de cola no es un artefacto del ajuste de parámetros, sino una consecuencia fundamental de cómo las arquitecturas de actor-crítico basadas en gradiente aproximan las restricciones de seguridad, específicamente en regímenes donde existe un compromiso real entre el costo y el riesgo de cola.