Resumen Técnico: Horizontes de Decisión Estocásticos para Aprendizaje por Refuerzo con Restricciones

Enunciado del Problema

El aprendizaje por refuerzo (RL) para sistemas de control del mundo real (por ejemplo, robótica, biomecánica, procesos médicos) a menudo requiere satisfacer restricciones instantáneas en cada paso de tiempo. Una única violación profunda puede causar daños al hardware, perjuicio al paciente o inestabilidad del controlador. El marco estándar para el RL con restricciones, el Proceso de Decisión de Markov Constrained (CMDP), optimiza un presupuesto de costo acumulado. Aunque es efectivo para presupuestos globales (por ejemplo, consumo total de combustible), los CMDP luchan con la factibilidad instantánea. Codificar un límite por paso en un presupuesto acumulado obliga a que el presupuesto sea extremadamente pequeño, un régimen donde los algoritmos existentes de CMDP a menudo no convergen ni aprenden de manera efectiva.

El artículo propone Horizontes de Decisión Estocásticos (SDH) como una alternativa con fundamento teórico. En lugar de gastar un presupuesto al violar una restricción, SDH trata una violación de restricción como una señal de (in)factibilidad instantánea que acorta probabilísticamente el horizonte de planificación efectivo.

Metodología

1. Horizontes de Decisión Estocásticos (SDH)

SDH reformula el problema con restricciones como un problema de probabilidad de supervivencia.

• Mecanismo: Se introduce una probabilidad de continuación estado-acción $\alpha(s, a) \in [0, 1]$. Si se viola una restricción, $\alpha$ disminuye, reduciendo la probabilidad de que la trayectoria continúe.
• Objetivo: El agente maximiza la recompensa esperada en un tiempo de terminación geométrica aleatoria $T_\gamma$, condicionado a que la trayectoria sobreviva hasta ese punto.
• Formulación de Bellman: Esto conduce a una ecuación de Bellman modificada con recompensas conformadas y descuentos dependientes del estado-acción:
  • $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
  • $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
• Variable Dual: La variable dual de Lagrange $\eta$ actúa como una bonificación de supervivencia añadida a la recompensa ($r + \eta$) en lugar de una penalización por costo. Esto fomenta políticas que mantienen una alta probabilidad de supervivencia.

2. Control como Inferencia (CaI) y Regularización

Para derivar algoritmos regulares fuera de política, los autores utilizan Control como Inferencia. Identifican dos interpretaciones semánticas distintas de lo que ocurre después de una violación de restricción, lo que conduce a dos regularizadores diferentes:

• Semántica de Estado Absorbente (AS): El proceso de decisión termina inmediatamente al violar una restricción. Solo las decisiones supervivientes contribuyen al costo de la información (divergencia KL/entropía).
  • Algoritmo: AS-SAC (Actor-Critic de Factor Suave de Estado Absorbente).
  • Regularizador: Entropía máxima, pero ponderada solo por la masa de decisión superviviente. Esto produce una recursión de Bellman suave con descuento variable.
• Semántica de Terminación Virtual (VT): El proceso de decisión continúa, pero el crédito de recompensa se detiene. El agente continúa actuando sobre el MDP subyacente, pero las recompensas futuras están condicionadas a la supervivencia.
  • Algoritmo: VT-MPO (Optimización de Política de Máxima Probabilidad Posterior con Terminación Virtual).
  • Regularizador: Mejora de política regularizada por KL en el horizonte de descuento ordinario, emparejada con un crítico conformado por supervivencia.

3. Vínculo Teórico con CMDPs

El artículo introduce perfiles de profundidad de violación para caracterizar la relación entre SDH y los CMDP de presupuesto aditivo.

• Régimen de Escala Única: Si las violaciones ocurren en una única escala característica (por ejemplo, violaciones superficiales frecuentes o profundas raras siguiendo una distribución específica), SDH resuelve efectivamente el CMDP de presupuesto aditivo coincidente.
• Régimen de Múltiples Escalas: Si el perfil de violación mezcla escalas (por ejemplo, violaciones superficiales frecuentes junto con violaciones profundas raras), los objetivos de SDH y CMDP divergen. SDH no puede reproducir reglas exactas de factibilidad conscientes del presupuesto sin augmentar el espacio de estados con historial.

Contribuciones Clave

1. Formalización de SDH: Los autores formalizan modelos generales de continuación $\alpha(s, a)$ como ocupaciones de supervivencia consistentes con Bellman. Demuestran que SDH es la forma Lagrangiana de dual fijo de un problema estocástico de probabilidad de supervivencia.
2. Algoritmos Regulares Fuera de Política: Derivan los primeros algoritmos regulares fuera de política para restricciones instantáneas: AS-SAC (entropía máxima) y VT-MPO (regularizado por KL). Ambos son compatibles con la reproducción de experiencias.
3. Análisis del Alcance Teórico: A través de perfiles de profundidad de violación, delimitan con precisión cuándo SDH resuelve un CMDP de presupuesto aditivo (violaciones de escala única) y cuándo no lo hace (violaciones de múltiples escalas).
4. Control Biomecánico de Vanguardia: Aplican VT-MPO a modelos musculoesqueléticos de alta fidelidad, resolviendo el problema de larga data del compromiso esfuerzo-velocidad en la marcha como un problema de restricción instantánea fija.

Resultados Experimentales

1. Hyfydy (Control Musculoesquelético)

• Configuración: Entrenamiento en tres modelos humanoides (H0918, H1622, H2190) con hasta 90 músculos.
• Comparación: Comparado contra Adaptación de Peso de Esfuerzo (EWA), el método específico del dominio de vanguardia que utiliza reponderación adaptativa de recompensas.
• Resultados:
  • Estabilidad: VT-MPO converge a una caminata estable con significativamente menos oscilaciones que EWA, el cual sufre de señales de recompensa no estacionarias.
  • Eficiencia de Muestra: VT-MPO logra un realismo de marcha de vanguardia con 4$\times$ menos pasos de entorno (por ejemplo, alcanzando el rendimiento máximo en H2190 en 21M de pasos frente a 90M para EWA).
  • Realismo: Ambos métodos logran porcentajes de ajuste de marcha similares (aprox. 63-76%), pero VT-MPO alcanza estos picos mucho más rápido y con una satisfacción de restricciones más estricta (velocidad, Fuerzas de Reacción del Suelo, torques articulares).

2. Safety Gymnasium (Prueba de Alcance)

• Configuración: Evaluado en tareas de locomoción y navegación con señales de costo estandarizadas.
• Hallazgos:
  • Tareas de Escala Única (por ejemplo, AntVelocity): SDH (VT-MPO y AS-SAC) logra fuertes compromisos recompensa-costo, superando a las líneas base sin restricciones y igualando a las líneas base con restricciones con mayor eficiencia de muestra.
  • Tareas de Múltiples Escalas (por ejemplo, PointGoal, CarButton): La teoría predice correctamente los modos de fallo. En tareas que requieren que el agente sacrifique cierta satisfacción de restricciones para lograr un objetivo (perfiles de violación de múltiples escalas), SDH ya sea no logra satisfacer las restricciones o sufre una degradación catastrófica de la recompensa. Esto confirma la limitación teórica de que SDH no es un solucionador general para CMDP de presupuesto aditivo arbitrarios.

Significado y Afirmaciones

El artículo afirma que los Horizontes de Decisión Estocásticos ofrecen un eje de diseño complementario para el RL con restricciones: dar forma al horizonte en lugar de ajustar un presupuesto.

• Impacto Práctico: SDH proporciona una manera principista de manejar restricciones instantáneas donde una sola violación es catastrófica, evitando la inestabilidad de la reponderación adaptativa de recompensas (como EWA) y la dificultad de establecer presupuestos diminutos en CMDP.
• Perspectiva Teórica: El trabajo aclara que las restricciones instantáneas y los presupuestos acumulativos son objetivos distintos que solo coinciden bajo condiciones geométricas específicas (perfiles de violación de escala única).
• Avance Algorítmico: Proporciona los primeros algoritmos regulares fuera de política (AS-SAC, VT-MPO) diseñados específicamente para restricciones instantáneas, permitiendo un entrenamiento estable en sistemas complejos de alta dimensión, como humanoides de 90 músculos.

Los autores enfatizan que, aunque SDH no es un reemplazo universal para los CMDP, es la solución exacta para problemas de probabilidad de supervivencia y ofrece una estabilidad y eficiencia de muestra superiores en regímenes donde la factibilidad por paso es la preocupación principal.