Robust Adversarial Policy Optimization Under Dynamics Uncertainty

Resumen Técnico: RAPO (Robust Adversarial Policy Optimization)

1. El Problema

El Aprendizaje por Refuerzo (RL) ha logrado avances significativos, pero su despliegue en el mundo real se ve limitado por la desviación de dinámicas (dynamics mismatch). Las políticas entrenadas en simulación a menudo fallan al transferirse a sistemas reales debido a incertidumbres aleatorias (ruido) y epistémicas (desconocimiento del modelo).

• Limitaciones de métodos existentes:
  • Aleatorización de Dominio (Domain Randomization): Entrena sobre una distribución uniforme de perturbaciones, lo que a menudo resulta en políticas ineficientes o excesivamente conservadoras, ya que trata todas las perturbaciones por igual sin priorizar las más peligrosas.
  • RL Adversarial Primal: Intenta encontrar el peor caso explícitamente, pero suele generar inestabilidad, oscilaciones y puntos ciegos si no cubre todo el espacio de incertidumbre.
  • RL Robusto Distribucional (DRRL): Ofrece garantías teóricas mediante conjuntos de ambigüedad (ej. bolas KL), pero los métodos actuales dependen de aproximaciones de "adversarios sustitutos" que pueden dejar brechas de cobertura, llevando a inestabilidad o conservadurismo excesivo.

El objetivo central es diseñar algoritmos de RL que sean robustos ante la incertidumbre de las dinámicas sin colapsar en un comportamiento conservador ni inestable.

2. Metodología: RAPO

Los autores proponen RAPO, un marco de optimización que implementa el RL Robusto Distribucional mediante una formulación dual que expone directamente la compensación entre robustez y rendimiento. RAPO combina dos componentes que actúan de forma independiente pero complementaria:

A. Formulación Dual y el Parámetro de Temperatura ($\eta$)
En lugar de resolver el problema primal (minimizar el retorno sobre un conjunto de dinámicas), RAPO utiliza la dualidad convexa. Esto transforma el problema infinito-dimensional en una optimización escalar tractable controlada por un parámetro de temperatura inversa $\eta$.

• La solución óptima implica una reponderación exponencial (tilting) de las trayectorias, donde las trayectorias con menor retorno se ponderan más, pero dentro de un presupuesto de divergencia KL ($\epsilon$).

B. Componente 1: Red Adversarial (AdvNet) para Estimación de Temperatura

• Función: En lugar de buscar explícitamente el valor óptimo de $\eta$ (lo cual es computacionalmente costoso y requiere búsqueda de raíces en cada paso), RAPO introduce una red neuronal (AdvNet).
• Mecanismo: AdvNet predice el parámetro dual $\eta$ directamente a partir del estado y acción actuales ($s, a$).
• Ventaja: Esto amortiza la búsqueda del parámetro óptimo, permitiendo "dirigir" las simulaciones (rollouts) hacia regiones de bajo retorno (peor caso) de manera eficiente y estable, manteniéndose dentro del presupuesto KL. Actúa a nivel de trayectoria.

C. Componente 2: Reponderación de Boltzmann a Nivel de Modelo

• Función: Para abordar la incertidumbre global (mala especificación del modelo), RAPO utiliza un conjunto (ensemble) de entornos con parámetros físicos variados.
• Mecanismo: En lugar de muestrear uniformemente estos entornos, RAPO aplica una reponderación de Boltzmann. Asigna pesos a los diferentes modelos del conjunto basándose en su "vulnerabilidad" (valor estimado bajo la política actual).
• Mecanismo: Los modelos donde la política tiene un rendimiento bajo reciben mayor peso (temperatura $\beta$), mientras que se mantiene una regularización KL ($\kappa$) respecto a una distribución previa. Esto asegura una cobertura sensible a la política de las dinámicas adversas. Actúa a nivel de modelo.

D. Unificación
RAPO unifica estos dos niveles en un bucle de optimización min-max compatible con PPO (Proximal Policy Optimization). La política se optimiza para maximizar el retorno bajo la distribución adversaria más probable, que es una combinación de la reponderación de modelos (Boltzmann) y la distorsión de trayectorias (AdvNet).

3. Contribuciones Clave

1. Formulación Dual Tractable: Introducen una formulación dual que convierte el problema de robustez en una optimización escalar, evitando la necesidad de resolver problemas minimax anidados costosos.
2. Arquitectura de Dos Niveles:
   • Nivel de Trayectoria (AdvNet): Captura fragilidades locales y específicas del estado-acción mediante la predicción de la temperatura dual.
   • Nivel de Modelo (Boltzmann): Captura variabilidad global y mala especificación del modelo mediante el muestreo inteligente del conjunto de dinámicas.
3. Garantías Teóricas:
   • Demuestran que el operador de Bellman robusto sigue siendo una contracción incluso con aproximaciones imperfectas de $\eta$.
   • Establecen que el error de aproximación en el valor robusto crece solo cuadráticamente con el error de predicción de AdvNet ($O(\delta^2)$).
   • Proponen un límite de degradación del valor nominal-robusto de $O(\sqrt{\epsilon})$, validando $\epsilon$ como un "knob" (control) interpretable entre rendimiento y robustez.
4. Convergencia del Conjunto Finito: Demuestran teóricamente que el uso de un conjunto finito de modelos converge a la solución del espacio continuo a una tasa de Monte Carlo ($O(K^{-1/2})$).

4. Resultados Experimentales

Los autores evaluaron RAPO en tareas de locomoción (Walker2d, Ant, HalfCheetah, Hopper) y seguimiento de carga en un cuadricóptero (quadrotor payload tracking).

• Rendimiento In-Distribution (ID): RAPO mantiene un rendimiento comparable a PPO estándar en el rango de parámetros de entrenamiento, demostrando que la robustez no sacrifica el rendimiento nominal.
• Robustez Out-of-Distribution (OOD):
  • En pruebas de desplazamiento de parámetros (masa, inercia, fricción, torque) fuera del rango de entrenamiento, RAPO supera significativamente a PPO, PPO+DR (Aleatorización de Dominio), RARL (RL Adversarial) y EPOpt.
  • Mientras que PPO colapsa y RARL es inestable en regímenes OOD extremos, RAPO mantiene retornos altos y estables.
• Análisis de Ablación:
  • Eliminar AdvNet o la reponderación de Boltzmann reduce la robustez.
  • Eliminar ambos resulta en un colapso rápido en OOD, confirmando que ambos componentes son necesarios y complementarios.
• Caso de Uso Cuadricóptero: En una tarea de seguimiento de trayectoria con carga suspendida (alta acoplamiento dinámico), RAPO logró un 0% de fallos (crashes) en entornos OOD, mientras que otros métodos tuvieron tasas de fallo entre 12% y 40%, y un error cuadrático medio (RMSE) significativamente mayor.

5. Significado e Impacto

Este trabajo cierra la brecha entre la teoría del RL Robusto y la práctica.

• Viabilidad Práctica: Al usar una aproximación amortizada (AdvNet) y reponderación de Boltzmann, RAPO hace que el RL robusto sea escalable y compatible con algoritmos modernos como PPO.
• Seguridad Crítica: Proporciona un marco formal para diseñar agentes que no solo son eficientes, sino que garantizan un rendimiento mínimo bajo incertidumbre, crucial para aplicaciones en robótica, conducción autónoma y finanzas.
• Interpretabilidad: La introducción de presupuestos de KL ($\epsilon$ y $\kappa$) y temperaturas duales ofrece a los ingenieros controles explícitos para ajustar el nivel de conservadurismo deseado según los requisitos de seguridad de la aplicación.

En resumen, RAPO representa un avance significativo hacia la implementación de políticas de RL que son a la vez de alto rendimiento y resilientes ante las inevitables discrepancias entre la simulación y la realidad.