Resumen Técnico: Los Críticos con Regularización de Lipschitz Conducen a la Robustez de la Política frente a la Incertidumbre en la Dinámica de Transición

Planteamiento del Problema

Las políticas de Aprendizaje por Refuerzo (RL) suelen sufrir una degradación del rendimiento al ser desplegadas en hardware real debido al desfase "sim-to-real". Este desfase surge de desajustes entre las dinámicas de transición simuladas y las reales causados por errores de identificación de sistemas y modelado idealizado. Aunque la Randomización de Dominio intenta mitigar esto mediante el entrenamiento a través de parámetros físicos randomizados, a menudo falla al generalizar más allá de las distribuciones predefinidas.

El Aprendizaje por Refuerzo Robusto (Robust RL) aborda esto optimizando para el rendimiento en el peor de los casos dentro de un conjunto de incertidumbre. Sin embargo, los enfoques existentes enfrentan dos limitaciones principales:

1. Limitaciones de los MDP de Estado Conservador (SC-MDP): Métodos como el Regularizador Basado en Gradiente (GBR) aproximan la función de valor en el peor de los casos utilizando expansiones de Taylor de primer orden. Estas aproximaciones pueden ser poco fiables cuando la región local es grande o cuando los gradientes de la red de valor no están regularizados. Además, estos métodos carecen de una validación exhaustiva en tareas de control robótico complejas y del mundo real.
2. Regularización del Crítico Poco Explorada: Si bien la regularización de Lipschitz es conocida por imponer suavidad en las redes neuronales, su efecto independiente en la red del crítico dentro de un marco de RL robusto permanece poco explorado. No está claro si un crítico regularizado por Lipschitz puede, por sí solo, mejorar la robustez de la política contra la incertidumbre de la dinámica de transición.

Metodología: PPO-PGDLC

Los autores proponen PPO-PGDLC, un marco que integra el Descenso de Gradiente Proyectado (PGD) con un Crítico con Regularización de Lipschitz (LC) en el algoritmo de Optimización de Política Próxima (PPO). El método aborda el problema de la Estimación del Valor en el Peor de los Casos (WCVE).

1. Estimación del Valor en el Peor de los Casos vía PGD

En lugar de depender de aproximaciones de primer orden (como GBR) para estimar el valor mínimo dentro de un conjunto de incertidumbre, PPO-PGDLC busca explícitamente el estado adversario.

• Formulación: El problema se define como encontrar un estado $\hat{s}$ dentro de una bola $L_\infty$ $B_{\epsilon, \infty}(s)$ que minimice la función de valor de estado $V(\hat{s})$.
• Algoritmo: Los autores emplean un resolvedor PGD iterativo (Algoritmo 1) para encontrar este estado adversario. En cada paso, el estado se actualiza en la dirección del gradiente negativo de la función de valor y se proyecta de nuevo sobre el conjunto de restricción. Esto proporciona una aproximación más precisa del operador de Bellman robusto que los simples regularizadores basados en gradiente.

2. Crítico con Regularización de Lipschitz

Para abordar la inestabilidad de los aproximadores de funciones profundas y la potencial inexactitud de los gradientes en paisajes no convexos, los autores imponen continuidad de Lipschitz local en la red del crítico.

• Mecanismo: Se añade un término de penalización basado en la norma del gradiente a la función de pérdida del crítico: $L_{new} = L_{ori} + \lambda \cdot ||\nabla_s V(s)||$.
• Racional: El trabajo teórico sugiere que si la recompensa, la política y la dinámica son Lipschitz continuas, las funciones de valor también lo son. Al restringir los gradientes del crítico, el método impone una suavidad local, reduciendo el "pesimismo" del valor del peor caso aproximado y estabilizando las actualizaciones de la política.

3. Integración con PPO

El marco modifica el estimador de ventaja estándar de PPO. En lugar de utilizar el valor del siguiente estado nominal, el cálculo de la ventaja utiliza el valor del estado adversario encontrado por el resolvedor PGD ($h(s, \epsilon, V)$).

• Ventaja Modificada: $\hat{A}^h_t$ se calcula utilizando errores de diferencia temporal derivados de los valores del peor caso resueltos por PGD.
• Funciones de Pérdida:
  • Pérdida del Actor: Utiliza la ventaja modificada $\hat{A}^h_t$ dentro del objetivo de sustitución recortado estándar de PPO.
  • Pérdida del Crítico: Combina el error residual estándar (ajuste a las recompensas acumuladas de $n$ pasos) con el término de regularización de Lipschitz local.

Contribuciones Clave

1. Marco Novedoso: La introducción de PPO-PGDLC, que combina la búsqueda explícita del estado adversario (vía PGD) con la regularización de Lipschitz del crítico, cerrando la brecha entre los MDP robustos teóricos y el aprendizaje de actor-crítico práctico.
2. Investigación de la Regularización del Crítico: El artículo investiga y valida explícitamente la hipótesis de que los críticos regularizados por Lipschitz mejoran la robustez de la política, un factor previamente poco explorado en la literatura de SC-MDP.
3. Validación en el Mundo Real: A diferencia de muchos trabajos de RL robusto limitados a la simulación, este trabajo valida el enfoque en un robot cuadrúpedo real (Unitree Go2), demostrando la transferencia sim-to-real sin necesidad de ajuste fino (fine-tuning).

Resultados Experimentales

Benchmarks de Control Clásico (Cartpole y Ant)

• Métrica de Robustez: Los autores introducen la $\rho$-robustez, que mide la recompensa promedio mínima dentro de un "radio de ataque" $\rho$ en una rejilla de parámetros físicos perturbados (masa y fricción).
• Hallazgos:
  • PPO-PGDLC alcanzó los valores de $\rho$-robustez más altos en la mayoría de los radios y límites de incertidumbre ($\epsilon$) probados en comparación con PPO estándar, PPO-GBR y un PPO-PGD ablado (PGD sin LC).
  • En la tarea Ant, PPO-PGDLC convergió a una recompensa final más alta y mantuvo un rendimiento superior bajo perturbaciones de masa y fricción.
  • Los resultados indican un compromiso: los conjuntos de incertidumbre excesivamente grandes pueden perjudicar el rendimiento, pero el crítico regularizado por Lipschitz ayuda a mitigar esta degradación.

Locomoción Cuadrúpeda en el Mundo Real (Unitree Go2)

• Configuración: Las políticas fueron entrenadas en simulación y desplegadas en un robot Unitree Go2 con cargas añadidas (2kg y 4kg) sin ajuste fino.
• Métricas de Suavidad: Los autores evaluaron la Suavidad de la Acción (AS), la Relación de Fluctuación de Segundo Orden (SFR) y el Error de Seguimiento de Velocidad (VTE).
  • PPO-PGDLC demostró Constantes de Lipschitz Locales (LLC) significativamente menores para las redes del crítico (hasta un 96.6% de reducción) y del actor en comparación con PPO estándar.
  • En el despliegue, PPO-PGDLC produjo acciones más suaves (menor AS y SFR) y un seguimiento de velocidad comparable o mejorado bajo diversas cargas en comparación con PPO estándar.
  • Especificidad de la Tarea: El peso de regularización óptimo ($\lambda$) varió según la marcha (por ejemplo, $\lambda=10^{-3}$ para bounding y $\lambda=5 \times 10^{-5}$ para trote), lo que sugiere que el nivel ideal de suavizado del crítico depende de la tarea.

Significado y Reivindicaciones

El artículo afirma que PPO-PGDLC ofrece una formulación con principios y computacionalmente tratable para el RL robusto. Su principal importancia radica en demostrar que la suavidad del crítico es un factor crítico, aunque previamente subutilizado, para lograr la robustez de la política.

Al combinar la búsqueda explícita del estado adversario con restricciones de gradiente en el crítico, el método produce políticas que no solo son más robustas a la incertidumbre de la dinámica de transición, sino que también generan acciones más suaves y estables en el hardware real. Los autores concluyen que su enfoque proporciona nuevos conocimientos sobre cómo la regularización del crítico contribuye a una transferencia sim-to-real fiable, ofreciendo una alternativa viable a la randomización de dominio para tareas donde las perturbaciones ambientales surgen de fuentes más allá de las distribuciones predefinidas.