On Globally Optimal Stochastic Policy Gradient Methods for Domain Randomized LQR Synthesis

Resumen Técnico: Métodos de Gradiente de Política Estocástica Globalmente Óptimos para la Síntesis de LQR con Aleatorización de Dominio

1. Problema Abordado

El artículo se centra en el problema de la Síntesis del Regulador Lineal Cuadrático con Aleatorización de Dominio (DR-LQR).

• Contexto: La aleatorización de dominio (DR) es una técnica popular en aprendizaje por refuerzo y robótica para cerrar la brecha "simulación-a-realidad" (sim-to-real). Funciona entrenando controladores en entornos simulados con parámetros aleatorizados para robustecer la política contra incertidumbres del modelo.
• El Desafío: Aunque los métodos de DR han demostrado ser efectivos empíricamente, carecen de principios teóricos generales para diseñar esquemas de optimización que aprovechen eficazmente la aleatorización.
• Limitaciones de Trabajos Previos: Enfoques anteriores, como los de Fujinami et al., utilizan una función de costo sustituta basada en el promedio de muestras (Sample-Average, SA) con un conjunto fijo de sistemas. Esto limita la eficiencia computacional y la calidad de la solución final. Además, el problema DR-LQR es no convexo en la ganancia de retroalimentación $K$, lo que hace que garantizar la convergencia a un óptimo global sea teóricamente difícil.
• Objetivo: Desarrollar un método de Descenso de Gradiente Estocástico (SGD) que optimice directamente la función de costo de DR-LQR (la esperanza del costo sobre la distribución de incertidumbre) mediante el muestreo de nuevos sistemas en cada paso de gradiente, garantizando convergencia global.

2. Metodología

Los autores proponen un algoritmo de Descenso de Gradiente Estocástico por Minilotes (Minibatched SGD) para resolver el problema DR-LQR.

• Formulación del Problema:
  Se busca encontrar una ganancia de retroalimentación $K$ que minimice el costo esperado:
  $$\min_K \mathbb{E}_{\theta}[J(K, \theta)]$$
  sujeto a que $K$ estabilice todos los sistemas en el conjunto de incertidumbre $\Theta$. Aquí, $\theta$ representa los parámetros del sistema (matrices $A, B$) distribuidos según una densidad $p_\Theta$.

• Algoritmo Propuesto (Algoritmo 1):
  A diferencia de los métodos que fijan un conjunto de sistemas al inicio, el método propuesto:

  1. Muestra $M$ nuevos sistemas ($\theta_1, \dots, \theta_M$) de la distribución $p_\Theta$ en cada iteración de gradiente.
  2. Calcula el gradiente estocástico como el promedio de los gradientes sobre estos $M$ sistemas.
  3. Actualiza la política $K$ usando este gradiente.

• Análisis Teórico de Convergencia:
  Para probar la convergencia global en un problema no convexo, los autores establecen tres propiedades clave de la función de costo $J_{DR}(K)$:

  1. Coercividad: El costo crece indefinidamente a medida que la norma de $K$ crece, asegurando que las soluciones no se dispersen.
  2. Suavidad Local ($L$-suavidad): Aunque el costo no es globalmente suave (debido a la inestabilidad en los bordes), es suave dentro de subniveles de costo definidos. Esto permite elegir un tamaño de paso ($\eta$) que garantice que las iteraciones permanezcan en el conjunto de controladores estables.
  3. Dominancia del Gradiente (Gradient Domination): Bajo ciertas condiciones de heterogeneidad (el diámetro de $\Theta$ debe ser suficientemente pequeño), la función de costo satisface una condición de dominancia del gradiente (similar a la condición de Polyak-Łojasiewicz). Esto implica que si el gradiente es pequeño, el costo está cerca del óptimo global.

• Convergencia del SGD:
  Los autores demuestran que, con un tamaño de minilote $M$ adecuado y un tamaño de paso correcto, el SGD converge linealmente a una solución $\epsilon$-subóptima con alta probabilidad. Utilizan desigualdades de concentración de Bernstein para matrices para acotar el error de estimación del gradiente y garantizar que las iteraciones estocásticas no salgan del conjunto factible (controladores estables).

3. Contribuciones Clave

1. Primera Prueba de Convergencia Lineal: Establecen la primera prueba teórica de que el SGD por minilotes converge a una solución $\epsilon$-subóptima para el problema DR-LQR, caracterizando las condiciones suficientes sobre el tamaño del minilote en función del nivel de suboptimalidad deseado.
2. Ventaja Computacional y de Rendimiento: Demuestran empíricamente que optimizar directamente sobre la distribución (muestreando nuevos sistemas en cada paso) produce controladores con menor costo y menor variabilidad en comparación con los métodos que utilizan un conjunto fijo de sistemas (aproximación de promedio de muestras o SA).
3. Uso Eficiente de Recursos: Muestran que, dado que el muestreo es una operación computacionalmente barata (especialmente con paralelismo en GPU), es preferible evaluar gradientes en sistemas recién muestreados en lugar de reutilizar un conjunto estático.

4. Resultados Experimentales

Los autores validaron su método en un sistema de péndulo invertido sobre un carro (cart-pole):

• Configuración: Se aleatorizó la longitud del péndulo (distribución uniforme en [0.2, 0.8] m) y otros parámetros físicos (masas, fricción).
• Comparación: Se comparó el método DR (SGD con muestreo dinámico) contra el método SA (optimización sobre un conjunto fijo de $M=8$ sistemas, como en trabajos previos).
• Hallazgos:
  • Convergencia: El método DR converge más rápido y alcanza un costo final más bajo.
  • Estabilidad: Los controladores obtenidos por DR muestran una varianza significativamente menor en la norma $\ell_2$ de la ganancia $K$ y en el costo final a través de 1000 ensayos independientes.
  • Eficiencia: Aunque el tiempo de ejecución fue un 22% mayor (debido al muestreo dinámico), el resultado fue un controlador de mayor rendimiento y, crucialmente, mucho más confiable y consistente.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la práctica empírica exitosa de la aleatorización de dominio en robótica y la teoría de control óptimo.

• Fundamentación Teórica: Proporciona garantías de convergencia global para un problema de control estocástico no convexo, algo que rara vez se logra en el aprendizaje por refuerzo.
• Mejora de la Robustez: Al demostrar que el muestreo dinámico es superior al muestreo estático, ofrece una guía práctica para diseñar algoritmos de aprendizaje por refuerzo más robustos que no dependen de conjuntos de datos fijos que podrían no representar adecuadamente la incertidumbre del mundo real.
• Escalabilidad: Confirma que el uso intensivo de recursos de GPU para muestrear nuevos entornos en cada paso de optimización no es solo viable, sino teóricamente superior para la síntesis de controladores robustos.

En conclusión, el artículo demuestra que la optimización estocástica directa sobre la distribución de incertidumbre, respaldada por garantías de convergencia global, es una estrategia superior para la síntesis de controladores robustos en comparación con los enfoques basados en promedios de muestras estáticas.