Resumen Técnico: Control Regularizado por KL Bien Planteado mediante Divergencias de Wasserstein y Kalman–Wasserstein

1. Planteamiento del Problema

La divergencia de Kullback-Leibler (KL) es un regularizador estándar en el aprendizaje por refuerzo (RL) y el control óptimo, que aparece en los procesos de decisión de Markov linealmente resolubles, el control de integral de trayectoria y los métodos de región de confianza. Sin embargo, la divergencia KL clásica exhibe una patología crítica en regímenes de bajo ruido. Cuando se comparan las dinámicas controladas con las dinámicas pasivas con ruido de proceso gaussiano pequeño, la penalización KL se reduce a un costo de control cuadrático cuyo coeficiente escala inversamente con la covarianza del ruido. A medida que la covarianza del ruido se desvanece (el límite determinista), esta penalización diverge al infinito, lo que vuelve singular el problema de control regularizado. Esta "inestabilidad de baja varianza" provoca que las ganancias de retroalimentación óptimas desaparezcan, lo que conduce a un desempeño de bucle cerrado deficiente y a la inestabilidad en entornos deterministas o casi deterministas.

Además, la divergencia KL clásica se define a través de la geometría de Fisher–Rao, la cual es intrínseca a la variedad estadística pero ignora la geometría del espacio de estados subyacente. En consecuencia, la KL reacciona de forma discontinua ante desajustes de soporte (por ejemplo, $KL(\delta_x | \delta_y) = \infty$ para cualquier $x \neq y$), fallando al no codificar la distancia entre estados.

2. Metodología

Los autores proponen un marco de información geométrica unificado para construir analogos de la KL "conscientes del espacio de estados". La metodología central consiste en reemplazar la geometría de Fisher–Rao en la formulación dinámica de la divergencia KL por geometrías basadas en el transporte.

2.1 Marco Geométrico

El artículo define una clase general de divergencias, $D_G$, basadas en una geometría riemanniana $G$ en la variedad de densidades de probabilidad.

• Formulación Dinámica: La divergencia se define como una integral de acción ponderada en el tiempo a lo largo de geodésicas $G$-duales:
  $$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$$
  donde $\gamma$ es una geodésica $G$-dual.
• Opciones Geométricas: Los autores investigan el reemplazo de la métrica de Fisher–Rao ($G=FR$) por:
  • Wasserstein-2 ($G=O$): La métrica de Otto, que codifica la geometría del espacio de estados.
  • Wasserstein Linealizada ($G=\dot{H}^{-1}$): Una estructura plana.
  • Kalman–Wasserstein ($G=KW$): Una métrica que incorpora un parámetro de regularización $\lambda$ e información de covarianza.
  • Geometría de Stein: Utilizando un núcleo bilineal.

2.2 Derivación Teórica

• Geodésicas Duales: Los autores caracterizan las geodésicas $G$-duales como flujos de gradiente métrico de un funcional de energía potencial.
• Expresiones de Forma Cerrada: Derivan fórmulas explícitas para estas divergencias entre distribuciones elípticas (una clase que incluye distribuciones gaussianas y $t$-Student).
  • Para el caso de Wasserstein ($WKL$), la divergencia permanece finita incluso cuando las covarianzas se degeneran.
  • Para el caso de Kalman–Wasserstein ($KWKL$), la divergencia incorpora un "suelo de ruido" mediante un parámetro de regularización $\lambda$, interpolando efectivamente entre la KL clásica y la KL de Wasserstein.

2.3 Aplicación al Control

Las divergencias propuestas se aplican como regularizadores en problemas de Regulador Cuadrático Lineal (LQR) con ruido de proceso gaussiano.

• Término de Regularización: La divergencia entre la distribución de transición controlada $p_t$ y la distribución no controlada $p_0$ produce una penalización de control cuadrática aditiva $u_t^\top R_\circ u_t$.
• Penalizaciones de Control:
  • KL Clásica ($FR$):$R_{FR} = B^\top \Sigma_w^{-1} B$ (singular cuando $\Sigma_w \to 0$).
  • Wasserstein ($O$): $R_O = B^\top B$ (independiente del ruido).
  • Kalman–Wasserstein ($KW$):$R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B$ (finita cuando $\Sigma_w \to 0$).

3. Contribuciones Clave

1. Construcción General: Introducción de geodésicas $G$-duales y la divergencia $D_G$ asociada para geometrías arbitrarias, recuperando la KL clásica para Fisher–Rao y variantes conscientes del espacio de estados para geometrías de transporte.
2. Caracterización de Flujo de Gradiente: Demostración de que las geodésicas $G$-duales corresponden a flujos de gradiente métrico de la energía potencial, vinculando las divergencias con la optimización geométrica y la dinámica de redes neuronales de campo medio.
3. Fórmulas Explícitas: Derivación de expresiones de forma cerrada para $D_G$ entre distribuciones elípticas en geometrías de Wasserstein, Wasserstein linealizada y Kalman–Wasserstein. Estas fórmulas demuestran explícitamente cómo las geometrías basadas en el transporte incorporan información del espacio de estados ausente en la KL clásica.
4. Control Bien Planteado: Demostración de que, en configuraciones LQR, los regularizadores de Wasserstein y Kalman–Wasserstein permanecen finitos a medida que el ruido de proceso desaparece, produciendo problemas de control óptimo bien planteados donde la KL clásica falla.
5. Validación Empírica: Análisis de sistemas de doble integrador y péndulo invertido (cart-pole) que muestran que los métodos propuestos preservan la retroalimentación no trivial y logran un mejor desempeño de bucle cerrado en regímenes de bajo ruido en comparación con los controles regularizados por KL.

4. Resultados

• Límites Teóricos: En el límite de ruido evanescente ($\Sigma_w \to 0$), la ganancia de retroalimentación óptima para la regularización KL clásica ($F_{FR}$) converge a cero, eliminando efectivamente el control. En contraste, la ganancia de Kalman–Wasserstein ($F_{KW}$) converge a un límite no nulo (específicamente $F_O$), preservando la retroalimentación estabilizadora.
• Interpolación: La divergencia de Kalman–Wasserstein ($D_{KW}$) actúa como una interpolación suave entre la KL clásica (ruido alto) y la KL de Wasserstein (ruido bajo) controlada por el parámetro $\lambda$.
• Estabilidad: Los experimentos en un doble integrador muestran que, a medida que el ruido disminuye, los controladores regularizados por KL se acercan al límite de estabilidad (radio espectral $\to 1$), provocando grandes oscilaciones. Los controladores WKL y KWKL mantienen radios espectrales significativamente por debajo de 1, asegurando la estabilidad.
• Ruido Anisotrópico: En escenarios con ruido anisotrópico, la KWKL se adapta direccionalmente, tratando las dimensiones de bajo ruido como WKL (ignorando la escala del ruido) y las dimensiones de alto ruido como KL (escalando con el ruido), mientras que la KL suprime el control por completo en las dimensiones de bajo ruido.

5. Significación y Reivindicaciones

El artículo afirma que las divergencias propuestas, conscientes del espacio de estados, proporcionan una solución fundamentada a la degeneración de bajo ruido de la regularización KL sin requerir una revisión completa de los algoritmos de RL. Al reemplazar la geometría de Fisher–Rao con geometrías basadas en el transporte, los autores logran:

• Robustez: Los problemas de control permanecen bien planteados en el límite determinista.
• Consistencia Geométrica: Los regularizadores respetan la geometría del espacio de estados subyacente, evitando el comportamiento discontinuo de la KL respecto a los desajustes de soporte.
• Utilidad Práctica: Las expresiones de forma cerrada derivadas permiten la integración inmediata en los marcos estándar de LQR y políticas gaussianas utilizados en control continuo.

Los autores posicionan este trabajo como un marco geomético para construir divergencias de tipo KL en lugar de un algoritmo de aprendizaje profundo por refuerzo completo. Sugieren que, si bien se ha validado en el entorno tratable de LQR, el siguiente paso lógico es la evaluación empírica en aprendizaje por refuerzo basado en modelos y sin modelo. Este trabajo cuenta con la financiación del Consejo Europeo de Investigación (ERC) bajo el proyecto NEITALG.