Resumen Técnico: Control Óptimo Estocástico con Regularización de Trayectoria mediante la Divergencia KL

1. Formulación del Problema

El artículo aborda una limitación en el Control Óptimo Estocástico (SOC) estándar, el cual se centra únicamente en minimizar el costo acumulado esperado bajo incertidumbre sin restringir cuánto se desvían las dinámicas resultantes de un comportamiento de referencia deseado. En muchas aplicaciones, los comportamientos de referencia (por ejemplo, dinámicas pasivas, controladores base o distribuciones derivadas de datos offline) codifican conocimientos estructurales valiosos. Las grandes desviaciones de estas referencias pueden conducir a políticas frágiles.

Los autores proponen el Control Óptimo Estocástico con Regularización de Trayectoria (TRSOC). El objetivo es minimizar una función de costo que equilibra el rendimiento de la tarea con la proximidad de la distribución de la trayectoria controlada a una distribución de trayectoria de referencia. Esta proximidad se mide utilizando la divergencia de Kullback–Leibler (KL) entre las leyes de probabilidad del proceso controlado ($P_u$) y el proceso de referencia ($P_0$).

El sistema se modela como un proceso de difusión controlado:
$$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$$
donde el control $u_t$ entra a través de la deriva (drift). Las dinámicas de referencia comparten la misma matriz de difusión $\sigma$, pero tienen una deriva $f_0$ distinta.

2. Metodología

A. Reducción de la KL de Trayectoria a un Costo Local

Una contribución teórica central es la reducción de la divergencia KL a nivel de trayectoria a un costo de ejecución local y tratable.

• Teorema de Girsanov: Bajo el supuesto de que la matriz de difusión $\sigma(x)$ es invertible y que el desajuste de la deriva satisface la condición de Novikov, la derivada de Radon–Nikodym entre las medidas controlada y de referencia existe.
• Lema 1: Se demuestra que la divergencia KL $KL(P_u \| P_0)$ sobre un horizonte finito $[0, T]$ es igual al esperado de la integral de una penalización cuadrática por desajuste de deriva:
  $$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$$
  donde $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$.
• Costo de Ejecución Aumentado: Este resultado permite que la regularización de la trayectoria se incorpore directamente en el marco estándar de SOC como un término aditivo al costo de ejecución:
  $$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$$
  Aquí, $\lambda \geq 0$ es el parámetro de regularización.

B. Programación Dinámica y Estructura HJB

Debido a que la penalización KL se reduce a una integral de un costo de ejecución, el problema TRSOC preserva la propiedad de Markov y el principio de Programación Dinámica (DP).

• La función de valor $V(t, x)$ satisface la ecuación Hamilton–Jacobi–Bellman (HJB) estándar:
  $$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$$
  donde $\mathcal{L}_u$ es el generador infinitesimal de la difusión.
• A diferencia de los enfoques de "control KL" que optimizan directamente sobre las medidas de trayectoria (lo que a menudo conduce a objetivos sensibles al riesgo y al sesgo exponencial), el TRSOC sigue siendo un problema de SOC estándar con un costo aumentado, manteniendo una expectativa lineal y una caracterización HJB estándar.

C. Estructura de Control Óptimo (Caso Afín al Control)

Para sistemas con deriva afín al control $f(x, u) = f_0(x) + B(x)u$ y costos de control cuadráticos, los autores derivan una ley de retroalimentación óptima explícita.

• El término KL actúa como una penalización de control adicional, modificando la matriz de peso de control efectiva:
  $$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$$
• El control óptimo está dado por:
  $$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$$
• Esta formulación implica que los controles que inducen grandes cambios en la deriva en direcciones de bajo ruido son penalizados más fuertemente.

D. Especialización Lineal-Cuadrática (LQ)

En el entorno Lineal-Cuadrático, el problema se reduce a un Regulador Lineal-Cuadrático (LQR) con descuento con un peso de control modificado $\bar{R}$. La solución implica resolver una ecuación de Riccati algebraica (ARE) modificada, donde el parámetro de regularización $\lambda$ influye directamente en la ganancia de retroalimentación, conduciendo a un control más conservador a medida que $\lambda$ aumenta.

3. Contribuciones Clave

1. Formulación TRSOC: Introducción de un marco de SOC con regularización de comportamiento que incorpora comportamientos previos (controladores nominales o bases basadas en datos) mediante la divergencia KL de trayectoria.
2. Reducción de Costo Local: Demostración de que, bajo control de solo deriva con difusión no degenerada, la divergencia KL de trayectoria se reduce a una penalización cuadrática por desajuste de la deriva. Esto preserva la estructura de DP y permite la caracterización HJB estándar.
3. Caracterización de la Política Óptima: Derivación de leyes de retroalimentación óptima explícitas para sistemas afines al control y análisis del caso LQ, mostrando cómo la regularización modifica el costo de control y las propiedades de estabilidad.
4. Análisis de Estabilidad: Prueba de que la regularización de la trayectoria puede mejorar la disipatividad de la deriva de bucle cerrado, facilitando las desigualdades de Lyapunov y asegurando la acotación de media cuadrática del estado.

4. Resultados y Experimentos

El artículo valida los hallazgos teóricos mediante experimentos numéricos en un sistema de doble integrador estocástico que sigue una trayectoria en forma de ocho.

• Compromiso Rendimiento–Desviación: Los experimentos demuestran que el parámetro de regularización $\lambda$ induce un compromiso continuo.
  • Cuando $\lambda \to 0$, el controlador se comporta como un SOC estándar impulsado por el rendimiento, logrando un bajo costo de tarea pero potencialmente desviándose significativamente de la referencia.
  • Cuando $\lambda \to \infty$, el controlador fuerza la deriva inducida a alinearse con las dinámicas de referencia, minimizando la desviación a costa del rendimiento de la tarea.
• Referencia Basada en Datos: El marco se aplica con éxito a un entorno donde las dinámicas de referencia se aprenden de datos offline (usando una red neuronal para aproximar la aceleración de referencia). Los resultados muestran que el TRSOC equilibra eficazmente la optimización de la tarea con la adherencia al comportamiento de referencia aprendido.
• Geometría de la Trayectoria: Las visualizaciones de las trayectorias revelan que la regularización actúa sobre la geometría de las dinámicas inducidas. Los controladores regularizados producen trayectorias que se sitúan entre las correcciones agresivas del controlador óptimo no regularizado y el comportamiento de referencia nominal, particularmente en regiones de alta curvatura.

5. Significado y Reivindicaciones

Los autores afirman que el TRSOC proporciona un método fundamentado para integrar conocimiento previo o datos offline en el control estocástico sin abandonar el marco estándar de DP/HJB.

• Preservación Estructural: A diferencia de otros métodos de regularización de trayectoria que pueden requerir la optimización sobre medidas o conducir a objetivos de sensibilidad al riesgo no estándar, el TRSOC mantiene la estructura estándar de SOC, lo que lo hace aplicable a dinámicas no lineales generales.
• Interpolación: El marco ofrece una scalarización de un problema de optimización multiobjetivo (rendimiento de la tarea vs. adherencia a la referencia), permitiendo a los profesionales ajustar el comportamiento del controlador mediante un único parámetro $\lambda$.
• Robustez: Se demuestra que el método es robusto a los errores de aproximación cuando las dinámicas de referencia se aprenden de datos, lo que sugiere una utilidad potencial en contextos de aprendizaje por imitación y de offline-a-online.

El artículo concliza que la regularización de la trayectoria actúa como una modificación de la energía de control "consciente del ruido", penalizando los cambios de la deriva más fuertemente en las direcciones donde el sistema es menos estocástico, ofreciendo así un mecanismo geométricamente intuitivo para equilibrar el rendimiento con la seguridad y la consistencia.