On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control

Aquí presento un resumen técnico detallado del artículo "On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control", estructurado según los puntos solicitados.

1. Planteamiento del Problema

El trabajo aborda una generalización del problema de control Lineal Cuadrático Gaussiano (LQG) de horizonte finito. El control LQG clásico es óptimo bajo la suposición de que el ruido del sistema sigue una distribución gaussiana conocida. Sin embargo, en escenarios reales, las distribuciones de ruido pueden desviarse de este modelo nominal, lo que hace que la solución LQG estándar sea frágil y susceptible a un rendimiento degradado.

El objetivo es diseñar una política de control que sea robusta a la incertidumbre distribucional. Específicamente, el problema se formula como un juego de suma cero entre:

• El diseñador del controlador: Busca minimizar el costo esperado cuadrático.
• Un adversario (la "naturaleza"): Busca maximizar dicho costo seleccionando la distribución de ruido más desfavorable dentro de un conjunto de ambigüedad.

Definición del Conjunto de Ambigüedad:
A diferencia de enfoques anteriores que usan divergencias $f$ o distancias de Wasserstein estándar, este trabajo define el conjunto de ambigüedad utilizando la discrepancia de Sinkhorn (una distancia de transporte óptimo regularizada por entropía).

• Se asume que las distribuciones de ruido desconocidas pertenecen a un conjunto centrado en una distribución gaussiana nominal.
• La discrepancia de Sinkhorn ($W_\epsilon$) incorpora un término de regularización de entropía ($\epsilon$), lo que altera la geometría del conjunto de distribuciones admisibles en comparación con el transporte óptimo clásico.

El problema central es encontrar una política causal $\pi$ que resuelva:
$$\inf_{\pi} \sup_{P \in \mathcal{S}} \mathbb{E}_P[J(\pi, \delta)]$$
donde $\mathcal{S}$ es el conjunto de ambigüedad definido por la discrepancia de Sinkhorn.

2. Metodología

Los autores emplean una estrategia de "sandwich" (sándwich) para demostrar la optimalidad global de las políticas lineales, construyendo cotas inferiores y superiores al problema original y demostrando que coinciden.

A. Re-parametrización con Salidas Purificadas:
Para facilitar el análisis, transforman las observaciones reales $y_t$ en salidas purificadas ($\eta_t$). Estas son variables que dependen únicamente del ruido exógeno y no de la entrada de control, permitiendo desacoplar la dinámica del controlador de la del ruido.

B. Construcción de una Cota Inferior (Dual):

• Restringen el conjunto de distribuciones adversarias a aquellas que son Gaussianas dentro del conjunto de ambigüedad.
• Utilizan el hecho de que para distribuciones gaussianas, la discrepancia de Sinkhorn coincide con una divergencia de Gelbrich regularizada por entropía ($G_\epsilon$), que depende únicamente de las matrices de covarianza.
• Esto reduce el problema de optimización infinito-dimensional a uno de dimensión finita sobre las matrices de covarianza.

C. Construcción de una Cota Superior (Primal):

• Restringen el espacio de políticas a políticas lineales.
• Demuestran una desigualdad tipo Gelbrich para la discrepancia de Sinkhorn: para cualquier distribución $Q$ con covarianza $\Sigma_2$ y una gaussiana $P$ con covarianza $\Sigma_1$, se cumple que $W_\epsilon(P, Q) \geq G_\epsilon(\Sigma_1, \Sigma_2)$.
• Esto implica que el conjunto de ambigüedad original está contenido en un conjunto definido solo por restricciones en las covarianzas (el conjunto de Gelbrich regularizado).
• Al maximizar sobre este conjunto más grande (pero definido por covarianzas) y restringir a políticas lineales, obtienen una cota superior al costo óptimo.

D. Demostración de Equilibrio de Nash:

• Demuestran que las cotas inferior y superior coinciden.
• Utilizan el Teorema Minimax de Sion, probando primero que los conjuntos de matrices de covarianza admisibles (definidos por $G_\epsilon \leq \rho$) son convexos y compactos (Lema 1).
• La convexidad y compacidad permiten asegurar la existencia de un equilibrio de Nash, donde la política óptima es lineal y la distribución adversaria óptima es gaussiana.

3. Contribuciones Clave

1. Optimalidad Global de Políticas Lineales: Establecen que, a pesar de la complejidad introducida por la regularización de Sinkhorn (que cambia la geometría del conjunto de ambigüedad respecto al transporte óptimo estándar), las políticas lineales siguen siendo globalmente óptimas para el problema LQG robusto distribucionalmente.
2. Nuevas Desigualdades y Acotaciones:
   • Derivan una nueva cota inferior para el problema DR-LQG utilizando resultados de transporte óptimo regularizado.
   • Establecen una desigualdad tipo Gelbrich para la discrepancia de Sinkhorn, un resultado novedoso que no existía en la literatura y es crucial para la cota superior.
3. Propiedades Topológicas: Proban la convexidad y compacidad del conjunto de ambigüedad de Gelbrich regularizado por entropía, propiedades esenciales para aplicar teoremas de minimax y garantizar la existencia de soluciones.
4. Formulación Práctica: Reformulan el problema de control robusto como un programa cónico finito-dimensional (específicamente un programa semidefinido), haciendo el problema computacionalmente tratable.

4. Resultados

• Teorema Principal: Se demuestra que el problema de control LQG robusto con Sinkhorn admite un equilibrio de Nash en la clase de políticas lineales. La solución óptima es una retroalimentación lineal de las salidas purificadas (y por ende, de las mediciones), y la peor distribución de ruido es una distribución gaussiana con una matriz de covarianza específica.
• Experimentos Numéricos:
  • Se simuló un sistema lineal discreto inestable en lazo abierto.
  • Se comparó el controlador LQG clásico (basado en covarianzas nominales) con el controlador Sinkhorn DR-LQG.
  • Resultados: Bajo la distribución nominal, el controlador robusto incurre en un costo ligeramente mayor (trade-off de rendimiento). Sin embargo, bajo distribuciones adversarias seleccionadas dentro del conjunto de ambigüedad, el controlador Sinkhorn DR-LQG demostró un costo promedio significativamente menor, validando su superioridad en términos de robustez distribucional.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Puente entre Robustez y Tractabilidad: Muestra que es posible robustecer el control LQG contra incertidumbre distribucional completa (no solo momentos) sin sacrificar la estructura lineal óptima, manteniendo la solución computable.
• Avance en Teoría de Sinkhorn: Introduce herramientas matemáticas nuevas (desigualdades de Gelbrich para Sinkhorn) que son fundamentales para el aprendizaje y control robusto basado en discrepancias de Sinkhorn, una métrica popular en aprendizaje automático por su eficiencia computacional.
• Aplicabilidad Práctica: Proporciona un marco teórico sólido para diseñar controladores en sistemas críticos donde los modelos de ruido pueden ser inexactos, ofreciendo garantías de rendimiento frente a desviaciones de distribución que los métodos clásicos $H_\infty$ (demasiado conservadores) o LQG estándar (demasiado frágiles) no pueden manejar adecuadamente.

En resumen, el artículo demuestra que la introducción de la regularización de entropía en la definición de incertidumbre no rompe la elegancia de la solución LQG, preservando la optimalidad de las políticas lineales y ofreciendo una herramienta poderosa para el control robusto moderno.