Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets

1. Planteamiento del Problema

El artículo aborda el desafío del control de sistemas dinámicos lineales sujetos a perturbaciones estocásticas cuando la distribución de probabilidad real del ruido es desconocida.

• Contexto: Se considera un sistema de tiempo discreto, lineal y variante en el tiempo con un horizonte finito. Las matrices del sistema son conocidas, pero la distribución conjunta de la condición inicial y las perturbaciones es incierta.
• Limitación de los métodos existentes:
  • El control estocástico estándar asume una distribución conocida, lo que lo hace sensible a errores de estimación o cambios de distribución (distribution shift).
  • El control robusto distribucionalmente (DRO) tradicional minimiza el peor costo esperado, lo que a menudo resulta en políticas excesivamente conservadoras y pérdida de rendimiento.
  • El control óptimo de arrepentimiento (regret optimal) minimiza el exceso de costo respecto a un controlador no causal (con visión perfecta), pero a menudo asume incertidumbre determinista o conjuntos de ambigüedad basados en distancias de Wasserstein, que pueden ser computacionalmente costosos o menos interpretables en ciertos contextos.
• Objetivo: Diseñar políticas de control afines causales que minimicen el peor caso del arrepentimiento esperado sobre un conjunto de ambigüedad definido por restricciones en los momentos (media y covarianza) de la distribución de perturbaciones.

2. Metodología

Los autores proponen un marco novedoso que combina el control óptimo de arrepentimiento con conjuntos de ambigüedad basados en normas de momentos.

A. Definición del Conjunto de Ambigüedad

En lugar de usar la distancia de Wasserstein, el conjunto de ambigüedad $\mathcal{P}$ se define como el conjunto de todas las distribuciones cuya media y matriz de covarianza se encuentran dentro de bolas de norma centradas en valores nominales estimados ($\hat{\mu}, \hat{\Sigma}$):

• Media: $\|\mu - \hat{\mu}\|_2^2 \leq r_1$ (Bola de norma euclidiana).
• Covarianza: $\|\Sigma - \hat{\Sigma}\|_p \leq r_2$ (Bola de norma de Schatten $p$).
  • La norma de Schatten $p$ generaliza la norma nuclear ($p=1$), la norma de Frobenius ($p=2$) y la norma espectral ($p=\infty$).
  • Esto permite modelar perturbaciones correlacionadas temporalmente y no gaussianas.

B. Reformulación Convexa

El problema original es un problema minimax (minimizar el arrepentimiento esperado sobre el peor caso de distribución). Los autores demuestran que este problema admite una reformulación equivalente como un programa convexo tratable:

1. Descomposición: El peor caso del arrepentimiento esperado se descompone en dos maximizaciones separadas: una sobre la media y otra sobre la covarianza.
2. Resultado Clave (Teorema 2): El problema se reduce a la minimización de una función objetivo que incluye:
   • El costo esperado nominal bajo la covarianza estimada.
   • Un término de penalización por la incertidumbre en la media: $r_1 \|C(K)\|_\infty$ (norma espectral).
   • Un término de penalización por la incertidumbre en la covarianza: $r_2 \|C(K)\|_q$ (norma de Schatten dual, donde $1/p + 1/q = 1$).
   • Donde $C(K) = (K - K_o)^\top D (K - K_o)$ representa la sensibilidad del controlador $K$ respecto al controlador no causal óptimo $K_o$.

C. Interpretación de Regularización

La solución óptima se interpreta como un problema de control lineal-cuadrático (LQ) regularizado. Los términos de penalización actúan como regularizadores que equilibran el rendimiento nominal con la robustez frente a desviaciones en la media y la covarianza.

• Si $r_1, r_2 \to 0$, se recupera el control LQ nominal.
• Si $r_1 \to \infty$, se aproxima al control robusto de arrepentimiento (sin distribución).
• Si $r_2 \to \infty$ con $p=\infty$, se aproxima al regulador LQ clásico.

D. Algoritmo de Solución Escalable

Aunque la reformulación puede expresarse como un Programa Semidefinido (SDP), resolver SDPs grandes es computacionalmente prohibitivo.

• Propuesta: Se desarrolla un método de subgradiente proyectado dual.
• Ventaja: Al dualizar el problema, se evita la dimensión explícita del SDP. El algoritmo utiliza proyecciones sobre bolas de normas de Schatten, que pueden calcularse eficientemente mediante descomposición espectral y proyección de vectores de valores propios.
• Convergencia: Se garantiza la convergencia asintótica a la solución óptima bajo condiciones estándar de tamaño de paso.

3. Contribuciones Clave

1. Nuevos Conjuntos de Ambigüedad: Introducción de conjuntos de ambigüedad basados en normas de Schatten para la covarianza y normas euclidianas para la media en el contexto de control de arrepentimiento.
2. Reformulación Tractable: Demostración de que el problema minimax de control robusto de arrepentimiento es equivalente a un programa convexo finito-dimensional con regularización de norma de Schatten.
3. Algoritmo Escalable: Desarrollo de un algoritmo de subgradiente proyectado dual que supera las limitaciones de escalabilidad de los métodos de punto interior para SDPs, permitiendo su aplicación a sistemas de gran escala.
4. Generalización: El marco propuesto generaliza trabajos anteriores sobre control robusto de arrepentimiento con incertidumbre determinista y métodos basados en Wasserstein.

4. Resultados Experimentales

Los autores validan su método mediante experimentos numéricos en un sistema de doble integrador amortiguado con perturbaciones AR(1).

• Comparación: Se comparan los controladores propuestos (NUC-REGRET, FROB-REGRET, SPEC-REGRET) contra:
  • Controladores basados en Wasserstein (WASS-REGRET, WASS-COST).
  • Aproximación de Promedio de Muestras (SAA).
  • Controlador Óptimo Causal (conocimiento de la verdad).
• Rendimiento Fuera de Muestra:
  • Los controladores propuestos (especialmente SPEC-REGRET y FROB-REGRET) superan consistentemente a los métodos basados en Wasserstein y al SAA en términos de costo esperado fuera de muestra.
  • Logran un mejor equilibrio entre rendimiento nominal y robustez, evitando el conservadurismo excesivo de los métodos de costo mínimo.
  • En escenarios sin correlación temporal ($\rho=0$), el controlador SPEC-REGRET alcanza el rendimiento del controlador causal óptimo.
• Eficiencia Computacional:
  • El método de subgradiente proyectado es significativamente más rápido que los solucionadores SDP de punto interior.
  • Para horizontes de control grandes ($T=80$), el método propuesto converge en segundos, mientras que el solucionador SDP tarda más de 16 minutos o falla por falta de memoria.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Interpretabilidad y Control: Ofrece una interpretación clara de la robustez como regularización, permitiendo a los ingenieros ajustar explícitamente el trade-off entre rendimiento y robustez mediante los parámetros de radio ($r_1, r_2$) y el tipo de norma ($p$).
• Escalabilidad Práctica: Al proporcionar un algoritmo eficiente que evita los SDPs de gran escala, hace viable la implementación de controladores robustos de arrepentimiento en sistemas dinámicos complejos y de alta dimensión, donde los métodos anteriores eran inviables.
• Superioridad sobre Wasserstein: Demuestra empíricamente que, para problemas de control con datos finitos, los conjuntos de ambigüedad basados en momentos (especialmente con normas de Schatten) pueden ofrecer un mejor rendimiento fuera de muestra y una mayor eficiencia computacional que los enfoques basados en la distancia de Wasserstein.
• Puente Teórico: Conecta teóricamente el control estocástico nominal, el control robusto determinista y el control óptimo de arrepentimiento en un marco unificado.

En resumen, el artículo presenta un avance teórico y algorítmico sólido para el diseño de controladores que son simultáneamente robustos frente a la incertidumbre de la distribución y óptimos en términos de arrepentimiento, resolviendo los cuellos de botella computacionales que limitaban la aplicación práctica de tales métodos.