Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets

1. Il Problema

Il lavoro affronta la sfida del controllo di sistemi dinamici lineari soggetti a disturbi stocastici additivi, in un contesto di orizzonte finito. Il problema centrale risiede nell'incertezza sulla distribuzione di probabilità che governa il processo di disturbo.

• Contesto: I metodi di controllo stocastico tradizionali assumono una distribuzione nota, ma sono sensibili a errori di stima o a cambiamenti di distribuzione (distribution shift). I metodi robusti distribuzionali (DRO) tradizionali, che ottimizzano per il caso peggiore su un insieme di distribuzioni, tendono spesso a essere eccessivamente conservativi, portando a politiche di controllo caute e a una perdita di prestazioni.
• Obiettivo: Progettare politiche di controllo causali affini che minimizzino il regret atteso nel caso peggiore (worst-case expected regret) su un insieme di ambiguità specifico. Il regret è definito come la differenza tra il costo sostenuto dal controller causale e il costo minimo ottenibile da un controller non causale (clairvoyant) che conosce l'intera traiettoria del disturbo a priori.
• Insieme di Ambiguità: L'approccio proposto utilizza un insieme di distribuzioni dove la media e la matrice di covarianza del disturbo sono sconosciute ma si assumono appartenere a sfere di norma centrate su valori nominali stimati:
  • La media è vincolata all'interno di una sfera di norma euclidea ($L_2$).
  • La covarianza è vincolata all'interno di una sfera di norma di Schatten ($S_p$), che generalizza le norme nucleari ($p=1$), di Frobenius ($p=2$) e spettrali ($p=\infty$).

2. Metodologia

Gli autori sviluppano un quadro teorico e algoritmico per trasformare il problema di ottimizzazione minimax in un problema risolvibile.

Riformulazione Convessa

Il contributo teorico principale è la dimostrazione che il problema di controllo ottimo minimax può essere riformulato come un programma convesso finito-dimensionale.

• Decomposizione: Il problema del regret atteso worst-case viene decomposto in due massimizzazioni separate: una sulla media del disturbo e una sulla covarianza.
• Regolarizzazione: La soluzione ottima per la politica di controllo affine $\phi(w) = Kw + v$ è data da una forma chiusa che dipende da una matrice di guadagno $K^*$. L'ottimizzazione di $K^*$ si riduce alla minimizzazione di una funzione obiettivo composta da:
  1. Il costo atteso nominale (basato sulla covarianza stimata $\hat{\Sigma}$).
  2. Un termine di regolarizzazione legato all'incertezza sulla media, proporzionale alla norma spettrale ($\|\cdot\|_\infty$) di una matrice dipendente dal guadagno.
  3. Un termine di regolarizzazione legato all'incertezza sulla covarianza, proporzionale alla norma di Schatten duale ($\|\cdot\|_q$, dove $1/p + 1/q = 1$).
• Interpretazione: Questo problema è interpretabile come un problema di controllo lineare-quadratico (LQ) stocastico con regolarizzazione. I termini di regolarizzazione penalizzano la sensibilità del controller alle deviazioni distribuzionali, bilanciando prestazioni nominali e robustezza.

Algoritmo di Soluzione

Sebbene il problema riformulato possa essere espresso come un Programma Semidefinito (SDP), la risoluzione di SDP su larga scala tramite metodi a punto interno è computazionalmente proibitiva.

• Dualità: Gli autori derivano la formulazione duale del problema convesso.
• Metodo del Supergradiente Proiettato: Viene sviluppato un algoritmo scalabile basato sul metodo del supergradiente proiettato per risolvere il problema duale.
  • L'algoritmo genera una sequenza di iterati che converge alla soluzione ottima.
  • Se la covarianza nominale è definita positiva, il metodo si riduce a un gradiente proiettato ascendente, permettendo l'uso di tecniche di accelerazione (es. momentum, ricerca lineare).
  • La proiezione sulle sfere di norma di Schatten viene eseguita efficientemente tramite decomposizione spettrale e proiezione sui vettori degli autovalori.

3. Contributi Chiave

1. Nuova Classe di Insiemi di Ambiguità: Introduzione di insiemi basati su norme di Schatten per la covarianza, che permettono di modellare diverse strutture di incertezza (nucleare, Frobenius, spettrale) e di interpolare tra diversi obiettivi di controllo.
2. Riformulazione Tractabile: Dimostrazione che il problema di regret robusto distribuzionale ammette una riformulazione esatta come programma convesso, interpretabile come un LQ con regolarizzazione.
3. Algoritmo Scalabile: Sviluppo di un metodo del supergradiente proiettato che supera i limiti di scalabilità degli SDP, rendendo possibile il controllo di sistemi di grandi dimensioni.
4. Generalizzazione: Il framework generalizza i risultati precedenti sul controllo ottimo per regret robusto (basato su insiemi di incertezza norm-bounded deterministici) al contesto stocastico.

4. Risultati Sperimentali

Gli esperimenti numerici sono stati condotti su un sistema di doppio integratore smorzato con disturbi AR(1) temporali correlati.

• Confronto: I controller proposti (NUC-REGRET, FROB-REGRET, SPEC-REGRET) sono stati confrontati con:
  • Controller basati su insiemi di ambiguità di Wasserstein (metodo SOTA).
  • Approssimazione della media campionaria (SAA).
  • Controller causale ottimo (che conosce la vera distribuzione).
• Prestazioni Out-of-Sample:
  • I controller proposti, in particolare SPEC-REGRET (basato sulla norma spettrale), hanno mostrato prestazioni superiori in termini di costo atteso fuori campione rispetto ai metodi basati su Wasserstein e SAA.
  • SPEC-REGRET è riuscito a raggiungere prestazioni vicine a quelle del controller causale ottimo, dimostrando di non essere eccessivamente conservativo.
  • I metodi basati su Wasserstein per la minimizzazione del costo (WASS-COST) hanno mostrato una maggiore conservatività, degradando le prestazioni per certi valori del raggio di ambiguità.
• Scalabilità: L'algoritmo del supergradiente proiettato ha dimostrato tempi di calcolo significativamente inferiori rispetto ai solver SDP a punto interno, specialmente all'aumentare dell'orizzonte temporale $T$ (es. convergenza in secondi contro minuti per $T=80$).

5. Significato e Impatto

Questo lavoro offre un ponte fondamentale tra la teoria del controllo robusto deterministico (basato sul regret) e l'ottimizzazione distribuzionale stocastica.

• Bilanciamento Conservativismo-Prestazioni: Fornisce un metodo per mitigare il pessimismo tipico dei controlli robusti distribuzionali, utilizzando il concetto di regret per ottenere politiche più equilibrate.
• Flessibilità di Progettazione: La possibilità di scegliere il parametro $p$ della norma di Schatten permette agli ingegneri di modellare diverse forme di incertezza sulla covarianza, adattando il controller al tipo specifico di "shift" distribuzionale atteso.
• Applicabilità Pratica: La proposta di un algoritmo scalabile rende fattibile l'implementazione di queste tecniche avanzate in sistemi reali di grandi dimensioni, dove i metodi SDP tradizionali fallirebbero.

In sintesi, il paper propone un framework matematicamente rigoroso e computazionalmente efficiente per il controllo stocastico robusto, che supera i limiti delle approcci esistenti offrendo prestazioni superiori in scenari di incertezza distribuzionale.