Distributionally Robust PAC-Bayesian Control

1. Il Problema

Il lavoro affronta una sfida fondamentale nell'integrazione dell'apprendimento automatico nel controllo: la vulnerabilità dei controllori basati su dati a cambiamenti di distribuzione (distribution shift), spesso indicati come il divario sim-to-real (dalla simulazione alla realtà).

I controllori appresi da dataset finiti e rumorosi tendono a degradare le prestazioni quando vengono distribuiti in ambienti reali che differiscono da quelli di addestramento a causa di disturbi non modellati o variazioni ambientali. Le limitazioni principali delle approcci esistenti (PAC-Bayes classici) sono:

• Assunzione di perdite limitate (bounded losses), che non si adattano bene ai sistemi di controllo dove le perdite possono essere illimitate.
• Assunzione che la distribuzione dei dati di addestramento e di deployment sia identica.
• Utilizzo di misure di divergenza (come le $f$-divergenze) che spesso inflazionano il termine di complessità senza legarlo direttamente alla politica di controllo.

L'obiettivo è fornire garanzie di generalizzazione ad alta probabilità per controllori stocastici su sistemi a tempo finito, gestendo esplicitamente sia le perdite illimitate che gli spostamenti di distribuzione.

2. Metodologia

Gli autori propongono un quadro unificato che combina tre linee di ricerca: la teoria PAC-Bayes, l'ottimizzazione Distributionally Robust (DR) e la sintesi a livello di sistema (System Level Synthesis - SLS).

A. Inquadramento Teorico

• PAC-Bayes Robusto: Estendono il teorema di generalizzazione PAC-Bayes per considerare un "rischio di popolazione robusto" (DROP). Invece di minimizzare il rischio atteso su una singola distribuzione, minimizzano il peggior caso atteso all'interno di un insieme di ambiguità.
• Distanza di Wasserstein: Utilizzano la distanza di Wasserstein di tipo 1 ($W_1$) per definire l'insieme di ambiguità attorno alla distribuzione empirica di addestramento. Grazie alla dualità di Kantorovich-Rubinstein, il termine di penalità per la robustezza diventa esplicitamente legato alla costante di Lipschitz della funzione di perdita rispetto alla distribuzione dei dati.
• Perdite Illimitate: A differenza dei lavori precedenti, non assumono un limite superiore fisso sulla perdita. Invece, sfruttano la proprietà di sub-Gaussianità della perdita centrata, dove il parametro di varianza ($\sigma$) dipende dalla politica (controller) stessa.

B. Implementazione tramite SLS (System Level Synthesis)

Per rendere il problema computazionalmente trattabile per sistemi lineari tempo-invarianti (LTI) a orizzonte finito:

1. Riparametrizzazione: Utilizzano il framework SLS per rappresentare le traiettorie di stato e controllo come mappe lineari delle traiettorie di disturbo.
2. Parametrizzazione dello Spazio degli Ipotetici: Il controller è parametrizzato attraverso le risposte a livello di sistema ($\Phi_x, \Phi_u$). Questo permette di esprimere la perdita come una norma pesata della mappa di risposta chiusa $M(\theta)$.
3. Certificati Espliciti: Derivano proxy espliciti per:
   • La concentrazione sub-Gaussiana ($\sigma(\theta)$): legata alla norma dell'operatore della mappa di risposta chiusa pesata dalla covarianza del disturbo.
   • La costante di Lipschitz ($L(\theta)$): anch'essa legata alla norma dell'operatore della mappa di risposta chiusa.
   • Questo legame diretto permette di ottimizzare il controller per ridurre sia l'errore empirico che la sensibilità ai cambiamenti di distribuzione.

C. Formulazione dell'Ottimizzazione

Il problema di ottimizzazione finale consiste nel trovare una distribuzione a posteriori $Q$ sui parametri del controller che minimizzi un limite superiore probabilistico:
$$\min_{Q} \mathbb{E}_{\theta \sim Q} \left[ \hat{R}_S(\theta) + \rho L(\theta) \right] + C_n^\delta(Q, P, \sigma)$$
Dove:

• $\hat{R}_S(\theta)$ è il rischio empirico.
• $\rho L(\theta)$ è la penalità di robustezza (dipendente dalla sensibilità del controller).
• $C_n^\delta$ è il termine di complessità PAC-Bayes (dipendente dalla divergenza KL e dalla varianza sub-Gaussiana).

3. Contributi Chiave

1. Estensione Robusta di Wasserstein: Introduzione di un framework PAC-Bayes distribuzionalmente robusto per funzioni di perdita Lipschitziane illimitate, superando l'assunzione di perdite limitate.
2. Certificati Dipendenti dal Controllore: Derivazione di certificati espliciti per la concentrazione della perdita e la robustezza alla distribuzione, entrambi legati alla norma dell'operatore della mappa di risposta chiusa ($M(\theta)$) nel contesto SLS.
3. Trattabilità Computazionale: Trasformazione del problema teorico in un problema di ottimizzazione fattibile per sistemi LTI, risolvibile tramite metodi di differenziazione automatica (AD) e tecniche Monte Carlo.
4. Garanzie Finite-Sample: Fornitura di garanzie di sicurezza ad alta probabilità per il deployment in ambienti reali che differiscono da quelli di addestramento, senza bisogno di identificare la distribuzione reale.

4. Risultati Sperimentali

Gli autori hanno validato il metodo su un esempio numerico di un doppio integratore (sistema LTI discreto) con orizzonte finito $T=10$.

• Confronto: Hanno confrontato il loro metodo "Robusto" (DR-PAC-Bayes) con un approccio PAC-Bayes "Vanilla" (senza penalità di Wasserstein).
• Scenari: I test sono stati condotti su dataset di addestramento di dimensioni variabili (da 32 a 2048 campioni) e testati su distribuzioni di disturbo con uno spostamento (shift) noto.
• Risultati:
  • Il metodo Vanilla ha fallito nel fornire un limite superiore valido per il rischio di test quando era presente uno spostamento di distribuzione (il limite teorico è stato violato).
  • Il metodo Robusto ha mantenuto un limite superiore valido (il rischio empirico reale è rimasto al di sotto del limite teorico) anche in presenza di shift.
  • Inoltre, il controller ottimizzato con l'approccio robusto ha mostrato prestazioni empiriche migliori (costo inferiore) rispetto al metodo vanilla anche sui dati di test spostati, dimostrando che la regolarizzazione basata sulla robustezza migliora anche la generalizzazione.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso l'uso sicuro e affidabile del controllo basato sull'apprendimento in scenari reali.

• Superamento del "Sim-to-Real": Offre un metodo matematicamente rigoroso per quantificare e mitigare il rischio derivante dalle differenze tra simulazione e realtà.
• Sicurezza Certificata: Fornisce garanzie di sicurezza non asintotiche (finite-sample), cruciali per applicazioni critiche come la robotica e i sistemi autonomi.
• Flessibilità: La capacità di gestire perdite illimitate e di adattare la robustezza alla sensibilità specifica di ogni controller rende il framework più pratico rispetto alle soluzioni precedenti basate su limiti fissi o divergenze generiche.

In sintesi, il paper propone un ponte solido tra la teoria statistica dell'apprendimento (PAC-Bayes) e l'ottimizzazione robusta (Wasserstein), implementato in modo efficiente per i sistemi di controllo lineari, garantendo che i controllori appresi rimangano sicuri ed efficaci anche quando l'ambiente operativo cambia.