On Globally Optimal Stochastic Policy Gradient Methods for Domain Randomized LQR Synthesis

1. Problema e Contesto

Il lavoro si concentra sul problema della sintesi del regolatore lineare-quadratico (LQR) con randomizzazione del dominio (DR-LQR).

• Contesto: La randomizzazione del dominio (Domain Randomization - DR) è una tecnica ampiamente utilizzata nell'apprendimento per rinforzo e nella robotica per colmare il divario tra simulazione e realtà (sim-to-real). Funziona addestrando controllori su ambienti simulati con parametri fisici randomizzati (es. masse, attriti, lunghezze) per ottenere politiche robuste.
• La Sfida: Sebbene la DR sia efficace nella pratica, mancano principi teorici generali per progettare schemi di ottimizzazione che sfruttino efficacemente la randomizzazione. Approcci precedenti, come quelli di Fujinami et al., utilizzano una funzione di costo surrogata (media campionaria su un set fisso di sistemi) che, sebbene convergente, non sfrutta appieno le risorse computazionali disponibili (es. GPU) e può portare a soluzioni subottimali o con alta variabilità.
• Obiettivo: Il paper mira a colmare questo gap dimostrando che l'ottimizzazione diretta della funzione di costo DR-LQR tramite discesa del gradiente stocastico (SGD), campionando nuovi sistemi ad ogni passo, garantisce la convergenza a un ottimo globale e produce controllori superiori rispetto ai metodi basati su set fissi.

2. Metodologia

Gli autori analizzano un sistema dinamico lineare fully observed soggetto a rumore e parametri incerti $\theta$ distribuiti su un insieme convesso e compatto $\Theta$.

• Formulazione del Problema: L'obiettivo è trovare un guadagno di feedback $K$ che minimizzi il costo LQR atteso rispetto alla distribuzione dei parametri:
  $$\min_K \mathbb{E}_{\theta}[J(K, \theta)]$$
  soggetto a vincoli di stabilità per tutti i $\theta \in \Theta$.
• Algoritmo Proposto (Algorithm 1): Viene proposto uno schema di Minibatched Stochastic Gradient Descent (SGD).
  • Ad ogni iterazione $n$, vengono campionati $M$ nuovi sistemi $\theta_1, \dots, \theta_M$ dalla distribuzione $p_\Theta$.
  • Viene calcolato il gradiente stocastico come media dei gradienti su questi $M$ campioni.
  • Il controllo $K$ viene aggiornato: $K_{new} = K_{old} - \eta \cdot g(K)$.
• Analisi Teorica:
  • Dominio del Gradiente (Gradient Domination): Gli autori dimostrano che la funzione di costo DR-LQR soddisfa una proprietà di "dominanza del gradiente" (analoga alla condizione Polyak-Łojasiewicz) in un intorno della soluzione ottima. Questo è cruciale perché, nonostante la non convessità del problema LQR, garantisce la convergenza globale.
  • Lipschitzianità Locale: Viene dimostrato che il costo è localmente $L$-lisce (gradiente Lipschitziano) su sotto-livelli di costo, permettendo di scegliere un passo di apprendimento ($\eta$) che mantiene la fattibilità (stabilità) delle iterazioni.
  • Convergenza SGD: Viene fornita un'analisi di convergenza che caratterizza le condizioni sufficienti per il numero di campioni nel minibatch ($M$), il passo di apprendimento e il numero di iterazioni per garantire una soluzione $\epsilon$-subottimale con alta probabilità.

3. Contributi Chiave

1. Convergenza Lineare Globale: È la prima dimostrazione della convergenza lineare di un SGD in mini-batch verso una soluzione $\epsilon$-subottimale per il problema DR-LQR. Viene stabilita una relazione tra la dimensione del minibatch e il livello di sub-ottimalità desiderato.
2. Vantaggio Computazionale e di Performance: Dimostrano empiricamente e teoricamente che, a parità di budget computazionale, l'approccio SGD con ricampionamento continuo (DR) supera l'approccio basato su media campionaria (SA) di lavori precedenti.
3. Riduzione della Variabilità: L'uso di nuovi campioni ad ogni iterazione non solo migliora il costo medio, ma riduce significativamente la varianza dei controllori finali ottenuti, rendendo la soluzione più robusta e affidabile.
4. Estensione della Teoria LQR: Estendono i risultati di convergenza globale noti per l'LQR standard (Fazel et al.) al contesto più complesso della randomizzazione del dominio, gestendo la non convessità e i vincoli di stabilità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un sistema cart-pole linearizzato, randomizzando la lunghezza del pendolo (distribuzione uniforme su [0.2, 0.8] m) e altri parametri fisici.

• Convergenza: L'aumento della dimensione del minibatch ($M$) porta a stime del gradiente più accurate e a una convergenza più rapida.
• Confronto DR vs. SA (Sample Average):
  • Il metodo DR (con minibatch dinamico) ha raggiunto costi inferiori rispetto al metodo SA (che fissa un set di 8 sistemi all'inizio).
  • La variabilità del costo finale è stata significativamente inferiore per il metodo DR (le percentili 25° e 75° sono più vicine).
  • L'istogramma della norma $L_2$ del guadagno $K$ mostra una distribuzione molto più stretta per DR rispetto a SA, indicando una maggiore consistenza nella sintesi del controllore.
• Efficienza: Nonostante un aumento marginale del tempo di esecuzione (circa il 22% in più su GPU Nvidia A100), il metodo DR produce controllori con prestazioni superiori e maggiore affidabilità, giustificando pienamente il costo computazionale aggiuntivo.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Validazione Teorica: Fornisce le basi teoriche mancanti per l'uso della randomizzazione del dominio in contesti di controllo ottimali, spostando la DR da una tecnica euristica a un metodo con garanzie di convergenza globale.
• Efficienza delle Risorse: Dimostra che l'uso intensivo di risorse computazionali (GPU) per il campionamento dinamico è preferibile rispetto all'uso di set di dati statici, trasformando il "costo" del campionamento in un vantaggio per la qualità della soluzione.
• Robustezza: Offre un approccio che non solo minimizza il costo atteso, ma garantisce anche una bassa varianza nelle prestazioni finali, un aspetto critico per l'applicazione di sistemi di controllo in scenari reali incerti.
• Futuro: Apre la strada a futuri lavori per rilassare le condizioni di eterogeneità richieste per la dominanza del gradiente e per estendere questi metodi a spazi fattibili non convessi più generali.

In sintesi, il paper dimostra che la combinazione di randomizzazione del dominio e ottimizzazione stocastica diretta è una strategia superiore per la sintesi di controllori robusti, offrendo sia garanzie teoriche di ottimalità globale che vantaggi pratici tangibili rispetto alle metodologie esistenti.