Global Convergence of Policy Gradient Methods for ReLU Controllers in Linear Quadratic Regulation

Riassunto Tecnico: Convergenza Globale dei Metodi di Policy Gradient per Controller ReLU in LQR Lineare-Quadratico

1. Il Problema

Il lavoro affronta il problema del Regolatore Lineare-Quadratico (LQR) deterministico, scalare e scontato (discounted). In questo scenario, l'obiettivo è minimizzare un costo quadratico infinito (che penalizza lo stato e l'input) attraverso una legge di controllo di feedback.

Sebbene la teoria classica dell'LQR garantisca che l'ottimo sia una legge di controllo lineare ($\mu^*(x) = K^*x$), il paper esplora cosa accade quando il controller non è parametrizzato linearmente, ma tramite una rete neurale ReLU overparameterized (a un solo strato nascosto, senza bias). Questa scelta introduce due sfide principali:

• Non-convessità: Lo spazio dei pesi della rete neurale è ridondante e non convesso.
• Controller a tratti (Piecewise-linear): Una rete ReLU scalare agisce con un guadagno $K_1$ per $x \geq 0$ e un altro guadagno $K_2$ per $x < 0$. L'obiettivo è dimostrare che il gradiente spinge entrambi i guadagni verso l'unico valore ottimale $K^*$, rendendo il controller finale effettivamente lineare.

2. Metodologia

Gli autori utilizzano un approccio di analisi a due livelli: livello del controller (guadagni effettivi) e livello dei pesi (parametri della rete).

• Analisi del Controller: Viene dimostrato che, all'interno di un "set di stabilità" ($\mathcal{K}_\delta$), la funzione di costo è convessa e soddisfa la proprietà di Polyak-Łojasiewicz (PL). Ciò significa che, sebbene il problema sia non convesso in termini di pesi, la geometria del costo rispetto ai guadagni effettivi è favorevole alla convergenza.
• Analisi dei Pesi (Overparameterization): Per gestire la non-convessità della rete, gli autori introducono il concetto di "benign width regime" (regime di larghezza benigna). Utilizzando un'inizializzazione Gaussiana e una larghezza della rete ($m$) sufficientemente grande, dimostrano che la maggior parte dei neuroni rimane "stabile" nel suo segno (non attraversa lo zero), minimizzando l'errore dovuto al cambio di segno dei neuroni.
• Policy Gradient: Viene analizzato l'algoritmo di model-based policy gradient (dove il modello del sistema è noto) applicato direttamente ai pesi della rete.

3. Contributi Chiave

1. Caratterizzazione del Controller ReLU: Dimostrano che il controller può essere modellato come una politica a due guadagni e derivano la sua geometria del costo e la sua stabilità.
2. Garanzia di Stabilità durante l'addestramento: A differenza di molti studi sul deep learning che assumono la stabilità, questo lavoro prova che, sotto certe condizioni di inizializzazione e passo (step size), le iterazioni del gradiente rimangono all'interno di un set di stabilità.
3. Dimostrazione della Convergenza Globale: Forniscono una prova rigorosa che il gradiente della policy converge geometricamente al controller LQR ottimale con alta probabilità.
4. Analisi del "Crossing Mass": Introducono un meccanismo per controllare la massa dei neuroni che cambiano segno durante l'ottimizzazione, dimostrando che tale effetto è trascurabile in regimi di alta dimensionalità (overparameterization).

4. Risultati Principali

Il risultato centrale è espresso nel Teorema 1, il quale stabilisce che:

• Se la rete è inizializzata correttamente (Gaussiana) e ha una larghezza sufficiente, il gradiente della policy preserva la stabilità del sistema per ogni iterazione.
• Il gap di performance (la differenza tra il costo attuale e quello ottimale) decade geometricamente ($J(\mu_k) - J(\mu^*) \leq \rho^k \Delta_0$).
• I guadagni effettivi della rete convergono all'unico guadagno ottimale $K^*$.

Le simulazioni numeriche confermano i risultati teorici, mostrando come, all'aumentare del numero di neuroni ($m$), la convergenza diventi più robusta e precisa verso il valore ottimale.

5. Significato e Implicazioni

Questo lavoro è significativo perché colma il divario tra la teoria del controllo classico (che si concentra sulla stabilità e l'ottimalità lineare) e il deep reinforcement learning (che utilizza parametri non lineari e complessi).

Dimostra che l'overparameterization non è solo un trucco empirico per migliorare le prestazioni, ma fornisce una struttura matematica che "ammorbidisce" la superficie del costo, permettendo a metodi di ottimizzazione semplici come il gradiente della policy di risolvere problemi di controllo non lineari e non convessi, garantendo al contempo la stabilità del sistema chiuso.