Computationally efficient Gauss-Newton reinforcement learning for model predictive control

1. Il Problema

Il controllo predittivo basato su modelli (MPC) è ampiamente utilizzato nei processi industriali grazie alla sua interpretabilità e alla capacità di gestire vincoli. Tuttavia, l'integrazione dell'MPC nell'apprendimento per rinforzo (RL) presenta sfide significative:

• Inefficienza dei metodi del primo ordine: La maggior parte degli algoritmi RL utilizza aggiornamenti basati sul gradiente (primo ordine), che convergono solo linearmente. Poiché ogni aggiornamento della politica nell'MPC richiede la risoluzione di un problema di controllo ottimo (computazionalmente costoso), una convergenza lenta comporta un elevato spreco di dati e tempo.
• Costo computazionale dei metodi del secondo ordine: I metodi del secondo ordine (come Newton) offrono una convergenza superlinea, ma richiedono il calcolo dell'Hessiana della politica. Per le politiche basate su MPC, questo implica il calcolo di sensitività di secondo ordine (terze derivate del Lagrangiano del problema di ottimizzazione), che è spesso intrattabile dal punto di vista computazionale e richiede molta memoria, specialmente per sistemi non lineari ad alta dimensionalità.
• Instabilità: Le stime rumorose del gradiente e dell'Hessiana, tipiche degli ambienti RL, possono portare a instabilità nell'addestramento.

2. Metodologia Proposta

Gli autori propongono un framework di RL basato su MPC che utilizza un'approssimazione di Gauss-Newton dell'Hessiana della politica deterministica, combinata con tecniche di regolarizzazione per la stabilità.

A. Approssimazione di Gauss-Newton dell'Hessiana

Invece di calcolare l'Hessiana completa della politica (che richiede sensitività di secondo ordine), gli autori dimostrano che è possibile approssimare l'Hessiana della funzione di valore cumulativo atteso $J(\theta)$ utilizzando solo la parte $M_2(\theta)$ della decomposizione classica:
$$M(\theta) \approx M_2(\theta) = \mathbb{E}_s \left[ \nabla_\theta \pi_\theta(s)^\top \nabla_a^2 Q_{\pi_\theta}(s, a)|_{a=\pi_\theta(s)} \nabla_\theta \pi_\theta(s) \right]$$

• Teorema chiave: Dimostrano che, quando la politica converge verso l'ottimo ($\theta \to \theta^*$), il termine $M_1(\theta)$ (che contiene le sensitività di secondo ordine della politica) tende a zero.
• Vantaggio: L'approssimazione $M_2(\theta)$ non richiede il calcolo delle derivate seconde della politica rispetto ai parametri, eliminando la necessità di risolvere sistemi lineari complessi con termini di terzo ordine, pur mantenendo la garanzia di convergenza superlinea.

B. Stima Robusta dell'Hessiana con Momentum

Per gestire il rumore nelle stime dell'Hessiana (dovuto alla natura stocastica del RL), viene introdotto uno schema di media esponenziale ponderata (momentum) per l'Hessiana:

• Viene definita una stima esponenziale media dell'Hessiana $\mathbf{D}_k$.
• Viene proposta un'inizializzazione specifica (basata sulla radice quadrata della seconda media mobile di Adam) per evitare bias iniziali e instabilità.
• Viene applicata una correzione del bias per garantire che la stima sia imparziale.

C. Ottimizzazione con Regione di Fiducia Adattiva

Per garantire la stabilità durante l'aggiornamento dei parametri, l'algoritmo risolve un problema di ottimizzazione vincolato all'interno di una regione di fiducia (trust-region):

• Il raggio della regione di fiducia $\delta_k$ non è fisso ma si adatta dinamicamente in base alla magnitudine del passo di aggiornamento di Adam.
• Questo approccio permette passi grandi quando si è lontani dall'ottimo e passi piccoli e conservativi quando ci si avvicina, evitando aggiornamenti distruttivi causati da stime imprecise dell'Hessiana.

3. Contributi Chiave

1. Approssimazione Gauss-Newton per MPC: Introduzione di un metodo che elimina la necessità di calcolare le sensitività di secondo ordine della politica, riducendo drasticamente il costo computazionale e la memoria richiesta, pur garantendo una convergenza superlinea.
2. Schema di Momentum per l'Hessiana: Sviluppo di una regola di aggiornamento basata sul momentum per la stima dell'Hessiana, che riduce il rumore degli autovalori e migliora la stabilità dell'addestramento.
3. Integrazione con Trust-Region Adattiva: Un algoritmo di ottimizzazione completo che combina l'approssimazione Gauss-Newton, la media esponenziale dell'Hessiana e una regione di fiducia adattiva per aggiornamenti dei parametri robusti.

4. Risultati Sperimentali

Gli autori hanno validato il metodo su due casi di studio:

• Studio Analitico: Un sistema lineare incerto ha dimostrato che l'approssimazione Gauss-Newton converge superlinearmente, superando i metodi del primo ordine (come la discesa del gradiente) e mostrando un comportamento dell'Hessiana negativo definito vicino all'ottimo, a differenza di approssimazioni più complesse che possono diventare indefinite.

• Reattore CSTR (Continuous Stirred Tank Reactor):

  • Scalabilità: Il metodo è stato testato su politiche MPC con 2, 13 e 33 parametri. Il metodo Gauss-Newton proposto ha mostrato tempi di iterazione molto inferiori rispetto ai metodi di Newton approssimato completo (che richiedono sensitività di secondo ordine), con un tempo di calcolo che scala linearmente invece che quadraticamente con il numero di parametri.
  • Efficienza dei Dati: Il metodo Gauss-Newton ha raggiunto prestazioni ottimali con meno iterazioni rispetto all'ottimizzatore Adam (primo ordine) e ai metodi di RL profondo (TD3 con reti neurali).
  • Robustezza: Il metodo ha dimostrato una maggiore resilienza rispetto alla scalatura dei parametri (scaling), convergendo robustamente anche in scenari con parametri mal scalati dove Adam falliva o convergeva a ottimi locali subottimali.
  • Confronto con Deep RL: Le politiche MPC addestrate con il nuovo metodo hanno mostrato una migliore efficienza dei dati e prestazioni finali superiori rispetto alle reti neurali addestrate con TD3, mantenendo al contempo l'interpretabilità e la capacità di gestire i vincoli tipiche dell'MPC.

5. Significato e Impatto

Questo lavoro risolve una delle principali barriere all'uso del RL per l'ottimizzazione di politiche MPC complesse: il costo computazionale degli aggiornamenti di secondo ordine.

• Efficienza Computazionale: Rendendo fattibili gli aggiornamenti di secondo ordine per l'MPC, il metodo riduce il numero di interazioni agente-ambiente necessarie, un fattore critico nei processi industriali reali dove la raccolta dati è costosa o lenta.
• Stabilità e Robustezza: L'approccio proposto offre una stabilità superiore rispetto ai metodi del primo ordine, specialmente in presenza di rumore o scalatura dei parametri non uniforme.
• Ponte tra Teoria e Pratica: Dimostra che è possibile combinare la rigida struttura dell'MPC con l'efficienza dell'addestramento RL avanzato, offrendo una soluzione praticabile per il controllo di processi industriali non lineari e vincolati.

In sintesi, il paper introduce un metodo che rende il RL di secondo ordine computazionalmente efficiente e praticabile per le politiche MPC, superando i limiti di memoria e calcolo delle tecniche precedenti e offrendo prestazioni superiori rispetto agli approcci standard basati su reti neurali.