Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

1. Problema Investigato

Il lavoro affronta il problema del Regolatore Lineare Quadratico (LQR) a orizzonte infinito per sistemi lineari con dinamiche sconosciute (matrici $A^\star$ e $B^\star$ non note).
L'obiettivo è progettare un controllore a retroazione dello stato ($u_t = K_t x_t$) che minimizzi la funzione di costo quadratica, utilizzando esclusivamente i dati raccolti dal sistema reale durante il funzionamento.

La sfida principale risiede nel garantire certificati di stabilità per l'intero schema di apprendimento e controllo. A differenza dei metodi off-policy (dove i dati sono indipendenti dalla politica corrente) o dei metodi basati su identificazione separata, questo lavoro si concentra su un approccio on-policy: la politica di controllo viene aggiornata iterativamente mentre viene applicata al sistema reale, creando un ciclo di retroazione complesso tra ottimizzazione, apprendimento e dinamica del sistema.

2. Metodologia Proposta: Relearn LQR

Gli autori propongono un algoritmo denominato Relearn LQR (REcursive LEARNing policy gradient for LQR), che integra tre processi in un unico schema interconnesso:

1. Raccolta Dati On-Policy:

   • Il sistema reale viene azionato con una politica di retroazione corrente $K_t$.
   • Per garantire la persistenza dell'eccitazione (necessaria per l'identificazione), viene iniettato un segnale di disturbo esterno (dithering) $d_t$ generato da un oscillatore esogeno.
   • L'ingresso di controllo è: $u_t = K_t x_t + d_t$.

2. Processo di Apprendimento (Identificazione):

   • Le coppie stato-ingresso $(x_t, u_t)$ e lo stato successivo $x_{t+1}$ vengono utilizzati per stimare le matrici sconosciute $\theta^\star = [A^\star \ B^\star]^\top$.
   • Viene utilizzato un metodo Recursive Least Squares (RLS) con fattore di dimenticanza $\lambda$. Le stime $\theta_t$ (e quindi $A_t, B_t$) vengono aggiornate ricorsivamente ad ogni passo.

3. Processo di Ottimizzazione (Policy Gradient):

   • La stima corrente $\theta_t$ viene utilizzata per calcolare un gradiente approssimato della funzione di costo rispetto al guadagno $K$.
   • Il guadagno $K_t$ viene aggiornato tramite un metodo di discesa del gradiente: $K_{t+1} = K_t - \gamma G(K_t, \theta_t)$.

Caratteristica Chiave: A differenza degli approcci tradizionali che separano la fase di raccolta dati da quella di ottimizzazione, Relearn LQR esegue concorrentemente l'identificazione e l'ottimizzazione mentre il sistema è in esecuzione.

3. Contributi Chiave

Il contributo principale del paper è la dimostrazione formale della stabilità esponenziale dell'intero sistema interconnesso (dinamica del sistema + algoritmo di apprendimento + algoritmo di ottimizzazione).

• Certificati di Stabilità: Gli autori forniscono garanzie teoriche che il sistema a ciclo chiuso converge esponenzialmente a un equilibrio stabile dove:
  1. La politica di feedback è la soluzione ottima $K^\star$.
  2. Le stime delle matrici del sistema sono esatte ($\theta_t \to \theta^\star$).
  3. Lo stato del sistema oscilla attorno all'origine con un'ampiezza arbitrariamente piccola (determinata dall'ampiezza del segnale di dithering).
• Analisi Teorica Avanzata: La stabilità è provata modellando il sistema come un sistema dinamico non lineare interconnesso a due scale temporali (fast-slow system):
  • Sistema Veloce: Dinamica dello stato $x_t$ e delle variabili di apprendimento (RLS).
  • Sistema Lento: Aggiornamento del guadagno $K_t$.
  • Viene utilizzata la Teoria della Media (Averaging Theory) per analizzare la stabilità del sistema lento, assumendo che il sistema veloce sia al suo equilibrio.
• Adattabilità: Il metodo è intrinsecamente adatto a scenari non stazionari (parametri variabili nel tempo e disturbi), poiché il ciclo di apprendimento continuo permette di adattarsi dinamicamente senza riavviare il processo.

4. Risultati e Simulazioni Numeriche

L'efficacia della strategia è stata validata attraverso simulazioni numeriche su un modello di controllo di un velivolo (dinamica longitudinale di un aereo altamente manovrabile).

• Scenario Statico: In un sistema con parametri costanti, Relearn LQR ha dimostrato la convergenza esponenziale sia dell'errore di costo ($J(K_t) \to J^\star$) sia dell'errore di stima dei parametri ($\|\theta_t - \theta^\star\| \to 0$). Le traiettorie dello stato oscillano attorno all'origine come previsto dalla teoria.
• Scenario Dinamico (Parametri Driftanti): È stato testato un caso in cui le matrici del sistema $A^\star_t$ e $B^\star_t$ cambiano lentamente nel tempo (transizione da un set di parametri a un altro tramite una funzione sigmoide).
  • Il sistema ha mostrato una rapida capacità di adattamento, recuperando la convergenza verso la nuova soluzione ottima e le nuove matrici reali senza interruzioni o riavvii, confermando la robustezza dell'approccio on-policy.

5. Significato e Impatto

Questo lavoro colma un vuoto significativo nella letteratura sul controllo basato sui dati:

• Superamento dei limiti Off-Policy: Molti metodi esistenti richiedono fasi di raccolta dati separate o non garantiscono la stabilità del sistema durante l'apprendimento on-line.
• Garanzie Formali: Mentre molti approcci model-free si concentrano sui limiti di regret (rimpianto), questo paper fornisce una prova rigorosa della stabilità esponenziale del sistema a ciclo chiuso completo.
• Applicabilità Reale: La capacità di gestire parametri variabili nel tempo e la natura on-policy lo rendono un candidato promettente per applicazioni robotiche e di controllo industriale dove i modelli precisi non sono disponibili e le condizioni operative cambiano.

In sintesi, il paper presenta un framework matematicamente solido che unisce identificazione e controllo in tempo reale, garantendo che il processo di apprendimento non comprometta mai la stabilità del sistema fisico controllato.