Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

Sintesi Tecnica: Apprendimento di un Controllore Ottimale Locale per una Classe di Sistemi Non Lineari tramite Esplorazione Supervisionata da Impulsi

Formulazione del Problema
Il documento affronta la sfida di apprendere politiche di controllo ottimali per una classe di sistemi non lineari del secondo ordine utilizzando l'Apprendimento per Rinforzo Approssimato (ADP) in tempo continuo. Sebbene l'ADP e il Reinforcement Learning (RL) offrano potenti framework per risolvere problemi di controllo ottimale approssimando la soluzione dell'equazione di Hamilton-Jacobi-Bellman (HJB), esiste un collo di bottiglia critico per i sistemi non lineari: il requisito della persistenza dell'eccitazione (PE).

Nell'ADP in tempo continuo, la PE è necessaria per garantire la convergenza dei pesi della rete neurale del critico ai loro valori ideali. Tuttavia, imporre la PE induce tipicamente grandi deviazioni dello stato. Per i sistemi non lineari, tali deviazioni sono problematiche perché la funzione di valore ottimale viene spesso approssimata utilizzando una linearizzazione locale della dinamica. Se la traiettoria dello stato viene spinta troppo lontano dall'equilibrio dal segnale di eccitazione, l'approssimazione lineare locale diventa invalida, portando potenzialmente all'instabilità del sistema o a un "escape finito" dove la traiettoria lascia la regione di validità. I metodi esistenti come l'apprendimento concorrente si basano su dati offline ricchi, che potrebbero non essere sempre disponibili. L'obiettivo di questo lavoro è apprendere una politica di controllo localmente ottimale per il modello lineare, mantenendo rigorosamente confinata la traiettoria dello stato all'interno di un vicinato dove l'approssimazione lineare è valida.

Metodologia
Gli autori propongono un framework di esplorazione confinata supervisionata da impulsi che integra l'ADP in tempo continuo con uno strato supervisionato di controllo impulsivo. La metodologia centrale comprende i seguenti componenti:

1. Modello di Sistema e Linearizzazione Locale: Il sistema è modellato come $\dot{x} = F(x) + G(x)u$, dove il termine di deriva $F(x)$ è scomposto in una parte lineare $Ax$ e termini non lineari di ordine superiore $\phi(x)$. L'obiettivo di controllo è apprendere la politica ottimale per l'approssimazione lineare tempo-invariante (LTI) locale $\dot{x} = Ax + Bu$ all'interno di un piccolo vicinato $S_1$ dell'origine.
2. Framework ADP: Una rete neurale del critico approssima la funzione di valore ottimale $J^*(x) \approx \hat{W}^T \sigma(x)$. I pesi $\hat{W}$ sono aggiornati online utilizzando una legge di gradiente normalizzata per minimizzare il residuo di Bellman. Un segnale di persistente eccitazione $u_{PE}$ viene aggiunto all'ingresso di controllo per soddisfare la condizione di PE richiesta per la convergenza dei pesi.
3. Strato Supervisionato Impulsivo: Per evitare che lo stato lasci la regione valida $S_1$ a causa del segnale di eccitazione, il framework impiega ingressi di frenata impulsiva. Questi ingressi sono modellati come funzioni delta di Dirac applicate in istanti temporali specifici $t = \tau_k$.
   • Meccanismo: L'ingresso impulsivo agisce istantaneamente sulla variabile di stato della velocità ($x_2$), resettandola a zero ($x_2^+ = 0$) lasciando invariata la variabile di posizione ($x_1$).
   • Effetto: Questa azione di "frenata" riduce il valore di una funzione di Lyapunov $V(x) = x_1^2 + x_2^2$, garantendo che lo stato post-salto rimanga all'interno dell'insieme confinato $S_1$.
4. Formulazione di Automa Ibrido: Il sistema a ciclo chiuso è modellato come un automa ibrido con quattro modalità discrete:
   • $q_1, q_2$: Evoluzione continua con controllo ADP attivo e adattamento dei pesi (all'interno dell'insieme interno $S_2$ e nell'anello esterno $S_1 \setminus S_2$, rispettivamente).
   • $q_3$: Regime di confine dove la traiettoria raggiunge $\partial S_1$.
   • $q_4$: Fase di recupero post-frenata dove il controllo e l'adattamento dei pesi sono sospesi, e il sistema evolve autonomamente sotto dinamiche non forzate fino al rientro in $S_2$.
   • Transizioni: Guardie innescate dallo stato determinano quando avviene la frenata impulsiva (quando la traiettoria colpisce $\partial S_1$ con velocità uscente) e quando il sistema passa tra le modalità di apprendimento attivo e di recupero.

Contributi Chiave

• Esplorazione Supervisionata da Impulsi: Il documento introduce un nuovo meccanismo in cui la frenata impulsiva agisce come un vincolo supervisionato per imporre l'invarianza dell'insieme. A differenza del RL con vincoli di sicurezza che spesso impone vincoli rigidi sugli ingressi di controllo, questo approccio utilizza reset discreti per confinare lo stato, permettendo un'eccitazione aggressiva necessaria per l'apprendimento senza violare la validità locale del modello lineare.
• Dinamica Ibrida per l'Apprendimento: Il lavoro stabilisce un framework teorico che combina l'ADP in tempo continuo con reset impulsivi innescati dallo stato. Dimostra che il risultante sistema ibrido a ciclo chiuso rende l'insieme di esplorazione confinata $S_1$ positivamente invariante.
• Garanzie Teoriche: Gli autori forniscono una prova che la mappa di frenata impulsiva è non-espansiva rispetto alla funzione di Lyapunov, garantendo che lo stato non esca mai da $S_1$. Inoltre, sostengono che il tempo tra impulsi consecutivi sia limitato inferiormente da un valore positivo, escludendo il fenomeno di Zeno.

Risultati della Simulazione
Il framework proposto è stato validato su un sistema meccanico non lineare (un sistema massa-molla-smorzatore con non linearità cubiche).

• Confinamento: I risultati della simulazione dimostrano che la traiettoria dello stato rimane strettamente confinata all'interno dell'insieme $S_1$ durante tutto il processo di apprendimento. Ogni volta che la traiettoria si avvicinava al confine a causa del segnale di eccitazione, veniva attivata la frenata impulsiva, resettando la velocità e riportando lo stato verso l'interno.
• Convergenza: I pesi del critico sono confluiti verso valori che corrispondono strettamente ai pesi ottimali derivati dall'equazione di Riccati algebrica per il modello lineare locale. I pesi sono rimasti costanti durante le fasi di recupero (modalità $q_4$) e sono stati aggiornati durante le fasi di esplorazione.
• Confronto: Una simulazione comparativa senza lo strato di supervisione impulsiva ha mostrato che la traiettoria lasciava la regione di validità lineare, portando all'instabilità del sistema e all'escape finito, evidenziando così la necessità del meccanismo di confinamento.

Significato e Rivendicazioni
Il documento sostiene che questo approccio colma con successo il divario tra la necessità di persistenza dell'eccitazione nell'ADP e il requisito di validità locale nel controllo non lineare. Confinando l'esplorazione in un vicinato dove l'approssimazione lineare è valida, il metodo consente l'apprendimento di un controllore localmente ottimale che sarebbe altrimenti irraggiungibile a causa del rischio di grandi deviazioni dello stato.

Gli autori notano con modestia che l'attuale lavoro assume la conoscenza della dinamica lineare locale e che gli ingressi impulsivi sono idealizzati. Identificano come direzioni future l'estensione del framework a scenari model-free, sistemi ad alta dimensionalità e la validazione sperimentale utilizzando approssimazioni pratiche di ingressi impulsivi (ad esempio, feedback ad alto guadagno o freni solenoidali). Il lavoro si distingue dal "safe RL" concentrandosi specificamente sul confinamento per la validità dell'apprendimento piuttosto che su vincoli di sicurezza generali, utilizzando il controllo impulsivo come uno strumento supervisionato specifico per questo scopo.