Learning-based control of a single-DOF Aero system

Sintesi Tecnica: Controllo Basato sull'Apprendimento di un Sistema Aero-Aereo a Singolo Grado di Libertà

Definizione del Problema
I sistemi meccatronici non lineari, come le piattaforme aerospaziali e i manipolatori robotici, affrontano sfide di controllo significative dovute a forti non linearità, incertezze parametriche, dinamiche non modellate e disturbi esterni. Sebbene le tecniche di controllo non lineare classiche, come la linearizzazione del feedback e il controllo a modo di scivolamento (sliding mode control), offrano garanzie di stabilità formale, le loro prestazioni dipendono criticamente dalla disponibilità di modelli di sistema accurati. In pratica, gli errori di modellazione inevitabili e i disturbi sconosciuti spesso degradano le prestazioni o compromettono la stabilità. Al contrario, sebbene l'Apprendimento per Rinforzo (Reinforcement Learning - RL) offra adattabilità attraverso l'interazione con l'ambiente, gli algoritmi RL standard mancano frequentemente di garanzie di stabilità formale e richiedono un'estesa esplorazione, rendendoli difficili da implementare in sistemi critici per la sicurezza o altamente non lineari. Il problema centrale affrontato è lo sviluppo di un'architettura di controllo che integri le garanzie di stabilità analitica del controllo basato sul modello con l'adattabilità dei metodi basati sull'apprendimento per gestire le incertezze senza sacrificare la sicurezza.

Metodologia
Gli autori propongono un framework di controllo ibrido applicato a un modello a singolo grado di libertà (beccheggio) del sistema Quanser AERO. La metodologia combina un controllore di linearizzazione del feedback basato su Lyapunov con una componente di apprendimento per rinforzo basata sul gradiente della policy.

1. Architettura di Controllo:

   • Controllore Nominale: Viene derivata una legge di linearizzazione del feedback per linearizzare la dinamica del sistema. Questo controllore è progettato utilizzando l'analisi di stabilità di Lyapunov per garantire la stabilità in ciclo chiuso in presenza di incertezze di modellazione.
   • Componente di Apprendimento: Un agente di apprendimento per rinforzo actor-critic viene impiegato per stimare e compensare le dinamiche non modellate e i disturbi esterni online. L'agente apprende un compensatore di disturbo ($\hat{d}$) che viene aggiunto alla legge di controllo nominale.
   • Algoritmo: Il modulo di apprendimento utilizza l'algoritmo REINFORCE-with-baseline. La policy (actor) è modellata come una distribuzione Gaussiana, mentre una rete neurale separata (critic) stima la funzione di valore dello stato. Per stabilizzare l'addestramento e ridurre la varianza delle stime del gradiente della policy, gli autori impiegano la stima dell'vantaggio generalizzato (Generalized Advantage Estimation - GAE).
   • Funzione di Ricompensa: La ricompensa è definita in base all'errore di inseguimento combinato ($\eta$), specificamente $r = -|\eta| \ln(1 + t)$. Il termine logaritmico dipendente dal tempo attenua l'influenza dei grandi errori transitori nelle fasi iniziali dell'episodio, spostando il focus verso le prestazioni a regime stazionario.

2. Analisi della Stabilità:
   Il documento fornisce una dimostrazione di stabilità basata su Lyapunov. Si assume che l'angolo di beccheggio e la sua derivata siano misurabili, che la traiettoria desiderata sia continuamente differenziabile e che il disturbo sia limitato. L'analisi dimostra che se l'output dell'agente RL è limitato, l'errore di approssimazione del disturbo rimane limitato. Di conseguenza, il sistema in ciclo chiuso esibisce errori di inseguimento uniformemente limitati superiormente (Uniformly Ultimately Bounded - UUB). La stabilità del sistema è garantita principalmente dalla linearizzazione del feedback basata su Lyapunov, mentre l'agente RL fornisce una compensazione adattiva entro questi limiti di stabilità.

3. Configurazione della Simulazione:
   Le simulazioni numeriche sono state condotte in Python utilizzando il metodo di Runge-Kutta del quarto ordine. Il sistema è stato sottoposto a condizioni iniziali randomizzate e traiettorie desiderate tempo-varianti. L'agente RL è stato addestrato su 20.000 episodi utilizzando l'ottimizzatore Adam con un tasso di apprendimento di $1 \times 10^{-4}$.

Risultati Chiave

• Prestazioni dell'Algoritmo: I confronti tra il REINFORCE vanilla e il REINFORCE-with-baseline hanno mostrato che la variante con baseline ha raggiunto ritorni finali significativamente più elevati e una convergenza più rapida. Il REINFORCE vanilla ha esibito un comportamento di apprendimento instabile e non è riuscito a convergere a tassi di apprendimento inferiori, mentre la variante con baseline ha raggiunto prestazioni stabili in circa 2.500 episodi.
• Inseguimento della Traiettoria: In simulazioni che coinvolgevano 100 condizioni iniziali randomizzate, il controllore basato sull'apprendimento ha dimostrato una precisione di inseguimento della traiettoria superiore rispetto al solo controllore di linearizzazione del feedback convenzionale. L'approccio proposto ha ridotto significativamente sia gli errori di inseguimento a regime stazionario che quelli transitori.
• Robustezza: Il controllore ha mantenuto alte prestazioni sotto disturbi non modellati e tempo-varianti (combinazioni sinusoidali e cosinusoidali) senza necessità di riaddestramento. La policy appresa è riuscita ad adattarsi con successo per catturare la struttura oscillatoria dei disturbi iniettati, mantenendo l'errore di inseguimento basso e limitato.
• Sforzo di Controllo: Il miglioramento delle prestazioni di inseguimento è stato ottenuto senza introdurre uno sforzo di controllo eccessivo; i profili di tensione di controllo sono rimasti simili tra i metodi convenzionale e potenziato dall'apprendimento.

Significatività e Rivendicazioni
Il documento afferma che il proposto approccio ibrido combina efficacemente le garanzie analitiche del controllo basato su Lyapunov con l'adattabilità dell'apprendimento per rinforzo. Utilizzando il controllore basato sul modello come fondamento stabile e il modulo di apprendimento come compensatore di disturbo adattivo, il sistema ottiene un robusto inseguimento della traiettoria in ambienti incerti. Gli autori sottolineano che questa architettura consente un "apprendimento sicuro e stabile" perché l'agente RL opera entro i limiti del controllore convenzionale, garantendo che le condizioni di stabilità del sistema non vengano violate anche mentre l'agente si adatta agli effetti non modellati. I risultati suggeriscono che l'incorporazione di una baseline nei metodi di gradiente della policy è cruciale per migliorare l'efficienza campionaria e garantire un apprendimento della policy affidabile nei sistemi meccatronici non lineari.