Riepilogo Tecnico: Esplorazione Sicura per Processi Non Lineari mediante Apprendimento Online con Processi Gaussiani

Enunciato del Problema

Il lavoro affronta la sfida del controllo di sistemi non lineari con dinamiche parzialmente note in applicazioni critiche per la sicurezza (ad esempio, robotica, aerospaziale, industrie di processo). Sebbene i metodi basati sui dati, come l'apprendimento per rinforzo, offrano adattabilità, spesso mancano di garanzie rigide sulla stabilità e sulla soddisfazione dei vincoli durante la fase di esplorazione. Gli approcci esistenti per l'apprendimento sicuro fanno frequentemente affidamento su ipotesi idealizzate, come la conoscenza completa delle dinamiche non lineari o sovrastime conservative di Lipschitz dell'incertezza, che ne limitano la praticità.

Il problema specifico affrontato è la progettazione di un framework di controllo che garantisca un'esplorazione sicura per sistemi non lineari in cui:

1. È nota solo un'approssimazione lineare stabilizzabile del processo.
2. Le dinamiche non lineari non modellate (residui) devono essere apprese online.
3. Il sistema deve soddisfare i vincoli di stato e di ingresso con alta probabilità durante l'intero processo di apprendimento.

Metodologia

Il framework proposto integra la regressione con Processi Gaussiani (GP), la teoria della stabilità di Lyapunov e l'ottimizzazione convessa per realizzare un'esplorazione sicura e informativa.

1. Decomposizione del Sistema e Modellazione GP

Le dinamiche del sistema sono modellate come un sistema non lineare affine nel controllo:
$$\dot{x} = Ax + Bu + g(x)$$
dove $(A, B)$ è una linearizzazione nota e stabilizzabile, e $g(x)$ è un residuo liscio sconosciuto. Il residuo $g(x)$ è modellato online utilizzando un Processo Gaussiano. Man mano che i dati vengono raccolti, il GP fornisce una media a posteriori $\mu_t(x)$ e una deviazione standard $\sigma_t(x)$. Viene costruito un inviluppo di confidenza ad alta probabilità tale che:
$$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$$
con probabilità $1-\delta$, dove $\beta_t$ è un parametro di confidenza variabile nel tempo derivato da schedule GP-UCB su campioni finiti.

2. Insiemi Probabilistici di Invarianza di Controllo (PCIS)

La sicurezza è garantita attraverso un Insieme Probabilistico di Invarianza di Controllo (PCIS) derivato da una Funzione di Lyapunov di Controllo (CLF), $V(x) = x^\top P x$. Il PCIS è definito come l'insieme degli stati per cui esiste un ingresso di controllo che garantisce la diminuzione della funzione di Lyapunov, anche nel caso peggiore dell'incertezza GP all'interno dell'inviluppo di confidenza.
La condizione per l'insieme $S_t$ è:
$$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$$
Questa costruzione garantisce che, se il sistema inizia all'interno del PCIS, vi rimanga con alta probabilità ($1-\delta$), assicurando la fattibilità ricorsiva dei vincoli.

3. Controllore basato su Ottimizzazione

Ad ogni passo temporale, il controllore risolve un Programma Quadratico Convesso (QP) per determinare l'ingresso di controllo $u$. L'obiettivo è massimizzare il guadagno informativo (incoraggiando l'eccitazione nelle direzioni di alta incertezza) aderendo rigorosamente ai vincoli di sicurezza.
Il QP minimizza la deviazione da un controllore di stabilizzazione nominale $u_{lin}$:
$$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$$
soggetto alla condizione di diminuzione di Lyapunov (che incorpora il limite di incertezza GP) e ai vincoli di ingresso. Una variabile di slack $s$ garantisce la fattibilità, penalizzata da $\rho$ per dare priorità alla sicurezza.

4. Espansione Adattiva

Man mano che il GP apprende le dinamiche residue, l'incertezza $\sigma_t(x)$ diminuisce. Questa riduzione permette al PCIS di espandersi in modo adattivo, sbloccando regioni di esplorazione progressivamente più ricche senza violare le garanzie di sicurezza.

Contributi Chiave

Il lavoro delinea tre contributi principali:

1. Decomposizione Nominal-Residuo: Un framework che combina un modello lineare noto con un residuo GP online, permettendo l'apprendimento sicuro di non linearità sconosciute senza richiedere la conoscenza completa del modello.
2. Costruzione di PCIS basata su Lyapunov: Un metodo per costruire insiemi invarianti probabilistici che incorporano l'incertezza GP, fornendo garanzie probabilistiche su campioni finiti per la stabilità e la soddisfazione dei vincoli.
3. Controllore basato su Ottimizzazione: Un controllore in tempo reale che risolve un QP convesso ad ogni passo per bilanciare il guadagno informativo (esplorazione) con garanzie di sicurezza rigorose (diminuzione CLF), evitando il conservatorismo della propagazione dell'incertezza su più passi trovato in altre formulazioni di MPC Sicuro.

Risultati Sperimentali

Il framework è stato validato su due benchmark: un sistema polinomiale 2D e un processo a tre serbatoi con livelli d'acqua MIMO.

Sistema Polinomiale 2D

• Prestazioni di Apprendimento: Il modello GP ha raggiunto miglioramenti significativi nella precisione (RMSE ridotto da ~1.11 a ~0.03) nel corso di 12 iterazioni.
• Calibrazione dell'Incertezza: La copertura empirica degli intervalli di confidenza al 95% è migliorata dal 37% al 100% dopo la calibrazione, garantendo l'affidabilità dei certificati di sicurezza.
• Sicurezza: Il controllore GP-PCIS proposto ha mantenuto tutte le traiettorie all'interno dell'insieme sicuro certificato con zero violazioni dei vincoli. Al contrario, una baseline non sicura (LQR senza livelli di sicurezza) ha violato i vincoli di stato.
• Espansione dell'Insieme: Il volume dell'insieme sicuro certificato si è espanso di circa il 27.7% man mano che l'incertezza diminuiva, dimostrando la natura adattiva del framework.

Processo a Tre Serbatoi con Livelli d'Acqua

• Complessità: Questo sistema accoppiato MIMO ha testato la scalabilità e la fattibilità in tempo reale del framework.
• GP Sparse vs. Esatti: Le approssimazioni GP sparse (utilizzando punti induttivi) si sono rivelate fattibili, offrendo tempi di inferenza >1000 volte più rapidi rispetto ai GP esatti, mantenendo una copertura quasi nominale (~94.5%) e un RMSE accettabile.
• Sicurezza: Su un orizzonte di identificazione di 2000 secondi, il framework ha raggiunto zero violazioni dei vincoli di livello dell'acqua (45%–87%), mentre una baseline non sicura è scesa brevemente al di sotto del limite inferiore.
• Prestazioni in Tempo Reale: I tempi medi di risoluzione del QP per passo erano nell'ordine dei millisecondi, confermando la fattibilità per l'implementazione in tempo reale.

Significato e Affermazioni

Il lavoro afferma di fornire un framework unificato e implementabile per l'esplorazione sicura in sistemi non lineari parzialmente noti. Il suo significato risiede in:

• Bilanciamento tra Trattabilità e Conservatorismo: A differenza delle formulazioni di MPC Sicuro su più passi che possono diventare eccessivamente conservative, questo approccio impone una diminuzione di Lyapunov a un passo con limiti di confidenza GP, risultando in un QP convesso senza esplosione dell'incertezza su più passi.
• Praticità: Richiede solo un modello lineare stabilizzabile (comune nella pratica) piuttosto che dinamiche non lineari esatte, rendendolo applicabile a sistemi reali in cui effetti non modellati devono essere appresi online.
• Garanzie Teoriche: Offre garanzie probabilistiche di sicurezza su campioni finiti, assicurando che il sistema rimanga stabile e entro i vincoli con alta probabilità, anche durante la fase attiva di apprendimento.

Gli autori riconoscono le limitazioni, inclusa la conservatorietà dei limiti al caso peggiore su un passo e la scalabilità cubica dell'addestramento GP esatto, suggerendo lavori futuri su vincoli di probabilità su più passi e aggiornamenti GP sparse per compiti ad alta dimensionalità. Tuttavia, i risultati dimostrano che il metodo proposto permette efficacemente un'esplorazione informativa aderendo rigorosamente ai vincoli di sicurezza.