Learning Safe-by-Design Neural Network Controllers

Riepilogo Tecnico: Apprendimento di Controller per Reti Neurali Sicuri per Design

Enunciato del Problema
Le reti neurali (NN) sono sempre più impiegate come politiche di controllo in retroazione per gestire dinamiche non lineari complesse e ad alta dimensionalità. Tuttavia, i controller appresi puramente spesso mancano di garanzie formali di sicurezza, potenzialmente generando azioni che violano vincoli critici come l'evitamento delle collisioni o i limiti degli attuatori. Una strategia comune di mitigazione consiste nell'aggiungere un filtro di sicurezza, tipicamente basato su Funzioni di Barriera di Controllo (CBF), a un controller pre-addestrato. Nei framework standard, questo filtro risolve un Programma Quadratico (QP) online per imporre vincoli di sicurezza definiti da un candidato CBF $h(x)$ e da una funzione di classe-$\mathcal{K}$ estesa $\alpha(\cdot)$.

Questo design disaccoppiato presenta due limitazioni principali:

1. Conservatorismo e Subottimalità: La funzione $\alpha(\cdot)$ è spesso fissa (ad esempio, $\alpha(h) = \omega h$) con parametri tarati manualmente. Una taratura scarsa porta a un comportamento eccessivamente conservativo, degradando le prestazioni di controllo, mentre una taratura aggressiva rischia violazioni della sicurezza.
2. Sovraccarico Computazionale: Risolvere un QP a runtime introduce latenza computazionale e problemi di affidabilità, ostacolando il dispiegamento in tempo reale, specialmente per sistemi con spazi di stato ad alta dimensionalità o numerosi vincoli.

Sebbene lavori recenti come BarrierNet e CAffNet tentino di integrare la sicurezza nel processo di apprendimento, essi o mantengono il costoso strato QP online o soffrono di problemi di scalabilità a causa della complessità esponenziale di proiettare le uscite su insiemi ammissibili definiti da molti vincoli.

Metodologia
Gli autori propongono un framework "Sicuro per Design" che apprende congiuntamente un controller a rete neurale e condizioni CBF parametriche tramite rete neurale, incorporando i vincoli di sicurezza direttamente nell'architettura del controller per eliminare la necessità di solver QP online.

1. Architettura CAffNet-Lite:
   Il contributo principale è CAffNet-Lite, un'estensione leggera dell'esistente architettura CAffNet. Integra uno strato affine ai vincoli con un modulo di proiezione addestrabile per soddisfare vincoli affini dipendenti dallo stato $A(x)u \leq b(x)$ per costruzione.

   • Decomposizione Leggera dei Vincoli: A differenza di CAffNet, che elenca tutte le possibili combinazioni di vincoli attivi (portando a una complessità esponenziale $O(2^{n_c})$), CAffNet-Lite impiega una strategia di decomposizione ridotta. Considera solo i sottovincoli con ordine minimo ($k=1$) o ordine massimo ($k=\min(n_c, m)$). Questo riduce la complessità nel caso peggiore a polinomiale $O(n_c^m)$, migliorando significativamente la scalabilità per sistemi con molti vincoli.
   • Meccanismo di Proiezione: La rete produce un segnale di controllo non vincolato $f_\theta(x)$. Se questo segnale viola i vincoli, uno strato di proiezione calcola un insieme di candidati ammissibili proiettando sui piani iperfici dei sottovincoli. L'output finale è il segnale non vincolato (se ammissibile) o la proiezione ammissibile più vicina, garantendo la soddisfazione dei vincoli rigidi senza richiedere vincoli di rango pieno o linearmente indipendenti.

2. Apprendimento Congiunto dei Parametri CBF:
   Invece di fissare la funzione di decadimento $\alpha(\cdot)$, il framework la sostituisce con una parametrizzazione addestrabile tramite rete neurale $\alpha_\vartheta(x, h(x))$. Ciò permette al sistema di apprendere una proprietà di "decadimento ottimale" che si adatta al comportamento del controller e alle dinamiche del sistema. I vincoli di sicurezza sono formulati come:
   $$A(x)u \leq b_\vartheta(x)$$
   dove $b_\vartheta(x)$ incorpora il $\alpha_\vartheta$ appreso.

3. Garanzie Teoriche:
   Poiché lo strato di proiezione coinvolge un'operazione $\arg\min$ che può risultare in segnali di controllo discontinui, gli autori stabiliscono la sicurezza nel senso di Filippov. Dimostrano che la legge di controllo risultante, continua a tratti, garantisce l'invarianza in avanti forte dell'insieme sicuro, assicurando che se il sistema inizia all'interno dell'insieme sicuro, vi rimanga per tutto il tempo futuro.

Contributi Chiave

1. CAffNet-Lite: Introduzione di un'architettura di proiezione leggera che riduce la complessità computazionale da esponenziale a polinomiale rispetto al numero di vincoli, preservando al contempo la soddisfazione dei vincoli affini rigidi e le proprietà di approssimazione universale.
2. Ottimizzazione Congiunta: Un framework che addestra congiuntamente un controller a rete neurale e i parametri CBF (in particolare la funzione di decadimento), permettendo la soddisfazione dei vincoli di sicurezza per costruzione senza solver QP online.
3. Dimostrazione Teorica: Dimostrazione che il controller proposto soddisfa l'invarianza in avanti forte dell'insieme sicuro nel senso di Filippov, affrontando la discontinuità introdotta dallo strato di proiezione.

Risultati Sperimentali
Il framework è stato valutato su due scenari di simulazione:

1. Integratore Singolo con Evitamento delle Collisioni:

   • Configurazione: Un sistema integratore 2D che evita tre ostacoli poliedrici convessi.
   • Risultati: CAffNet e CAffNet-Lite hanno raggiunto il costo medio più basso (più vicino al controller nominale) rispettando rigorosamente tutti i vincoli di sicurezza (0% di violazioni). Al contrario, le NN standard e HardNet hanno mostrato violazioni dei vincoli, e i metodi basati su QP con parametri fissi erano o troppo conservativi (non riuscendo a raggiungere l'obiettivo) o richiedevano tempi computazionali superiori.
   • Efficienza: CAffNet-Lite ha eguagliato le prestazioni di CAffNet ma con tempi di test ridotti, dimostrando l'efficienza della decomposizione leggera.

2. Geofencing per Aeromobili ad Ala Fissa:

   • Configurazione: Un modello di aeromobile a 7 stati e 3 ingressi che impone vincoli di geofencing.
   • Risultati: Sia CAffNet che CAffNet-Lite hanno appreso con successo comandi di velocità sicuri che evitavano i geofence.
   • Efficienza: CAffNet-Lite ha dimostrato tempi di addestramento e test significativamente inferiori rispetto al CAffNet originale, confermando la sua superiore scalabilità per sistemi ad alta dimensionalità. Sebbene CAffNet convergesse leggermente più velocemente in termini di costo grazie a più candidati di proiezione, CAffNet-Lite ha offerto un miglior compromesso per l'applicabilità in tempo reale.

Significato e Affermazioni
Il paper afferma che, incorporando vincoli di sicurezza affini direttamente nel controller neurale e apprendendo i parametri CBF congiuntamente, il metodo proposto supera il conservatorismo dei filtri a parametri fissi e l'onere computazionale dei solver QP online. Gli autori sottolineano che CAffNet-Lite fornisce una soluzione scalabile e dispiegabile in tempo reale che garantisce vincoli di sicurezza rigidi per costruzione. Il lavoro si posiziona come un passo verso il controllo "Sicuro per Design", dove la sicurezza non è un ripensamento o un filtro a runtime, ma una proprietà intrinseca della politica appresa. Gli autori notano modestamente che il lavoro futuro esplorerà l'estensione del framework a classi più ampie di vincoli e la valutazione delle prestazioni su sistemi reali.