Staggered Integral Online Conformal Prediction for Safe Dynamics Adaptation with Multi-Step Coverage Guarantees

Titolo

Staggered Integral Online Conformal Prediction (SI-OCP) per l'Adattamento Dinamico Sicuro con Garanzie di Copertura Multi-Step

1. Il Problema

Il controllo di sistemi adattivi critici per la sicurezza (es. droni, robot) richiede spesso di gestire incertezze dinamiche non modellate e disturbi esterni. Le approcci tradizionali si basano su limiti di incertezza conservativi e basati sul "caso peggiore", che limitano le prestazioni del sistema in ciclo chiuso.
Sebbene l'adattamento dinamico online (aggiornamento dei parametri del modello durante l'esecuzione) possa ridurre questa conservatività, sorge un problema fondamentale nella quantificazione dell'incertezza per sistemi a tempo continuo:

• Mancanza di etichette istantanee: Per calcolare l'errore residuo istantaneo tra il modello appreso e la realtà, è necessario conoscere la derivata dello stato ($\dot{x}$). Tuttavia, in molti scenari pratici, sono disponibili solo le misure dello stato ($x$), non le sue derivate.
• Limiti delle previsioni conformali esistenti: I metodi standard di Online Conformal Prediction (OCP) forniscono garanzie di copertura per un singolo passo temporale (istantaneo). Tuttavia, i controllori predittivi (come l'MPC) operano su un orizzonte temporale futuro. Una garanzia di sicurezza richiede che l'errore del modello sia contenuto per tutta la durata di questo orizzonte, non solo istantaneamente.
• Complessità delle distribuzioni: Le distribuzioni degli errori in sistemi adattivi sono non stazionarie, correlate temporalmente e spesso non seguono distribuzioni note (es. Gaussiane), rendendo inadeguate le tecniche statistiche classiche.

2. Metodologia Proposta: SI-OCP

Gli autori propongono Staggered Integral Online Conformal Prediction (SI-OCP), un framework di quantificazione dell'incertezza privo di assunzioni distributive (distribution-free) progettato specificamente per l'adattamento dinamico online.

Componenti Chiave:

1. Funzione di Punteggio Integrale (Integral Score):
   Poiché la derivata dello stato non è misurabile, il metodo non valuta l'errore istantaneo. Invece, calcola un punteggio di "non-conformità" basato sull'effetto integrato del disturbo sulla traiettoria dello stato su una finestra temporale scorrevole (rolling window).
   Il punteggio $S_k$ è definito come il supremo della differenza tra la variazione reale dello stato e la variazione prevista dal modello nominale su un intervallo di tempo:
   $$S_k = \sup_{\tau_1, \tau_2} \left\| x(\tau_2) - x(\tau_1) - \int_{\tau_1}^{\tau_2} f_{nom}(x, u, \hat{\theta}) ds \right\|$$
   Questo punteggio cattura l'effetto cumulativo di errori di approssimazione, errori di adattamento e disturbi esogeni.

2. Approccio "Staggered" (Scaglionato):
   Poiché il punteggio integrale per un orizzonte di previsione $[t_k, t_k + T_p]$ diventa disponibile solo dopo che l'orizzonte è trascorso (ritardo di $T_p$), non è possibile aggiornare un singolo limite di sicurezza in tempo reale per l'orizzonte corrente.

   • Il sistema divide l'orizzonte di previsione in $P$ intervalli discreti.
   • Mantiene $P$ thread indipendenti di aggiornamento dei limiti conformali.
   • Ad ogni passo temporale, viene aggiornato solo il thread attivo (basato sull'indice $j = k \mod P$) utilizzando l'etichetta ritardata (il punteggio calcolato sull'orizzonte precedente).
   • Questo permette di fornire garanzie di copertura multi-step per l'orizzonte futuro immediato, utilizzando dati ritardati ma validi.

3. Conversione in Margine di Robustezza:
   Il limite conformale $q_k$ (aggiornato tramite discesa del gradiente sub-gradiante sulla funzione di perdita "pinball") viene convertito in un limite puntuale $d_k$ per il disturbo. Questa conversione tiene conto della costante di Lipschitz del disturbo e della durata dell'orizzonte, garantendo che se l'errore integrato è contenuto, anche il disturbo istantaneo lungo la traiettoria lo sia.

4. Integrazione con Controllo Sicuro:
   Il margine di robustezza dinamico $d_k$ viene fornito a un controllore Robust Tube Model Predictive Control (MPC). Il controllore utilizza questo limite per sintetizzare un "tubo" di sicurezza attorno alla traiettoria nominale, garantendo che lo stato reale rimanga all'interno dell'insieme sicuro $S$ nonostante le incertezze.

3. Contributi Principali

• Nuova Funzione di Punteggio: Sviluppo di un punteggio di non-conformità integrale che permette la quantificazione dell'incertezza senza richiedere misure della derivata dello stato ($\dot{x}$).
• Garanzie Multi-Step: Estensione delle garanzie di copertura conformale da un singolo passo istantaneo a un orizzonte temporale futuro, risolvendo il problema del ritardo nelle etichette tramite l'approccio scaglionato.
• Indipendenza dal Modello di Adattamento: Il framework è agnostico rispetto alla legge di adattamento sottostante. Funziona sia con modelli lineari nei parametri che con reti neurali profonde (DNN) adattive a tutti i livelli.
• Garanzie di Sicurezza Asintotiche: Dimostrazione teorica che, sotto ipotesi di ricorsiva fattibilità, il sistema in ciclo chiuso garantisce la sicurezza con una probabilità asintotica di almeno $1-\alpha$ su un lungo periodo.

4. Risultati Sperimentali

Il metodo è stato validato tramite simulazione su un quadricottero 3D soggetto a:

• Dinamiche aerodinamiche non modellate (resistenza aerodinamica dipendente dalla velocità relativa e dall'assetto).
• Vento variabile nel tempo e nello spazio.
• Un modello di adattamento basato su una DNN a tutti i livelli (all-layer DNN) aggiornata tramite Self-Supervised Meta Learning.

Scenari testati:

1. Adattamento Attivo: La DNN apprende online le dinamiche non modellate.
   • Risultato: L'errore di approssimazione diminuisce, il limite di disturbo stimato ($d_k$) si restringe, permettendo al tubo di sicurezza di essere più stretto. Il drone riesce a passare attraverso un corridoio stretto tra ostacoli.
2. Adattamento Disattivato (DNN Congelata): La rete neurale non si adatta e mantiene i pesi pre-addestrati (che non modellano bene le dinamiche).
   • Risultato: L'errore residuo è alto. Il SI-OCP rileva correttamente l'alta incertezza, espandendo il margine di sicurezza ($d_k$). Il tubo di sicurezza diventa più grande, impedendo al drone di tentare il passaggio nel corridoio stretto, evitando così collisioni.

Metriche di Performance:

• Il limite di errore previsto dal SI-OCP ha coperto il disturbo reale nel 98.77% dei casi (superiore al tasso di errore desiderato del 10%, ovvero copertura del 90%).
• Il metodo ha dimostrato di funzionare efficacemente anche con modelli di apprendimento complessi e non parametrici.

5. Significato e Impatto

Questo lavoro colma un divario critico tra l'apprendimento automatico online e il controllo di sicurezza rigoroso.

• Superamento delle limitazioni sensoriali: Risolve il problema pratico della mancanza di sensori di derivata dello stato, rendendo l'OCP applicabile a sistemi fisici reali dove $\dot{x}$ non è direttamente osservabile.
• Sicurezza per l'Adattamento: Fornisce un modo rigoroso per utilizzare modelli adattivi (inclusi i DNN) in ambienti di sicurezza critica senza dover ricorrere a limiti di incertezza eccessivamente conservativi che degraderebbero le prestazioni.
• Flessibilità: La metodologia è generale e può essere applicata a vari schemi di adattamento, rendendola un candidato promettente per robotica autonoma, veicoli aerei senza pilota (UAV) e sistemi di guida automatizzata.

In sintesi, il SI-OCP permette ai controllori predittivi di "fidarsi" di modelli adattivi complessi quantificando dinamicamente i loro errori in modo sicuro, garantendo che il sistema rimanga operativo e sicuro anche in presenza di disturbi imprevisti e cambiamenti ambientali.