How Safe Will I Be Given What I Saw? Calibrated Prediction of Safety Chances for Image-Controlled Autonomy

1. Il Problema

Il lavoro affronta la sfida critica della previsione di sicurezza per robot autonomi che utilizzano controllori basati su reti neurali profonde (DNN) e input visivi ad alta risoluzione (es. telecamere), senza accesso a modelli di stato a bassa dimensionalità o modelli dinamici espliciti.

I problemi principali identificati sono:

• Mancanza di trasparenza: I sistemi end-to-end sono "scatole nere" difficili da interpretare.
• Limitazioni dei metodi esistenti: Le tecniche di verifica basate su modelli richiedono modelli dinamici noti (spesso non disponibili), mentre i metodi model-free spesso mancano di garanzie di affidabilità.
• Sfide della distribuzione: In scenari a lungo termine (long-horizon), gli errori di previsione si accumulano, causando uno shift di distribuzione tra i dati di addestramento e le previsioni future. Questo porta a stime di rischio miscalibrate (troppo ottimiste o pessimiste) e a tassi elevati di falsi positivi.
• Necessità di calibrazione: Le probabilità di sicurezza previste devono essere statisticamente affidabili (es. se si prevede una probabilità del 90% di sicurezza, il sistema deve essere sicuro il 90% delle volte).

2. Metodologia

Gli autori propongono un framework modulare per la previsione di sicurezza basato su modelli del mondo (world models) e tecniche di adattamento statistico.

A. Pipeline di Predizione Modulari

Vengono definite due architetture principali per la previsione:

1. Predittori Monolitici: Mappano direttamente la sequenza di immagini in un'etichetta di sicurezza (sicuro/insicuro) o una probabilità, senza una fase esplicita di previsione dello stato futuro.
2. Predittori Compositi: Scompongono il problema in tre fasi distinte:
   • Codifica: Un encoder (spesso un VAE - Variational Autoencoder) mappa le osservazioni visive in uno spazio latente compatto.
   • Previsione (Forecasting): Un modello sequenziale (LSTM, BiLSTM, o Transformer) prevede la traiettoria futura nello spazio latente.
   • Valutazione: Un valutatore stima la sicurezza basandosi sulla traiettoria latente prevista.
   • Nota: Vengono confrontate architetture come LSTM, Transformer e varianti con spazi latenti discreti (VQ-VAE).

B. Adattamento di Dominio Non Supervisionato (UDA)

Per mitigare lo shift di distribuzione che si verifica quando le previsioni future si discostano dai dati di addestramento, il framework integra un modulo UDA (Unsupervised Domain Adaptation) basato sulla Minimizzazione dell'Entropia Marginale (MEMO).

• Funzionamento: Durante il test, il valutatore di sicurezza viene adattato online su singoli campioni. Generando versioni aumentate stocasticamente della stessa immagine (es. cambi di colore, rotazioni), il sistema minimizza l'entropia delle previsioni aggregate.
• Obiettivo: Rendere il valutatore robusto e coerente di fronte a distorsioni visive introdotte dalla fase di previsione, senza richiedere nuove etichette manuali.

C. Calibrazione Conformale (Conformal Calibration)

Per garantire che le probabilità di sicurezza siano statisticamente valide, viene utilizzata una tecnica di calibrazione conformale post-hoc.

• Trasforma i punteggi grezzi in intervalli di probabilità garantiti.
• Fornisce un limite superiore all'errore di previsione con un livello di confidenza $\alpha$ (es. 95%).
• Utilizza un processo di "binning adattivo" per garantire che le garanzie statistiche valgano per la media delle probabilità all'interno di gruppi di dati, affrontando la natura continua della previsione di "chance" (probabilità) rispetto alla semplice classificazione binaria.

3. Contributi Chiave

1. Famiglia di Pipeline Modulari: Introduzione di un approccio sistematico che confronta predittori monolitici vs. compositi (basati su modelli del mondo) per la previsione di sicurezza da immagini.
2. Robustezza allo Shift di Distribuzione: Implementazione di un modulo UDA (MEMO) che permette ai valutatori di sicurezza di adattarsi dinamicamente a condizioni ambientali mutevoli o errori di previsione cumulativi senza supervisione.
3. Garanzie Statistiche: Sviluppo di una tecnica di calibrazione conformale che fornisce intervalli di confidenza rigorosi per le previsioni di sicurezza, superando le limitazioni delle semplici stime puntuali.
4. Valutazione Completa: Un'analisi estesa su tre benchmark (auto da corsa simulata, bilancia di Cart Pole, e auto reali "Donkey Car") che dimostra l'efficacia del metodo su orizzonti temporali lunghi.

4. Risultati Sperimentali

I risultati sono stati ottenuti su tre ambienti: Racing Car (OpenAI Gym), Cart Pole e Donkey Car (reale).

• Performance dei Predittori Compositi: I predittori compositi (basati su modelli del mondo) superano costantemente quelli monolitici, specialmente su orizzonti temporali lunghi. La separazione tra previsione della dinamica e valutazione della sicurezza riduce l'errore e migliora la coerenza temporale.
• Vantaggio degli Spazi Latenti: I valutatori che operano nello spazio latente (anziché sulle immagini grezze) mostrano migliori prestazioni (F1 score più alto, FPR più basso) perché lo spazio latente filtra il rumore e cattura meglio le dinamiche temporali.
• Efficacia dell'UDA: I valutatori dotati di UDA mantengono un'alta accuratezza e riducono drasticamente i falsi positivi (situazioni insicure classificate come sicure) quando sottoposti a dati fuori distribuzione (OOD) o misti, rispetto ai valutatori statici.
• Calibrazione: La calibrazione conformale riduce significativamente l'Errore di Calibrazione Atteso (ECE) e il Brier Score. Gli intervalli di confidenza costruiti contengono il vero errore di calibrazione nel 95-98% dei casi, confermando le garanzie teoriche.
• Confronto Architetture: L'uso di Transformer e spazi latenti discreti (VQ-VAE) nei predittori compositi ha mostrato risultati superiori rispetto alle architetture ricorrenti standard (LSTM) in termini di accuratezza e calibrazione.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Abilita la Sicurezza in Sistemi "Black-Box": Offre un modo per garantire la sicurezza in sistemi di controllo end-to-end che non hanno accesso a modelli fisici espliciti, un requisito fondamentale per l'adozione su larga scala dell'IA robotica.
• Affronta l'Incertezza Reale: A differenza dei metodi che forniscono solo una risposta binaria, questo approccio quantifica l'incertezza in modo statisticamente garantito, permettendo al sistema di prendere decisioni più prudenti quando la previsione è incerta.
• Scalabilità e Adattabilità: L'uso di UDA non supervisionato risolve il problema della necessità di etichettare manualmente nuovi scenari pericolosi, rendendo il sistema adattabile a nuovi ambienti o condizioni di guida.
• Transizione verso l'Autonomia Reale: La validazione su un'auto reale (Donkey Car) dimostra che il metodo non è solo teorico, ma applicabile in scenari fisici con rumore del sensore e dinamiche complesse.

In sintesi, il paper propone un framework robusto che combina modelli del mondo, adattamento di dominio e teoria della calibrazione conformale per trasformare le previsioni di sicurezza basate su immagini da stime qualitative a strumenti quantitativi affidabili per l'autonomia robotica.