💻 computer science

Formally Guaranteed Control Adaptation for ODD-Resilient Autonomous Systems

Il paper presenta un approccio per adattare i modelli probabilistici dei sistemi autonomi a scenari fuori dal dominio operativo di progettazione (ODD), garantendo al contempo affidabilità e prestazioni attraverso verifiche formali e adattamenti dinamici.

Autori originali: Gricel Vázquez, Calum Imrie, Sepeedeh Shahbeigi, Nawshin Mannan Proma, Tian Gan, Victoria J Hodge, John Molloy, Simos Gerasimou

Pubblicato 2026-04-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Gricel Vázquez, Calum Imrie, Sepeedeh Shahbeigi, Nawshin Mannan Proma, Tian Gan, Victoria J Hodge, John Molloy, Simos Gerasimou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🚢 Il Capitano "Vedente" che non si ferma mai

Immagina di avere un capitano automatico (un'intelligenza artificiale) che guida una nave. Questo capitano ha studiato a fondo un manuale chiamato ODD (Operational Design Domain). Il manuale dice: "Tu sai navigare bene se c'è il sole, il mare è calmo e ci sono solo 3 tipi di barche intorno a te".

Finché tutto va come nel manuale, il capitano è perfetto. Ma cosa succede se improvvisamente appare una nebbia fittissima, o una nave strana che non ha mai visto prima, o se il mare diventa burrascoso in modo imprevisto?
In quel momento, il capitano si trova fuori dal manuale (fuori dall'ODD). Il suo vecchio manuale non serve più a nulla. Se continua a seguire le vecchie regole, potrebbe schiantarsi.

Il paper presenta una soluzione chiamata SAVE (un po' come un "Sistema di Allerta e Adattamento Virtuale"). Ecco come funziona, usando un'analogia semplice:

1. La Mappa dei "Casi Possibili" (Pre-deployment)

Prima di partire, gli ingegneri non si limitano a guardare il manuale. Costruiscono una Griglia di Scenari (chiamata SCG).
Immagina una griglia gigante dove ogni casella è una situazione diversa:

Casella A: Mare calmo, 1 barca vicina.
Casella B: Mare agitato, 2 barche vicine.
Casella C: Nebbia, 1 barca veloce.

Per ogni casella, calcolano le probabilità: "Se siamo nella Casella A, c'è il 90% di probabilità che tutto vada bene e il 10% che succeda qualcosa di strano".
Usano un controllore (il cervello della nave) e lo testano su tutte queste caselle. Se scoprono che in una casella c'è il rischio di un incidente, lo segnano come "Critico".

2. Il Sorvegliante che Guarda in Tempo Reale (Deployment)

Ora la nave è in mare. Il sistema SAVE è come un vigile del fuoco che non dorme mai.
Mentre la nave naviga, il vigile controlla costantemente:

Dove siamo? (Stiamo ancora nella Casella A o siamo scivolati nella Casella "Nebbia Strana" che non era nel manuale?)
Stiamo per cadere? (Il sistema calcola un "punteggio di pericolo". Se il punteggio è alto, significa che stiamo per violare una regola di sicurezza).

3. Il "Freno di Emergenza" Intelligente

Se il vigile vede che la nave sta entrando in una situazione pericolosa (fuori dall'ODD) e il vecchio capitano non sa cosa fare, SAVE interviene immediatamente. Non aspetta di riparare la nave (che richiederebbe mesi e nuovi ingegneri). Fa qualcosa di più veloce:

Blocca la strada pericolosa: Immagina che la nave stia per imboccare una strada che porta a un burrone. SAVE dice: "Stop! Quella strada è chiusa".
Ricalcola la rotta: Costruisce un nuovo capitano (un nuovo controller) istantaneamente. Questo nuovo capitano sa solo come navigare nelle strade sicure. Se una strada porta al pericolo, il nuovo capitano la ignora completamente e sceglie un percorso alternativo, anche se più lento o diverso, purché sia sicuro.

È come se, mentre guidi in auto, il tuo navigatore vedesse un ponte crollato davanti a te (una situazione imprevista) e ti dicesse istantaneamente: "Non andare avanti! Gira subito qui, anche se è una strada di campagna, ma almeno non ti schianti".

4. Perché è speciale? (La Garanzia Formale)

La cosa incredibile di SAVE è che non dice "Speriamo che vada bene". Usa la matematica pura (chiamata "Model Checking Probabilistico") per garantire che il nuovo percorso sia sicuro al 100%.
Prima di far muovere la nave, il sistema fa un calcolo veloce: "Se prendiamo questa nuova strada, la probabilità di schiantarsi è zero". Solo allora dà il via libera.

In sintesi: Cosa ci insegna questo paper?

Il problema: Le macchine autonome (auto, navi, robot) sono brave quando tutto va come previsto, ma vanno in crisi quando succede qualcosa di nuovo e strano.
La soluzione (SAVE): Invece di farle "imparare" da zero (che è lento e rischioso), le dotiamo di un sistema che rileva il pericolo e cambia le regole di guida in tempo reale, bloccando solo le azioni pericolose.
Il risultato: La nave può continuare a viaggiare anche in condizioni impreviste, senza schiantarsi, perché il sistema ha già calcolato matematicamente che la nuova strada è sicura.

È come avere un pilota automatico che ha la capacità di cambiare il proprio manuale di istruzioni mentre vola, assicurandosi sempre di non schiantarsi, anche se il cielo cambia improvvisamente.

Titolo

Adattamento del Controllo con Garanzie Formali per Sistemi Autonomi Resilienti all'ODD (Operational Design Domain)

1. Il Problema

L'integrazione di sistemi autonomi in ambiti critici per la sicurezza (es. sanità, trasporti marittimi) richiede garanzie rigorose. La sfida principale risiede nel garantire prestazioni affidabili al di fuori del Dominio di Progettazione Operativa (ODD).

Limiti dell'ODD: L'ODD definisce le condizioni in cui un sistema è progettato per funzionare in sicurezza. Tuttavia, la complessità degli ambienti reali e l'evoluzione dei contesti possono portare il sistema a incontrare condizioni "fuori-ODD" (out-of-ODD).
Incertezza e Rischi: Quando il sistema opera fuori dall'ODD, il suo comportamento diventa intrinsecamente incerto. Gli aggiornamenti al software o al modello sottostante sono spesso non fattibili a runtime (richiederebbero ridisegnare o riaddestrare il sistema).
Gap nelle Soluzioni Esistenti: Gli approcci di auto-adattamento (SAS) e la verifica a runtime (runtime verification) sono efficaci nel rilevare deviazioni, ma mancano di un framework per mitigare attivamente gli incontri fuori-ODD adattando dinamicamente i modelli sottostanti per garantire il rispetto di requisiti di sicurezza stringenti.

2. Metodologia: L'Approccio SAVE

Il paper introduce SAVE (Situation-Aware Verification and control synthEsis), un approccio guidato dall'ODD e centrato sulla situazione, progettato per gestire condizioni fuori-ODD. SAVE si basa su un ciclo di adattamento in due fasi (pre-deployment e deployment) e utilizza la verifica di modelli probabilistici.

Fase A: Pre-Deployment (Preparazione)

Augmentation della Griglia di Copertura delle Situazioni (SCG):
- L'ODD viene scomposto in un insieme discreto di situazioni ( $\rho$ ), definite come tuple di attributi (es. densità di navi, tempo fino alla collisione).
- Vengono generate probabilità di transizione tra queste situazioni basate su dati empirici e test, creando una SCG aumentata che include anche stati di fallimento ( $\xi$ ).
Modellazione Probabilistica:
- Vengono generati Catene di Markov a Tempo Discreto (DTMC) per ogni situazione, dove gli stati rappresentano situazioni o fallimenti.
- Si utilizza la Logica Computazionale ad Albero Probabilistico (PCTL) per specificare i requisiti di sicurezza.
Analisi delle Situazioni Critiche:
- Viene applicato il Model Checking Probabilistico (PMC) (tramite lo strumento PRISM) per verificare i modelli contro i requisiti di sicurezza.
- Viene calcolato un punteggio di criticità: quanto più il modello viola un requisito (es. probabilità di successo < 0.96), tanto più alto è il punteggio. Questo permette di identificare e prioritizzare le situazioni più pericolose.

Fase B: Deployment (Runtime)

SAVE opera in un ciclo MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge):

Monitoraggio (M): Rileva la situazione corrente ( $\rho_t$ ) e eventuali fallimenti in tempo reale.
Analisi e Aggiornamento del Modello (A):
- Aggiorna le probabilità di transizione del modello basandosi sui nuovi dati osservati (approcci frequentisti o bayesiani).
- Ricalcola i punteggi di criticità. Se viene rilevata una violazione (punteggio > 0), il sistema identifica la situazione più critica.
Sintesi del Controllore (P):
- Se una situazione è critica, SAVE sintetizza un nuovo controllore rimuovendo le transizioni verso quella situazione specifica (rendendola uno "stato pozzo" o sink state con probabilità di uscita zero).
- Questo processo è iterativo: si rimuovono le situazioni più pericolose finché tutti i requisiti sono soddisfatti o si raggiunge un limite di iterazioni.
- Viene selezionato il controllore che garantisce zero violazioni e minimizza la probabilità di entrare in situazioni fuori-ODD.
Esecuzione (E): Il nuovo controllore sicuro viene eseguito sul sistema gestito.

3. Contributi Chiave

Approccio Centrato sulla Situazione: Un metodo innovativo che estrae modelli probabilistici direttamente dalle situazioni definite nell'ODD, generando controllori con garanzie quantitative formali.
Metrica di Criticità e Aggiornamento Dati: Un metodo per codificare le transizioni probabilistiche tra situazioni e una metrica di punteggio di criticità che incorpora aggiornamenti basati sui dati in tempo reale.
Ciclo di Adattamento Guidato dalla Verifica: Un meccanismo a runtime che rileva violazioni di sicurezza e sintetizza controllori aggiornati che rimangono sicuri anche in caso di deriva dell'ODD (ODD drift), bloccando l'accesso alle condizioni non sicure.

4. Risultati e Valutazione

L'approccio è stato valutato su un caso di studio nel dominio marittimo: una Nave Autonoma di Superficie (MASS) che naviga tra navi con equipaggio di tipo A e B.

Scenario: La MASS deve evitare collisioni mantenendo distanze di sicurezza. Sono stati considerati due requisiti di sicurezza ( $\Phi_1$ e $\Phi_2$ ) relativi alla probabilità di collisione e di collisione quasi catastrofica.
Efficacia (RQ1): SAVE è riuscito a evitare violazioni dei requisiti in 14 su 20 varianti di scenari perturbati (es. velocità delle navi aumentata), mentre un sistema baseline (controllore fisso) falliva in tutti i casi.
Adattamento (RQ2): In un esempio specifico, SAVE ha rilevato un evento critico (decelerazione imprevista), calcolato il punteggio di criticità e adattato il controllore per escludere la situazione ad alto rischio, prevenendo completamente la collisione che si sarebbe verificata nel baseline.
Scalabilità (RQ3): Sebbene il numero di transizioni cresca esponenzialmente con le situazioni, i tempi di esecuzione per il calcolo dei punteggi di criticità (tramite PMC) sono risultati gestibili, suggerendo la fattibilità dell'approccio per sistemi critici in tempo reale.

5. Significato e Impatto

Il lavoro di SAVE rappresenta un passo significativo verso sistemi autonomi realmente resilienti:

Sicurezza Formale: Fornisce garanzie quantitative (non solo empiriche) sulla sicurezza anche in condizioni non previste al momento della progettazione.
Gestione dell'Incertezza: Trasforma l'incertezza delle situazioni fuori-ODD in un problema risolvibile attraverso l'adattamento dinamico dei modelli probabilistici.
Tracciabilità: Stabilisce un collegamento esplicito tra l'ODD pre-deployment, i dati di test e la verifica a runtime, colmando un gap presente nelle framework attuali.
Implicazioni Pratiche: Dimostra che è possibile mantenere sistemi autonomi operativi e sicuri in ambienti dinamici e imprevedibili (come il mare) senza richiedere ridisegni costosi o riaddestramenti completi, intervenendo invece con adattamenti mirati e verificati.

In sintesi, SAVE offre un framework robusto per garantire che i sistemi autonomi possano "riconoscere quando non sono sicuri" e "adattarsi formalmente" per continuare a operare in sicurezza, bloccando proattivamente le traiettorie pericolose.