Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Questo articolo propone un metodo innovativo e automatizzato di Safety-by-Design che utilizza una rappresentazione basata su kernel multidimensionale per derivare il Dominio di Progettazione Operativa (ODD) dai dati raccolti, affrontando così le sfide di certificazione per i sistemi di IA critici per la sicurezza, come validato da simulazioni Monte Carlo e da un caso d'uso reale di prevenzione delle collisioni in ambito aeronautico.

L'essenziale

Immagina di insegnare a un robot a pilotare un aereo. Vuoi che il robot sia sicuro, quindi devi dirgli esattamente dove e quando gli è consentito volare. Nel mondo della sicurezza dell'IA, questa "zona consentita" è chiamata Dominio di Progettazione Operativa (ODD).

Tradizionalmente, gli esperti si sedevano con una lavagna bianca e cercavano di disegnare questa zona a mano, scrivendo regole come "non volare sotto la pioggia" o "non volare sopra i 30.000 piedi". Ma il mondo reale è disordinato. Meteo, traffico e vento interagiscono in modi complessi che è impossibile elencare perfettamente su una lavagna bianca. Questo spesso porta a lacune di sicurezza dove il robot pensa di essere al sicuro, ma si trova effettivamente in una situazione pericolosa di cui non è stato informato.

Questo articolo propone un nuovo modo per disegnare quella zona di sicurezza: lascia che siano i dati a disegnarla per te.

Ecco una semplice spiegazione di come l'hanno fatto, utilizzando analogie quotidiane:

1. Il Problema: La "Mappa Vuota"

Immagina di avere una mappa di una città, ma le strade sono nascoste nella nebbia. Sai che la città esiste, ma non sai esattamente dove si trovano le strade sicure e dove si trovano i dirupi.

• Vecchio Metodo: Gli esperti indovinano dove si trovano le strade basandosi sulla loro esperienza. Potrebbero perdere un dirupo nascosto.
• Nuovo Metodo: Lasci cadere migliaia di biglie luminose (punti dati) sulla mappa. Dove atterrano le biglie, sai che è sicuro. Dove non atterrano, assumi che potrebbe essere pericoloso.

2. La Soluzione: La "Rete Luminosa"

Gli autori hanno creato un metodo per trasformare quei punti dati sparsi in una mappa di sicurezza liscia e continua. Lo chiamano Rappresentazione Basata su Kernel.

Pensa a ogni punto dati (una condizione di volo sicura) come a un falò.

• Il Fuoco: Proprio al falò, fa molto caldo (molto sicuro).
• Il Calore: Mentre ti allontani dal fuoco, il calore diminuisce. Non si interrompe bruscamente; diventa sempre più fresco fino a diventare appena percettibile.
• La Rete: Il sistema IA crea una gigantesca "mappa termica" invisibile combinando il calore di tutti questi falò.
  • Se ti trovi dove il calore è forte, sei all'interno della zona di sicurezza.
  • Se ti trovi in un punto freddo tra i fuochi, sei fuori dalla zona di sicurezza.

Questo è meglio del disegnare una scatola rigida attorno ai falò perché tiene conto delle "zone grigie" intermedie.

3. La "Rete di Sicurezza" per gli Errori

Cosa succede se lasci cadere accidentalmente una biglia in un luogo che è effettivamente pericoloso (come il bordo di un dirupo)? Il sistema deve sapere di non accendere un fuoco lì.

• Gli autori hanno aggiunto una regola: se un punto dati "pericoloso" riceve troppo calore dai falò vicini, il sistema abbassa automaticamente l'intensità dei fuochi intorno ad esso finché il punto pericoloso non torna freddo.
• Questo garantisce che la zona di sicurezza non copra mai accidentalmente un pericolo noto.

4. Perché Questo è Importante per la Certificazione

Per ottenere l'approvazione all'uso di un aereo o di un'auto, i regolatori devono sapere che le regole sono solide.

• Deterministico: L'articolo afferma che se esegui questo processo due volte con gli stessi dati, ottieni esattamente la stessa mappa di sicurezza ogni volta. Non è una supposizione di una "scatola nera"; è un calcolo matematico.
• Indipendente dall'Ordine: Non importa se inserisci i dati nel computer al mattino o nel pomeriggio, o in un ordine diverso. Il risultato è sempre lo stesso.
• Conservativo: Se il sistema non è sicuro che un punto sia sicuro (perché non ci sono punti dati lì), assume che sia insicuro. Questo è un approccio "meglio prevenire che curare", fondamentale per i sistemi critici per la sicurezza.

5. La Prova: Il Test del "Simulatore di Volo"

Gli autori hanno testato questo metodo in due modi:

1. Simulazione Matematica: Hanno creato una zona di sicurezza finta e perfetta su un computer e poi hanno cercato di ricostruirla utilizzando solo punti dati sparsi. Il loro metodo della "rete luminosa" ha ricreato la zona originale con oltre il 98% di accuratezza.
2. Aviazione Reale: L'hanno applicato a un problema reale dell'aviazione: Evitamento delle Collisioni. Hanno utilizzato dati da un sistema progettato per impedire agli aerei di scontrarsi tra loro. Il metodo ha mappato con successo le condizioni operative sicure per questo sistema complesso, dimostrando che funziona anche con dati reali e disordinati.

Riepilogo

Questo articolo presenta uno strumento (chiamato autoSAFE) che prende dati grezzi da un sistema critico per la sicurezza e disegna automaticamente una "zona di sicurezza" precisa e matematicamente provata attorno ad esso. Invece di indovinare le regole, impara i confini dai dati stessi, garantendo che l'IA operi solo dove è stato dimostrato che è sicura. Questo rende molto più facile certificare i sistemi IA per attività come pilotare aerei o guidare automobili.

Sommario tecnico

Riepilogo Tecnico: Definizione delle Condizioni Operative per Sistemi AI Basati su Criticità di Sicurezza dai Dati

1. Enunciato del Problema

Il rapido dispiegamento dell'Intelligenza Artificiale (AI) in domini critici per la sicurezza (ad esempio, aviazione, automotive) rende necessaria un'assicurazione e una certificazione rigorose della sicurezza. Un requisito fondamentale per la certificazione di sistemi basati su AI è la definizione del Dominio di Progetto Operativo (ODD)—l'insieme specifico di condizioni ambientali e operative entro cui il sistema è destinato a funzionare in sicurezza.

Tradizionalmente, gli ODD sono definiti manualmente da esperti di dominio nelle fasi iniziali del ciclo di vita dello sviluppo. Tuttavia, per sistemi reali complessi, questo approccio incontra sfide significative:

• Complessità: Definire le interrelazioni (ontologia) tra i parametri (ad esempio, come il meteo influisce sulla velocità di atterraggio) è difficile e spesso incompleto.
• Natura Statica: Gli ODD definiti dagli esperti potrebbero non catturare le dipendenze implicite tra i parametri o adattarsi a nuovi dati.
• Lacune nella Certificazione: Gli approcci basati sui dati attuali spesso mancano di rappresentazioni deterministiche e indipendenti dall'ordine, o di framework formali per la similarità degli ODD, che sono prerequisiti per la certificazione formale.

Le rappresentazioni matematiche esistenti (ad esempio, polipoli convessi) non riescono a modellare ontologie ODD non lineari, mentre gli approcci basati sulle reti neurali introducono dipendenza dall'ordine e incertezza. È necessario un metodo per derivare gli ODD direttamente dai dati che sia deterministico, indipendente dall'ordine, limitato e interpretabile.

2. Metodologia

Il documento propone un metodo Safety-by-Design (Sicurezza per Progettazione) per definire gli ODD a posteriori dai dati raccolti utilizzando una rappresentazione basata su kernel multidimensionale. La metodologia di base prevede i seguenti passaggi:

2.1 Formalizzazione Matematica

Gli autori formalizzano l'ODD come una struttura matematica $O = (X, R^O, f^O, \Omega^O)$, dove $X$ è la tassonomia (spazio dei parametri), $R^O$ è l'ontologia (vincoli) e $f^O$ è la funzione di interpretazione. Crucialmente, definiscono la similarità ODD ($O_1 \sim O_2$) non per equivalenza semantica, ma per equivalenza centrata sui dati: due ODD sono simili se generano lo stesso insieme di dati $Y$.

2.2 Rappresentazione di Affinità Basata su Kernel

Invece di costruire manualmente i confini, il metodo costruisce l'ODD direttamente dai campioni di dati:

• Punti Ancoraggio: I campioni in-distribution (ID) ($D_{ID}$) fungono da punti di ancoraggio ($A$). I campioni out-of-distribution (OOD) ($D_{OOD}$) sono esplicitamente esclusi.
• Affinità Locale: Per ogni punto di ancoraggio $x_i$, viene definita una funzione di affinità locale $\alpha_i(x)$ utilizzando un kernel definito positivo (nello specifico, il kernel Radial Basis Function (RBF)).
• Affinità Globale: L'appartenenza globale all'ODD è determinata dalla sovrapposizione delle affinità locali:
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  Un campione $x$ appartiene all'ODD se $\alpha(x) \geq \zeta$, dove $\zeta$ è una soglia predefinita.

2.3 Parametrizzazione Automatizzata

Per garantire che il processo sia completamente automatizzato ed eviti la sintonizzazione manuale:

• Covarianza Diagonale: La matrice di covarianza del kernel $\Sigma$ è assunta diagonale, basata sull'assunzione di indipendenza locale e distribuzione uniforme dei punti di ancoraggio.
• Scalatura Dipendente dalla Distanza: Gli elementi diagonali di $\Sigma$ sono definiti come funzione della distanza dal vicino più prossimo ($d^*_i$):
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  Ciò riduce il numero di iperparametri da $N \times n^2$ a soli due ($\kappa, \eta$) più un limite inferiore $\lambda$.

2.4 Vincolo di Coerenza OOD

Per garantire la sicurezza, il metodo impone che i campioni OOD non debbano essere classificati come parte dell'ODD. Se un campione OOD $x$ viola la soglia ($\alpha(x) > \xi$), l'algoritmo scala iterativamente verso il basso la matrice di covarianza del kernel più influente per quel punto. Questo processo è indipendente dall'ordine e dimostrato terminare in un numero finito di passi, garantendo $\alpha(x) \leq \xi$ per tutti i campioni OOD.

3. Contributi Chiave

1. Framework Deterministico e Indipendente dall'Ordine: Il documento presenta la prima pipeline completamente automatizzata per derivare ODD dai dati utilizzando una rappresentazione basata su kernel che è univocamente determinata dai dati e invariante rispetto all'ordinamento dei campioni.
2. Definizione Formale di Similarità ODD: Viene introdotta una definizione di similarità ODD centrata sui dati, che consente il confronto di ODD basati sui dati contro verità fondamentali o proxy senza richiedere un allineamento semantico.
3. Implementazione Safety-by-Design: La rappresentazione ODD risultante è limitata, conservativa (sottostima l'ODD reale in regimi sparsi) e interpretabile, soddisfacendo i requisiti chiave per la futura certificazione AI.
4. Gestione di Dati Sparsi: Il metodo è progettato per funzionare efficacemente anche con regimi di dati sparsi, rendendolo applicabile alle fasi iniziali dello sviluppo.
5. Strumento Open-Source (autoSAFE): Gli autori hanno sviluppato e reso open-source uno strumento (autoSAFE) che implementa questo framework, supportando vari formati di dati (CSV, JSON/ASAM OpenLABEL) e ricerche efficienti del vicino più prossimo.

4. Validazione e Risultati

La metodologia è stata validata attraverso due esperimenti principali:

4.1 Simulazione Monte Carlo

• Configurazione: È stato generato un ODD sintetico 2D con un vincolo di disuguaglianza lineare. I punti di ancoraggio sono stati campionati dal vero ODD, e i campioni di validazione sono stati generati su un iperrettangolo più ampio.
• Risultati: L'ODD basato sui dati è stato confrontato con il vero ODD sottostante e l'involucro convesso dei punti di ancoraggio.
  • Le curve di precisione e richiamo hanno mostrato una forte correlazione tra l'ODD basato sui dati e l'involucro convesso ($R^2 = 0.9855$ per la precisione, $R^2 = 0.9987$ per il richiamo).
  • Ciò suggerisce che l'involucro convesso può servire come proxy affidabile per la sintonizzazione delle soglie di affinità quando l'ODD fondamentale è sconosciuto.
  • I risultati sono rimasti validi per dimensioni fino a 10 e funzioni di relazione complesse.

4.2 Caso d'Uso Reale in Aviazione (VCAS)

• Contesto: Il metodo è stato applicato al Sistema di Evitamento Collisioni Verticale (VCAS), un componente del sistema ACAS X di prossima generazione.
• Dati: L'insieme di dati includeva 622.110 punti di ancoraggio che rappresentavano vettori di stato (altitudine relativa, tassi di salita/discesa, tempo fino al CPA, avviso precedente).
• Risultati:
  • L'ODD basato sui dati è stato confrontato con il vero ODD fondamentale noto e l'involucro convesso.
  • Sono stati osservati alti coefficienti di determinazione ($R^2 = 0.991$ per la precisione, $R^2 = 0.999$ per il richiamo).
  • I risultati hanno confermato che l'approccio basato su kernel funziona bene in uno scenario realistico, multidimensionale e critico per la sicurezza, nonostante la minore densità di punti di ancoraggio rispetto alla simulazione Monte Carlo.

5. Significato e Affermazioni

Il documento afferma che, sebbene una ricostruzione "completamente veritiera" di un ODD non sia sempre possibile dai soli dati, l'approccio basato su kernel proposto approssima sufficientemente l'ODD sottostante a fini di certificazione.

• Prontezza alla Certificazione: Il metodo fornisce una base matematicamente rigorosa, deterministica e spiegabile per la definizione dei confini operativi. Ciò supporta i quadri normativi (ad esempio, EASA) che richiedono una valutazione continua della sicurezza e limiti operativi chiari.
• Monitoraggio in Esecuzione: A differenza dei confini geometrici rigidi, la funzione di affinità continua $\alpha(x)$ consente zone di avviso graduali. Man mano che lo stato del sistema si allontana dai punti di ancoraggio, il punteggio di affinità decade in modo fluido, consentendo il rilevamento precoce di condizioni out-of-distribution prima che venga superato un confine di sicurezza rigido.
• Conservatorismo: L'approccio è intrinsecamente conservativo. In regimi di dati sparsi, l'ODD derivato sottostima la regione sicura reale, garantendo che il sistema venga dispiegato solo in aree supportate da dati di addestramento sufficienti. Ciò si allinea al principio Safety-by-Design.
• Limitazioni: Gli autori riconoscono che il metodo dipende dai parametri del kernel ($\kappa, \eta$) e che l'assunzione di covarianza diagonale semplifica le dipendenze tra dimensioni. Notano che l'ODD risultante potrebbe essere eccessivamente conservativo in regioni sparse, potenzialmente escludendo condizioni operative valide, ma sostengono che questo sia un compromesso necessario per l'assicurazione della sicurezza.

In conclusione, il lavoro stabilisce un percorso per la costruzione di ODD basata sui dati che è compatibile con argomenti di sicurezza formali, colmando il divario tra dati empirici e i rigorosi requisiti della certificazione AI nei sistemi critici per la sicurezza.