A Subjective Logic-based method for runtime confidence updates in safety arguments

Riepilogo Tecnico: Un Metodo basato sulla Logica Soggettiva per Aggiornamenti di Fiducia in Tempo Reale negli Argomenti di Sicurezza

Enunciato del Problema
Gli argomenti di garanzia di sicurezza per i componenti di apprendimento automatico (ML), in particolare in ambienti dinamici come la guida autonoma, affrontano una sfida critica: gli argomenti statici basati su evidenze di progettazione potrebbero diventare invalidi nel tempo a causa di spostamenti nella distribuzione dei dati, deriva del modello o contesti operativi in evoluzione. Sebbene standard come UL 4600 impongano l'uso di Indicatori di Prestazione di Sicurezza (SPI) per monitorare la validità del sistema, i metodi esistenti per incorporare dati in tempo reale spesso mancano della granularità necessaria per quantificare dinamicamente gli aggiornamenti della fiducia. Gli approcci qualitativi offrono tipicamente solo esiti binari (smentita o nessun cambiamento), mentre gli aggiornamenti bayesiani classici potrebbero non dare priorità adeguata alla reattività immediata alla sicurezza rispetto all'esatta equivalenza a posteriori. Vi è la necessità di un meccanismo formale che integri evidenze continue e a finestre in tempo reale negli argomenti di garanzia quantitativi, permettendo sia l'accumulo graduale della fiducia sia penalità immediate in caso di violazioni della sicurezza.

Metodologia
Gli autori propongono un metodo che estende gli argomenti di garanzia quantitativi statici utilizzando la Logica Soggettiva (SL) per incorporare SPI in tempo reale. Il cuore della metodologia consiste in una specifica regola di aggiornamento che combina due operatori SL: la Fusione Cumulativa delle Credenze (CBF) e la Sfida Smentitrice (RC).

1. Struttura dell'Argomento: Il caso di sicurezza è modellato come un argomento strutturato in cui ogni affermazione $c$ è associata a un'opinione binomiale $\omega_c = (b, d, u, a)$, rappresentante credenza, discredito, incertezza e tasso di base.
2. Modellazione degli SPI: Gli SPI in tempo reale sono trattati come predicati binari derivati da misurazioni soggette a soglia su una finestra di $k$ osservazioni. Un'opinione SPI $\omega_{SPI}$ è costruita contando i successi ($r$, nessuna violazione) e i fallimenti ($s$, violazioni) all'interno della finestra, mappati su un'opinione SL utilizzando equazioni standard.
3. La Regola di Aggiornamento: L'innovazione centrale è l'equazione di aggiornamento per un'opinione di affermazione $\omega_c$ data una nuova opinione SPI $\omega_{SPI}$:
   $$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$$
   • Operazione Interna ($\oplus$): La Fusione Cumulativa delle Credenze accumula l'evidenza dalla finestra SPI. Se non si verificano violazioni, ciò aumenta la credenza e riduce l'incertezza nell'affermazione.
   • Operazione Esterna ($\boxtimes$): La Sfida Smentitrice applica una penalità immediata. L'opinione SPI viene negata ($\neg\omega_{SPI}$) in modo che la credenza in una violazione SPI mappi sul discredito nell'affermazione. Questo operatore rialloca la massa dalla credenza al discredito proporzionalmente alla gravità della violazione, garantendo che una singola violazione possa degradare immediatamente la fiducia, indipendentemente dall'accumulo precedente.

Questa progettazione si discosta esplicitamente dagli aggiornamenti bayesiani Beta-Binomiali coniugati standard. Invece di aggiungere semplicemente conteggi, il metodo dà priorità alla reattività rilevante per la sicurezza, garantendo che le violazioni inneschino rapide diminuzioni correttive della fiducia, mentre le non-violazioni consentano un recupero graduale della fiducia.

Contributi Chiave

• Meccanismo di Aggiornamento Nativo SL: Il documento introduce una regola di aggiornamento esplicitamente non bayesiana che integra SPI in tempo reale a finestra negli argomenti di garanzia quantitativi. Sfrutta la capacità della SL di distinguere tra fiducia di primo ordine (impegno verso credenza/discredito) e fiducia di secondo ordine (precisione di tale impegno).
• Regola di Aggiornamento a Doppia Proprietà: La combinazione di operatori proposta soddisfa due proprietà critiche di sicurezza: (1) aumento graduale della fiducia in assenza di violazioni, e (2) penalità immediate e mirate in caso di violazioni.
• Integrazione Formale degli SPI: Il metodo fornisce un modo formale per collegare direttamente gli SPI predittivi (indicatori proattivi) a specifiche affermazioni all'interno dell'argomento di garanzia, consentendo una rivalutazione continua della validità dell'argomento.

Risultati Sperimentali
Il metodo è dimostrato utilizzando una simulazione di un componente di rilevamento di coni da costruzione basato su ML all'interno di un sistema di veicolo autonomo (piattaforma APIKS).

• Scenario: Un rilevatore basato su YOLOv8 è monitorato per i falsi negativi rispetto alla verità fondamentale. Un SPI è definito con una soglia sul rapporto dei coni mancati.
• Osservazioni:
  • Quando si sono verificate violazioni SPI (ad esempio, a causa di occlusione), la credenza nell'affermazione è scesa immediatamente e il discredito è aumentato.
  • Nei periodi senza violazioni, l'incertezza è diminuita e la credenza è gradualmente ripresa.
  • Le distribuzioni Beta risultanti hanno mostrato che il metodo ha ridotto con successo l'incertezza complessiva nel tempo mantenendo la sensibilità agli eventi critici per la sicurezza.
  • Diversi scenari hanno illustrato come il metodo gestisce evidenze variabili: spostando la massa verso il discredito quando le violazioni si accumulano e verso la credenza quando l'evidenza è coerente, mantenendo l'incertezza quando i dati sono insufficienti (ad esempio, in brevi segmenti notturni).

Significato e Affermazioni
Gli autori affermano che questo lavoro offre un approccio pratico e verificabile per la garanzia di sicurezza continua nei sistemi basati sull'IA. Allineandosi a standard come UL 4600, il metodo colma il divario tra argomenti statici di progettazione e realtà operative dinamiche.

• Governance: L'approccio fornisce una "narrazione della fiducia" trasparente che mappa segnali grezzi in tempo reale su opinioni esplicite a livello di affermazione. Ciò supporta gli operatori di flotte e i responsabili della sicurezza nell'attivare mitigazioni (ad esempio, regolazioni dei parametri, supervisione umana) basate su soglie quantitative.
• Verificabilità: Crea un collegamento formale tra evidenze in tempo reale e il caso di sicurezza, consentendo ai regolatori di esaminare come specifiche violazioni abbiano impattato la fiducia.
• Integrazione MLOps: Il metodo collega il degrado della fiducia di garanzia alle azioni ingegneristiche, come il retraining mirato o l'acquisizione di dati, collegando efficacemente gli argomenti di sicurezza ai flussi di lavoro MLOps.

Il documento riconosce le limitazioni, notando che l'efficacia dipende da una corretta definizione delle soglie SPI e che il modello attuale assume finestre indipendenti e non sovrapposte. Si suggerisce un lavoro futuro per affrontare le correlazioni temporali, lo sconto basato sul tempo per evidenze obsolete e l'integrazione di SPI sia predittivi che retrospettivi all'interno di una struttura di argomento unificata.