Sintesi Tecnica: SETA – Attribuzione Statistica dei Guasti per Sistemi di IA Composti

1. Definizione del Problema

I moderni sistemi di IA sono sempre più progettati come Sistemi di IA Composti (CAS): pipeline complesse composte da modelli specializzati, sistemi di recupero (retrievers) e componenti software, piuttosto che reti monolitiche. Sebbene questa modularità agevoli lo sviluppo, introduce sfide significative nella fase di testing, debugging e garanzia della sicurezza. Piccoli guasti localizzati in componenti a monte (ad esempio, il data drift o la miscalibrazione del modello) possono propagarsi attraverso la pipeline, portando a fallimenti catastrofici a livello di sistema.

Le attuali tecniche di test di robustezza affrontano due limitazioni primarie:

1. Testing End-to-End (E2E): Tratta il sistema come una scatola nera (black box). Sebbene possa identificare che si è verificato un fallimento, non è in grado di attribuire il guasto a componenti interni specifici.
2. Testing dei Componenti Isolati (ICT): Testa i moduli in isolamento, ma non riesce a rilevare i guasti emergenti derivanti dalle interazioni dinamiche tra i moduli o ad analizzare come gli errori si propagano attraverso la pipeline.

Gli strumenti esistenti (ad esempio, attacchi avversari come FGSM, strumenti di verifica formale come Reluplex, o strumenti basati sulla copertura come DeepXplore) sono progettati principalmente per modelli a singola rete. Mancano della capacità di eseguire una localizzazione dei guasti fine-grained all'interno di pipeline composte o di spiegare perché un fallimento si è verificato nel contesto di esecuzione. Inoltre, il "problema dell'oracle del test" — la difficoltà di definire output corretti esatti per i componenti intermedi senza una verità di base (ground truth) — rimane una barriera.

2. Metodologia: Il Framework SETA

Gli autori propongono SETA (Statistical Fault Attribution), un framework modulare che combina il Metamorphic Testing (MT) con l'Analisi della Traccia di Esecuzione. SETA opera senza richiedere oracle di ground-truth espliciti, definendo le specifiche comportamentali attraverso relazioni metamorfiche.

2.1 Relazioni Metamorfiche (MR) come Pseudo-Oracle

SETA affronta il problema dell'oracle verificando la preservazione di proprietà specificate dall'utente (Relazioni Metamorfiche) attraverso trasformazioni di input, piuttosto che controllare singoli accoppiamenti input-output.

• Definizione: Una MR specifica la relazione attesa tra l'output di un sistema per un input sorgente $x$ e un input perturbato $\tilde{x} = g(x)$.
• Formulazione Generica: Le relazioni sono definite utilizzando la delta di Kronecker ($\delta$) per i vincoli di uguaglianza e le funzioni a gradino di Heaviside ($H$) per i vincoli di disuguaglianza.
• MR Specifiche per Task: Il framework definisce MR per quattro compiti chiave della visione artificiale:
  • Classificazione di Immagini: Invarianza delle etichette o differenze con norma $L_\infty$ limitata nelle distribuzioni di probabilità sotto trasformazioni spaziali.
  • Localizzazione di Oggetti: Vincoli sull'Intersection over Union (IoU) tra i bounding box predetti e quelli di ground-truth.
  • Rilevamento di Oggetti: Una combinazione di vincoli di classificazione e localizzazione applicati agli insiemi di oggetti rilevati.
  • Segmentazione di Immagini: Equivalenza a livello di pixel o vincoli di sovrapposzione basati su IoU rilassata per maschere semantiche.
• Relazioni Metamorfiche Composte (CMR): Per componenti complessi, molteplici MR individuali vengono combinate tramite congiunzione logica (operatore di prodotto) per formare un singolo punteggio composito ($S_i$). Un componente è considerato corretto solo se tutti i vincoli costituenti sono soddisfatti.

2.2 Analisi della Traccia di Esecuzione Basata sullo Stato

SETA modella il sistema di IA composto come un sistema di transizione di stato in cui gli stati rappresentano moduli computazionali.

• Albero della Traccia di Esecuzione ($T(x)$): Durante l'inferenza, il framework strumenta il sistema per registrare un grafo di esecuzione dinamico. Per ogni input $x$ e la sua variante perturbata $\tilde{x}$, costruisce un albero che cattura:
  • Moduli attivati.
  • Tensor di input/output.
  • Decisioni di routing (quali moduli a valle vengono invocati).
  • Risultati della funzione di scoring ($S_q$) confrontando le esecuzioni di riferimento e quelle perturbate.
• Allineamento della Traccia: Il framework allinea la traccia dell'input perturbato contro la traccia di riferimento per rilevare deviazioni nei set di attivazione (ad esempio, un modulo attivato in uno ma non nell'altro) o inconsistenze nell'output.

2.3 Attribuzione Statistica dei Guasti

Per distinguere tra il primo punto di fallimento e la causa radice (che può essere un errore a monte che si è propagato), SETA impiega un meccanismo di attribuzione statistica.

• Punteggio di Contributo al Fallimento (FC): Il framework definisce una variabile casuale $Z_i$ che rappresenta la deviazione del modulo $i$. Il punteggio FC per il modulo $i$ è la deviazione attesa condizionata a un fallimento del sistema:
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  Questo misura quanto frequentemente un componente viola la propria specifica dato che l'intero sistema è fallito.
• Pesi di Attribuzione: I punteggi sono normalizzati tra tutti i moduli per derivare pesi di attribuzione ($\alpha_i$) interpretabili, quantificando il contributo relativo di ciascun componente all'inaffidabilità del sistema.
• Algoritmo: Il processo prevede l'iterazione attraverso un dataset e un set di perturbazioni, la registrazione delle tracce, il calcolo dei punteggi a livello di sistema e l'aggregazione delle deviazioni per produrre un vettore di attribuzione normalizzato.

3. Contributi Chiave

1. Framework Modulare: Propone SETA, integrando il Metamorphic Testing con l'Analisi della Traccia di Esecuzione per localizzare i guasti in pipeline di IA complesse tracciando empiricamente la propagazione delle perturbazioni.
2. Specifiche Oracle-Free: Supporta astrazioni scalabili e testabili per modelli black-box definendo le specifiche comportamentali tramite relazioni metamorfiche.
3. Estensibilità: Grazie al suo design modulare, gli utenti possono definire e integrare diverse classi di relazioni metamorfiche, supportando l'interpretabilità in sistemi opachi.
4. Analisi Fine-Grained: Dimostra la capacità di individuare l'origine dei fallimenti e far emergere vulnerabilità nascoste in pipeline multi-stadio dove gli strumenti tradizionali falliscono.

4. Risultati Sperimentali

Il framework è stato valutato su due sistemi distinti:

1. Sistema di Visione per l'Ispezione Ferroviaria Autonoma: Un sistema reale con 6 moduli (1 rilevatore di oggetti, 5 classificatori) che elabora immagini ferroviarie.
   • Configurazione: Testato contro 15 tecniche di corruzione delle immagini (es. nebbia, neve, motion blur) dalla libreria imagecorruptions.
   • Risultati: SETA ha identificato con successo che il modulo di rilevamento oggetti ($f_0$) era altamente sensibile a nebbia e motion blur, mentre i classificatori a valle mostravano una robustezza variabile. Ha calcolato i punteggi di attribuzione ($\alpha_i$) che hanno evidenziato moduli specifici (es. $f_1$ e $f_3$) come i principali contributori ai fallimenti del sistema sotto specifiche perturbazioni.
2. Modello di Classificazione Ensemble (CIFAR-10): Un controllo di sanità utilizzando un ensemble di CNN (ResNet18, VGG16, Custom CNN).
   • Risultati: Le accuratezze previste da SETA per i singoli modelli erano entro il 2-3% delle accuratezze reali, identificando correttamente la "Custom CNN" come il modello con le prestazioni peggiori.
3. Sistema OCR: Una pipeline basata sul testo utilizzando EasyOCR.
   • Risultati: Il framework è stato adattato utilizzando la distanza di Levenshtein come relazione metamorfica. Ha quantificato con successo la robustezza e ha attribuito i fallimenti a moduli specifici in base alle deviazioni delle sequenze di testo, dimostrando l'applicabilità oltre le pipeline di visione.

5. Significato e Claim

Il paper posiziona SETA come una prova di concetto per diagnosticare i fallimenti emergenti nei sistemi di IA composti. La sua importanza risiede nel colmare il divario tra il testing end-to-end e il testing dei componenti isolati.

• Precisione Diagnostica: A differenza degli strumenti che rilevano solo che un fallimento è avvenuto, SETA fornisce un'attribuzione statistica di quale modulo sia il principale responsabile, guidando gli ingegneri verso i sottomoduli vulnerabili.
• Scalabilità: Utilizzando le relazioni metamorfiche, evita la necessità di oracle di ground-truth, rendendolo applicabile a pipeline complesse e reali dove la ground-truth intermedia non è disponibile.
• Limitazioni e Lavoro Futuro: Gli autori riconoscono con modestia che l'attuale attribuzione è correlazionale, non causale. Punteggi elevati indicano un'associazione con il fallimento ma non provano definitivamente la causalità. La precisione dipende dalla completezza delle relazioni metamorfiche create manualmente. Il lavoro futuro mira a integrare l'inferenza causale, la sintesi di programmi per la generazione automatica di MR e l'estensione ai sistemi multimodali e di reinforcement learning.

In sintesi, SETA stabilisce una base per il testing composizionale e la localizzazione dei guasti spiegabile, offrendo un approccio sistematico per garantire l'affidabilità di sistemi di IA complessi e multi-componente.