ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

Sintesi Tecnica: ConceptSMILE – Audit della Affidabilità della XAI Basata su Concetti

Problematica
Sebbene la XAI (Explainable AI) basata su concetti (C-XAI) miri a rendere il ragionamento del modello più comprensibile per l'uomo, esprimendo le predizioni attraverso concetti di alto livello (ad es., biomarcatori clinici, oggetti o attributi semantici), la presenza di tali concetti non garantisce automaticamente spiegazioni affidabili. I modelli possono produrre output a livello di concetto che appaiono plausibili, ma che si basano su correlazioni spurie, caratteristiche instabili, fuga di etichette (label leakage) o scorciatoie non causali. In domini ad alto rischio come l'imaging medico, una spiegazione basata su concetti può essere leggibile dall'uomo, ma non fedele al comportamento effettivo del modello. Le pratiche di valutazione esistenti spesso mancano di un framework unificato per verificare indipendentemente se le spiegazioni basate su concetti rimangano accurate, fedeli, stabili e coerenti sotto perturbazioni controllate.

Metodologia: Il Framework ConceptSMILE
Il documento introduce ConceptSMILE (Concept-level Statistical Model-agnostic Interpretability with Local Explanations), un framework di auditing basato su perturbazioni e agnostico rispetto al modello, progettato per valutare l'affidabilità delle spiegazioni basate su concetti. Invece di sostituire i metodi di spiegazione esistenti, ConceptSMILE estende la logica basata sulle perturbazioni di SMILE (Statistical Model-agnostic Interpretability with Local Explanations) dall'attribuzione a livello di feature o regione all'auditing di spiegazioni basate su concetti comprensibili dall'uomo.

Il framework opera attraverso il seguente processo:

1. Estrazione dei Concetti: Estrae gli output a livello di concetto da un modello target o da un percorso di spiegazione. Nello studio, sono stati auditati due distinti percorsi:
   • Percorso Visivo basato su MedSAM: Utilizza il Medical Segment Anything Model per generare concetti visivi guidati dalla segmentazione (lesioni, vasi sanguigni, disco ottico).
   • Percorso Semantico basato su VLM: Utilizza un Modello Visione-Linguaggio (Qwen2.5-VL) con prompt strutturati per generare risposte a concetti semantici per gli stessi concetti retinici.
2. Perturbazione Controllata: L'immagine di input viene suddivisa in superpixel. Vengono generate perturbazioni controllate mascherando specifici segmenti di superpixel (impostandoli a nero), creando un vicinato locale di campioni perturbati.
3. Misurazione dello Scostamento della Risposta (Response Shift): Il framework misura lo scostamento nelle risposte dei concetti ($\Delta y$) tra l'input originale e gli input perturbati.
4. Ponderazione della Località: Ai campioni perturbati vengono assegnati pesi di località basati sulla distanza (Coseno o Wasserstein) dall'input originale in uno spazio di embedding (utilizzando DINOv2). Le perturbazioni più vicine ricevono pesi maggiori.
5. Modellazione Surrogata: Un modello surrogato locale XGBoost viene adattato per approssimare la relazione tra i pattern di perturbazione e gli scostamenti della risposta del concetto. Questo surrogato cattura le relazioni non lineari tra le modifiche dell'input e la confidenza del concetto.
6. Valutazione della Affidabilità Multidimensionale: Il framework valuta l'affidabilità attraverso cinque dimensioni:
   • Accuratezza dell'Attribuzione: Se le regioni identificate come importanti si allineano con evidenze clinicamente significative (misurato tramite ACC, F1, AUROC).
   • Fedeltà (Fidelity): Quanto bene il modello surrogato approssima gli scostamenti osservati nella risposta del concetto (misurato tramite WMSE, WMAE, $R^2$, $R^2_w$).
   • Fedeltà alla Spiegazione (Faithfulness): Se le risposte dei concetti cambiano significativamente quando le regioni rilevanti per il concetto vengono perturbate (misurato tramite correlazione di Pearson).
   • Stabilità: Robustezza rispetto ad artefatti non clinici (ad es., date o loghi aggiunti) misurata tramite l'indice di sovrapposizione di Jaccard.
   • Coerenza: Riproducibilità delle spiegazioni attraverso esecuzioni ripetute in condizioni identiche (misurata tramite varianza e deviazione standard).

Contributi Chiave

• Auditing a Livello di Concetto: Introduzione di ConceptSMILE come framework basato su perturbazioni specificamente progettato per auditare l'affidabilità delle spiegazioni basate su concetti, andando oltre la plausibilità visiva verso una affidabilità misurabile.
• Estensione di SMILE: Riformulazione della logica di SMILE dall'attribuzione a livello di superpixel al testing della affidabilità a livello di concetto utilizzando perturbazioni controllate, ponderazione della località e modellazione surrogata.
• Validazione Agnostica rispetto al Modello: Dimostrazione del framework su immagini del fondo oculare utilizzando due distinti percorsi di estrazione dei concetti (MedSAM e VLM), fornendo un'analisi comparativa della affidabilità dei concetti visivi rispetto a quelli semantici.

Risultati Sperimentali
Il framework è stato valutato su immagini del fondo oculare da quattro dataset pubblici (HRF, APTOS, ODIR, IDRiD) concentrandosi su tre concetti: lesioni, vasi sanguigni e disco ottico.

• Fedeltà del Surrogato: Il percorso MedSAM ha ottenuto una fedeltà del surrogato significativamente più forte ($R^2 = 0.8503$, $R^2_w = 0.8465$ con XGBoost pesato con Wasserstein) rispetto al percorso VLM. Ciò suggerisce che i concetti visivi guidati dalla segmentazione forniscono risposte localmente più prevedibili sotto perturbazione di superpixel.
• Accuratezza dell'Attribuzione: MedSAM ha dimostrato una maggiore accuratezza dell'attribuzione spaziale per strutture ben definite come i vasi sanguigni e il disco ottico. Le spiegazioni semantiche basate su VLM erano più variabili e meno precise spazialmente.
• Faithfulness (Fedeltà alla Spiegazione): Il percorso VLM ha mostrato una faithfulness più forte e statisticamente significativa per i concetti di vasi sanguigni in tutti i dataset ($r \approx 0.58-0.71$), mentre MedSAM ha mostrato una maggiore faithfulness per i concetti di lesione in diversi dataset. Ciò indica che l'affidabilità dipende dal concetto piuttosto che dal percorso.
• Stabilità: La stabilità variava in base al concetto e al tipo di artefatto. Le spiegazioni del disco ottico di MedSAM erano altamente stabili contro gli artefatti di data aggiunta ($J_D \approx 0.96-0.98$), mentre le spiegazioni delle lesioni VLM mostravano un'alta stabilità sia sotto artefatti di data che di logo.
• Coerenza: La riproducibilità non era uniforme tra i percorsi. Le spiegazioni del disco ottico di MedSAM erano altamente coerenti su HRF e ODIR, mentre le spiegazioni delle lesioni VLM erano più coerenti su ODIR e IDRiD.
• Robustezza: Sotto artefatti di acquisizione (variazione di contrasto e simulazione di occlusione da battito di ciglia), le spiegazioni di vasi sanguigni e lesioni hanno generalmente mantenuto una fedeltà del surrogato positiva, mentre le spiegazioni del disco ottico hanno mostrato maggiore variabilità e occasionali valori di test $R^2$ negativi.

Significatività e Rivendicazioni
Il documento afferma che ConceptSMILE fornisce uno strato di audit indipendente per valutare l'affidabilità della XAI basata su concetti. La sua principale significatività risiede nel dimostrare che:

1. Interpretabilità $\neq$ Affidabilità: I concetti comprensibili dall'uomo non sono intrinsecamente affidabili; devono essere auditati per accuratezza, fedeltà, stabilità e coerenza.
2. L'Affidabilità è Dipendente dal Contesto: Nessun singolo percorso o concetto è universalmente superiore. MedSAM eccelle nell'attribuzione spaziale e nella fedeltà del surrogato per l'anatomia strutturata, mentre i VLM possono mostrare una forte faithfulness per specifici concetti semantici (come i vasi) e stabilità contro certi artefatti.
3. Necessità di Audit: In contesti ad alto rischio, le spiegazioni basate su concetti dovrebbero essere trattate come affermazioni testabili. ConceptSMILE offre un protocollo per identificare spiegazioni fragili, scarsamente fondate o incoerenti prima che vengano utilizzate nel processo decisionale critico.

Gli autori dichiarano esplicitamente che ConceptSMILE non fornisce certificazione clinica o prova causale, ma piuttosto prove di audit quantitativo per aiutare ricercatori e clinici a distinguere tra apparente interpretabilità e affidabilità fondata.