Measuring the (Un)Faithfulness of Concept-Based Explanations

1. Il Problema

I modelli di visione profonda (Deep Vision Models) sono spesso "scatole nere" difficili da interpretare. Le Metodologie di Spiegazione Basate su Concetti (CBEMs) mirano a risolvere questo problema traducendo le computazioni interne del modello in unità semantiche comprensibili all'uomo (concetti come bordi, colori, parti di oggetti).

Esistono due proprietà fondamentali per la qualità di una spiegazione:

1. Interpretabilità: Quanto la spiegazione è comprensibile per l'umano.
2. Fedeltà (Faithfulness): Quanto la spiegazione riflette accuratamente la computazione interna reale del modello.

Il paper identifica un problema critico: le attuali metodologie CBEM non supervisionate (U-CBEMs), sebbene apparentemente più fedeli e interpretabili, vengono valutate con metriche di fedeltà inadeguate. Gli autori sostengono che i miglioramenti riportati nella fedeltà sono artificiali e derivano da:

• L'uso di surrogati eccessivamente complessi (che spostano il carico interpretativo sull'utente o introducono costi non misurati).
• L'uso di proxy basati sulla cancellazione (deletion-based), che si sono rivelati inaffidabili perché operano su dati fuori dal manifold (off-manifold), portando a risultati imprevedibili e non significativi.

2. Metodologia Proposta: SURF

Gli autori propongono SURF (Surrogate Faithfulness), un nuovo framework per misurare la fedeltà che soddisfa tre requisiti fondamentali (desiderata):

1. Semplicità del surrogato: Il surrogato deve essere semplice (lineare) per non nascondere la complessità dell'interpretazione.
2. Inclusione di tutti i componenti: Deve utilizzare sia le rappresentazioni dei concetti (CAVs) che i punteggi di importanza dei concetti.
3. Valutazione globale: Deve misurare l'errore su tutte le classi di output, non solo sulla classe predetta o quella di ground truth.

Componenti di SURF:

• Il Surrogato Lineare:
  A differenza dei metodi precedenti che tentano di ricostruire l'embedding intermedio (operazione non lineare e complessa), SURF definisce un surrogato lineare diretto. Sfrutta la struttura del layer lineare finale del modello originale ($y = f(h)$).
  La formula del surrogato $\hat{y}_i$ per una classe $i$ è una combinazione lineare delle rappresentazioni dei concetti proiettate, pesate dalle loro importanze:
  $$\hat{y}_i = \sum_{j=1}^{HW} \sum_{k=1}^{K} \alpha_{i,k} P(h_j; V_i)_k$$
  Dove $P$ è la proiezione sul concetto, $V_i$ sono i vettori di attivazione del concetto (CAV) e $\alpha$ sono le importanze. Questo surrogato non ha parametri apprendibili aggiuntivi.

• Le Metriche:
  SURF utilizza due metriche per valutare la discrepanza tra l'output del modello originale ($y$) e quello del surrogato ($\hat{y}$):

  1. SURFMAE (Mean Absolute Error): Calcolato nello spazio dei logit.
  2. SURFEMD (Earth Mover's Distance): Calcolato nello spazio delle probabilità (dopo softmax).
     L'uso combinato di entrambi gli spazi permette di catturare sia errori di magnitudine che errori nella distribuzione delle probabilità.

3. Contributi Chiave

1. Unificazione del Framework: Gli autori organizzano le metriche di fedeltà esistenti in un quadro comune, evidenziando le loro limitazioni (es. l'uso di surrogati complessi o proxy di cancellazione).
2. Introduzione di SURF: Propongono una misura di fedeltà che supera i test di "sanity check" (verifica di sanità mentale), dimostrando che le metriche precedenti falliscono nel rilevare spiegazioni casuali.
3. Benchmark Completo: Esecuzione del primo benchmark affidabile delle U-CBEMs più recenti (come ACE, CRAFT, ICE, C-SHAP, MCD, SAE) su diversi task (classificazione oggetti, attributi multipli, regressione età).
4. Analisi del Trade-off: Utilizzo di SURF per analizzare scientificamente il compromesso tra il numero di concetti usati e la fedeltà, permettendo di selezionare il numero ottimale di concetti invece di impostarlo arbitrariamente.

4. Risultati Sperimentali

Gli esperimenti hanno rivelato risultati sorprendenti e critici:

• Fallimento delle Metriche Precedenti: I metodi basati su cancellazione e surrogati complessi (come ICE-Eval e C-SHAP-Eval) non riescono a distinguere tra spiegazioni perfette e spiegazioni con concetti o importanze casuali. Ad esempio, in alcuni test, le metriche precedenti riportavano una fedeltà "perfetta" anche quando i concetti erano completamente randomizzati.
• Inaffidabilità delle U-CBEMs SOTA: Quando valutati con SURF, la maggior parte delle U-CBEMs all'avanguardia non è fedele al modello originale.
  • Gli errori nello spazio dei logit e delle probabilità sono significativi.
  • Il metodo SAE (Sparse Autoencoders) si è rivelato il più fedele, ma comunque con errori non trascurabili.
  • Metodi come MCD e HU-MCD mostrano prestazioni migliori grazie all'uso di sottospazi concettuali, ma falliscono ancora rispetto alla fedeltà ideale.
• Analisi del Numero di Concetti: L'uso di SURF ha mostrato che aumentare il numero di concetti non garantisce sempre un aumento della fedeltà; alcune metodologie peggiorano o si stabilizzano rapidamente, indicando che i parametri attuali sono spesso impostati arbitrariamente.

5. Significato e Implicazioni

Questo lavoro è fondamentale per il campo dell'XAI (Explainable AI) perché:

• Ridefinisce gli Standard: Smaschera l'illusione di fedeltà creata da metriche difettose, costringendo la comunità a ripensare come valutare le spiegazioni.
• Promuove la Trasparenza: Suggerisce che molte spiegazioni visivamente convincenti potrebbero non riflettere realmente il ragionamento del modello, il che è pericoloso in domini ad alto rischio (sanità, finanza).
• Fornisce uno Strumento Pratico: SURF è un metodo semplice, privo di parametri apprendibili aggiuntivi e computazionalmente efficiente, che può essere adottato immediatamente come standard di riferimento per futuri lavori sulle spiegazioni basate su concetti.

In conclusione, il paper sostiene che senza una misura di fedeltà rigorosa come SURF, non possiamo affermare di comprendere realmente come funzionano i modelli di visione profonda, e invita la comunità a adottare SURF come metrica standard per qualsiasi nuova metodologia di spiegazione.