Empirical Characterization of Rationale Stability Under Controlled Perturbations for Explainable Pattern Recognition

1. Il Problema

I sistemi di riconoscimento di pattern basati sull'Intelligenza Artificiale (AI) devono essere affidabili e trasparenti, specialmente in settori ad alto rischio come la sanità e la finanza. Sebbene l'Explainable AI (XAI) offra tecniche per comprendere come i modelli prendono le decisioni (spiegazioni post-hoc), la maggior parte delle valutazioni attuali si concentra su singoli istanti (instance-centric).

Il problema centrale identificato dagli autori è la mancanza di verifica della stabilità delle spiegazioni. Esiste un vuoto nella ricerca riguardo alla capacità di quantificare se le attribuzioni (le ragioni alla base di una previsione) rimangono coerenti quando il modello incontra input simili o piccole variazioni dello stesso input (perturbazioni che preservano l'etichetta). Senza questa verifica, un modello potrebbe apparire interpretabile in casi isolati, ma mostrare ragionamenti incoerenti o instabili su casi simili, minando la fiducia nell'AI.

2. Metodologia

Per affrontare questo problema, gli autori propongono un nuovo framework e una metrica quantitativa basata su tre pilastri principali:

• Metrica di Coerenza (ESS - Explanation Stability Score):
  L'obiettivo è misurare la similarità delle spiegazioni per input che appartengono alla stessa classe. La metodologia utilizza i valori SHAP (SHapley Additive exPlanations) per attribuire l'importanza delle feature (token nel caso del testo).
  Per ogni coppia di input $(x_1, x_2)$ con la stessa etichetta, si calcola la similarità del coseno tra i loro vettori di valori SHAP.
  $$\text{ESS} = \frac{1}{N} \sum_{i=1}^{N} \text{sim}_{\text{cos}}(\text{SHAP}(x_1^{(i)}), \text{SHAP}(x_2^{(i)}))$$
  Un punteggio ESS alto (vicino a 1) indica che il modello fornisce spiegazioni coerenti per input simili, mentre un punteggio basso suggerisce instabilità nel ragionamento.

• Valutazione della Robustezza (Perturbazioni Controllate):
  Per testare la stabilità, gli autori applicano perturbazioni agli input originali tramite parafraasi (sostituzione di sinonimi utilizzando WordNet con una probabilità del 20%). Questo simula variazioni linguistiche che non dovrebbero cambiare il significato semantico o l'etichetta del sentiment, ma potrebbero alterare le spiegazioni del modello se questo non è robusto.

• Confronto con Metriche di Fedeltà (Fidelity):
  Il nuovo metrico ESS viene confrontato con le tradizionali metriche di fedeltà (FID-k), che misurano quanto cambia la probabilità di previsione quando le feature più importanti (identificate da SHAP) vengono mascherate. Questo confronto serve a determinare se la coerenza delle spiegazioni è correlata alla capacità del modello di basarsi sulle feature giuste.

• Setup Sperimentale:

  • Modelli: BERT, RoBERTa e DistilBERT.
  • Dataset: SST-2 (Stanford Sentiment Treebank) e IMDB per l'analisi del sentiment.
  • Implementazione: SHAP (KernelExplainer) per calcolare le attribuzioni.

3. Contributi Chiave

1. Introduzione dell'ESS: Una nuova metrica scalare per quantificare la coerenza delle spiegazioni tra input con la stessa etichetta, spostando il focus dalla spiegazione singola alla stabilità del sistema.
2. Valutazione Completa: Un'analisi empirica estesa su modelli transformer (BERT, RoBERTa, DistilBERT) e dataset diversi, includendo studi di ablazione tramite parafraasi.
3. Rilevamento di Disallineamenti: Dimostrazione che l'ESS è efficace nell'identificare previsioni disallineate e ragionamenti incoerenti, offrendo uno strumento superiore alle sole metriche di fedeltà per valutare la stabilità comportamentale.

4. Risultati Sperimentali

Gli esperimenti hanno rivelato diverse intuizioni importanti:

• Impatto delle Perturbazioni: La parafraasi degli input ha causato una riduzione significativa dell'ESS per tutti i modelli (es. BERT su SST-2: da 0.1097 a 0.0945 nel test set). Un test t ha confermato che questa differenza è statisticamente significativa ($p < 0.05$), indicando che i modelli sono sensibili a piccole variazioni linguistiche nelle loro spiegazioni.
• Confronto tra Modelli:
  • RoBERTa: Ha mostrato i punteggi ESS più alti (es. 0.1995 su SST-2 test), suggerendo una maggiore coerenza nelle spiegazioni, ma con valori di fedeltà molto bassi, il che potrebbe indicare instabilità numerica o dipendenze da feature specifiche non scalate correttamente.
  • BERT: Ha offerto un buon equilibrio tra coerenza e fedeltà, rendendolo un candidato solido per compiti che richiedono spiegazioni robuste.
  • DistilBERT: Ha ottenuto i punteggi ESS più bassi (es. 0.0061 su SST-2 test). Gli autori ipotizzano che ciò sia dovuto alla sua architettura più compatta, che porta a spiegazioni più "semplici" ma meno variabili, non necessariamente più interpretabili o affidabili.
• Analisi per Classe: Su SST-2, le spiegazioni per il sentiment negativo hanno mostrato una coerenza maggiore rispetto a quelle per il sentiment positivo, suggerendo che il modello potrebbe essere meno stabile nel ragionare su opinioni positive.

5. Significato e Implicazioni

Questo lavoro è fondamentale per lo sviluppo di sistemi AI fidati e robusti.

• Fiducia Umana: La coerenza delle spiegazioni è un prerequisito per la fiducia umana. Se un modello fornisce ragionamenti diversi per input simili, l'utente non può affidarsi alle sue decisioni.
• Oltre la Fedeltà: Le metriche tradizionali di fedeltà non catturano la stabilità delle spiegazioni. L'ESS fornisce una lente diversa per valutare se un modello sta "ragionando" in modo coerente, non solo se la sua previsione è accurata.
• Sicurezza in Ambiti Critici: In settori come la finanza o la medicina, garantire che le ragioni alla base di una decisione rimangano stabili di fronte a variazioni minori è cruciale per evitare bias nascosti o decisioni arbitrarie.

In conclusione, gli autori propongono che la verifica della stabilità delle spiegazioni (rationale stability) debba diventare una parte standard del processo di valutazione e sviluppo dei modelli di AI, integrando metriche come l'ESS per garantire che i sistemi siano non solo interpretabili, ma anche coerenti e affidabili nel tempo.