Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

Sintesi Tecnica: Affidabilità, Fedeltà e i Limiti delle Spiegazioni Post-hoc di Modelli Scientifici Opachi

Problema
Il saggio affronta una lacuna epistemica critica nell'applicazione scientifica della XAI (Explainable AI - Intelligenza Artificiale Spiegabile). Nei domini scientifici (es. neuroscienze, fisica, biochimica), i modelli di apprendimento automatico opachi vengono utilizzati sempre più non solo come predittori, ma come fonti di intuizione sui fenomeni sottostanti che modellano. L'assunto prevalente è che se un modello è sufficientemente affidabile (le sue previsioni corrispondono agli esiti del fenomeno) e la sua spiegazione post-hoc è sufficientemente fedele (la spiegazione riflette accuratamente i calcoli interni del modello), allora la spiegazione fornisce una pretesa giustificata sulla struttura stessa del fenomeno.

Gli autori sostengono che questa inferenza sia strutturalmente invalida. Sebbene l'affidabilità e la fedeltà siano condizioni necessarie, esse sono insufficienti per colmare il divario tra "comprendere il modello" e "comprendere il mondo". Nello specifico, nessuna delle due metriche verifica se la struttura interna del modello corrisponda alla struttura causale, meccanicistica o controfattuale del fenomeno.

Metodologia e Formalismo
Il saggio impiega un'analisi epistemica formale piuttosto che l'esperimentazione empirica. Costruisce una catena di approssimazione per analizzare la relazione inferenziale tra il fenomeno, il modello e la spiegazione:

1. Il Fenomeno ($f$): La funzione vera che rappresenta il fenomeno naturale.
2. Il Modello ($h^*$): Un'ipotesi selezionata da uno spazio $H$ (es. una rete neurale profonda) che approssima $f$.
3. La Spiegazione ($g^*$): Una rappresentazione generata da un metodo post-hoc $E$ (es. SHAP, LIME, mappe di attenzione) che approssima $h^*$.

La catena è denotata come $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$, dove:

• $\phi$ (il legame modello-mondo) rappresenta l'affidabilità di $h^*$ nel tracciare $f$.
• $E$ (il legame modello-del-modello) rappresenta la fedeltà di $g^*$ nel descrivere $h^*$.

Gli autori distinguono tra due tipi di verdetto epistemico:

• Verdetto Descrittivo: Valutazioni di ciò che il modello computa (fedeltà).
• Verdetto Giustificatorio: Valutazioni della capacità del modello di tracciare il fenomeno (affidabilità).

Il nucleo dell'argomento metodologico è che uno scienziato cerca un terzo tipo di verdetto: una pretesa giustificatoria sulla struttura del fenomeno. Il saggio dimostra che comporre un verdetto descrittivo (su $g^*$) e un verdetto giustificatorio (su $h^*$) non può logicamente produrre un verdetto giustificatorio sulla struttura di $f$.

Contributi Chiave e Argomentazioni

1. Il Fallimento Strutturale della Composizione:
   Il saggio sostiene che il divario tra modello e mondo non si chiude nemmeno nel limite di una perfetta affidabilità e di una perfetta fedeltà.

   • L'Affidabilità verifica se gli output corrispondono agli esiti, ma non richiede una struttura interna condivisa. Un modello può tracciare perfettamente un fenomeno tramite correlazioni spurie o scorciatoie non meccanistiche (es. fare affidamento sui bordi dell'immagine anziché sulla patologia).
   • La Fedeltà verifica se la spiegazione corrisponde al calcolo del modello, ma è interamente interna al modello. Non può determinare se il calcolo del modello corrisponda al meccanismo del fenomeno.
   • Di conseguenza, una catena "perfetta" ($f \approx h^* \approx g^*$) lascia comunque irrisolta la questione dell'allineamento strutturale. La catena manca della premessa di "struttura condivisa" necessaria per passare dai fatti del modello ai fatti del mondo.

2. Tre Casi di Catene Fuorvianti (Appendice A):
   Gli autori illustrano la persistenza di questo divario attraverso tre scenari:

   • Caso 1 (Spostamento della Distribuzione - Distribution Shift): Un modello si affida a una caratteristica spuria (es. marcatori di lateralità nelle radiografie X) che funziona durante l'addestramento ma fallisce in nuove popolazioni. La fedeltà riporta correttamente l'affidamento, ma l'affidabilità fallisce solo quando la distribuzione cambia. La spiegazione rimane fedele al meccanismo errato.
   • Caso 2 (Confondimenti Invarianti): Un modello si affida a una caratteristica spuria che è correlata al target in tutte le popolazioni testabili (es. posizionamento del paziente). Qui, l'affidabilità è perfetta ovunque e la fedeltà è perfetta, eppure il modello non cattura comunque il vero meccanismo. Nessuna quantità di dati di validazione può distinguere il modello spurio da uno meccanicistico se producono previsioni identiche.
   • Caso 3 (Tracciamento Perfetto, Struttura Divergente): Un modello traccia il fenomeno perfettamente su tutti gli input ma utilizza una struttura interna interamente diversa da quella del fenomeno. Una spiegazione fedele di questo modello descrive una struttura che non è la struttura del fenomeno. L'affidabilità e la fedeltà sono identiche sia per il modello con "struttura vera" che per il modello con "struttura divergente", rendendo le metriche incapaci di distinguere la verità dalla fortuna.

3. Distinzione tra Letture "Forti" e "Deboli":

   • Lettura Forte (Come-effettivamente - How-Actually): Sostiene che la struttura del modello è la struttura del fenomeno. Il saggio sostiene che la catena non può supportare questa affermazione da sola.
   • Lettura Debole (Come-possibilmente/Comprensione Oggettuale - How-Possibly/Objectual Understanding): Sostiene che il modello offre un'ipotesi candidata o una comprensione delle connessioni all'interno del dominio. Il saggio ammette che la catena può supportare questo, a condizione che l'output sia situato rispetto a una corroborazione esterna (teoria pregressa, evidenza indipendente, o intervento sperimentale).

Risultati e Rivendicazioni
Il saggio non presenta risultati sperimentali ma offre una prova filosofica e logica di limitazione:

• Nessuna Giustificazione Autosufficiente: Un modello affidabile accoppiato a una spiegazione fedele non giustifica, per la sola composizione, una pretesa sulla struttura causale o meccanicistica del fenomeno.
• La Corroborazione Esterna è Necessaria: Per passare da una descrizione del modello a una pretesa sul mondo, devono essere introdotti premesse esterne (teoria indipendente, meccanismi noti, o interventi). Queste premesse non sono generate dalla catena XAI stessa.
• Il Ruolo dell'Idealizzazione: Il saggio si allinea alla letteratura sull'idealizzazione scientifica (es. Sullivan, Elgin), suggerendo che i modelli opachi funzionano come strumenti idealizzati. Possono fornire una "comprensione oggettuale" (afferrare connessioni e possibilità), ma non una "comprensione esplicativa" (identificare il meccanismo effettivo) senza validazione esterna.

Significato
La significatività del saggio risiede nel chiarire i confini epistemici della XAI post-hoc nella scienza. Esso sfida la pratica routinaria di trattare le spiegazioni fedeli di modelli affidabili come finestre dirette sulla realtà scientifica.

• Argomenta che il fallimento nel distinguere tra "come funziona il modello" e "come funziona il mondo" non è un difetto tecnico da risolvere con algoritmi migliori o maggiore fedeltà, ma un limite strutturale della catena inferenziale.
• Ri-orienta l'uso scientifico della XAI: invece di vedere le spiegazioni come prove definitive di un meccanismo, esse dovrebbero essere viste come generatori di ipotesi candidate che richiedono rigorosi test esterni e integrazione teorica.
• Il saggio conclude che, sebbene la catena supporti la generazione di pretese di tipo "come-possibilmente", essa non può autorizzare pretese di tipo "come-effettivamente" senza corroborazione esterna, una distinzione cruciale per l'integrità della scoperta scientifica che utilizza modelli opachi.