Concerning Uncertainty -- A Systematic Survey of Uncertainty-Aware XAI

Questo articolo presenta un'analisi sistematica dell'IA spiegabile consapevole dell'incertezza (UAXAI), esaminando i metodi di quantificazione dell'incertezza, le strategie di integrazione nelle spiegazioni e la necessità di principi di valutazione unificati che colleghino la propagazione dell'incertezza, la robustezza e il processo decisionale umano.

L'essenziale

Immagina che l'Intelligenza Artificiale (AI) sia come un oracolo molto intelligente che vive in una grande torre di vetro. Questo oracolo ti dà previsioni: "Pioverà domani", "Questa malattia è grave", "Quell'investimento è sicuro".

Per anni, l'oracolo ci ha solo dato la risposta, senza dirci quanto fosse sicuro di sé. Se diceva "Pioverà", noi credevamo che fosse una certezza assoluta. Ma cosa succede se l'oracolo sta solo indovinando?

Questo articolo parla di una nuova evoluzione chiamata UAXAI (Intelligenza Artificiale Esplicabile Consapevole dell'Incertezza). In parole povere: insegnare all'oracolo a dire non solo "cosa" succederà, ma anche "quanto" è sicuro della sua risposta.

Ecco i punti chiave, spiegati con delle metafore:

1. Il problema: L'oracolo che non ammette i dubbi

Fino a poco tempo fa, gli esperti di AI (gli "esperti di spiegazioni" o XAI) cercavano di capire perché l'oracolo dava una certa risposta. Era come chiedere: "Perché hai detto che pioverà?". L'oracolo rispondeva: "Perché le nuvole sono scure".
Ma mancava una cosa fondamentale: la fiducia. Se le nuvole sono scure ma il cielo è strano, l'oracolo dovrebbe dire: "Penso che pioverà, ma sono un po' incerto perché non ho mai visto nuvole così". Senza questa informazione, noi umani potremmo prendere decisioni sbagliate basandoci su una risposta che sembra certa ma è in realtà un'ipotesi fragile.

2. Le tre "lenti" per vedere l'incertezza

Gli autori dell'articolo hanno guardato centinaia di studi e hanno scoperto che ci sono tre modi principali in cui gli scienziati stanno cercando di insegnare all'oracolo a esprimere i suoi dubbi:

• La lente della "Sicurezza" (Bayesiana): È come se l'oracolo avesse un vecchio manuale di statistica. Dice: "Ho visto 100 volte questo scenario, e 80 volte ha piovuto. Quindi c'è un 80% di probabilità". È un calcolo matematico basato sulla storia.
• La lente del "Gioco d'azzardo" (Monte Carlo): Immagina che l'oracolo faccia la stessa previsione 100 volte, ma ogni volta cambi leggermente i suoi "pensieri" interni (come se tirasse dei dadi). Se 99 volte dice "Piove" e 1 volta dice "Sole", allora è molto sicuro. Se le risposte sono tutte diverse, allora è molto incerto.
• La lente della "Garanzia" (Conformale): Questa è la più recente e promettente. È come se l'oracolo dicesse: "Non posso dirti esattamente quanto pioverà, ma posso garantirti che la risposta sarà in questo intervallo con una certezza del 95%". È come un'assicurazione matematica: "Se segui le mie regole, avrò ragione nel 95% dei casi".

3. I due tipi di "dubbi" (Il rumore e la ignoranza)

L'articolo fa una distinzione fondamentale tra due tipi di incertezza, che possiamo paragonare a due situazioni diverse:

• Incertezza "Aleatorica" (Il Rumore di fondo): Immagina di dover leggere un messaggio scritto su un foglio bagnato e strappato. Anche se sei il miglior lettore del mondo, non puoi leggere tutto perché il foglio è rovinato. Questo è il "rumore" dei dati. È un dubbio che non puoi eliminare, perché il mondo è caotico.
• Incertezza "Epistemica" (La Ignoranza): Immagina di dover prevedere il tempo su un pianeta che non hai mai visitato e su cui non hai mai raccolto dati. Il tuo dubbio non è perché il cielo è confuso, ma perché tu non sai abbastanza. Questa è l'ignoranza del modello. Se l'AI vede qualcosa di nuovo (come una malattia mai vista prima), dovrebbe dire: "Non so, non ho mai visto questo prima".

4. Come stiamo valutando questi nuovi oracoli?

Qui c'è il problema principale. Gli scienziati stanno ancora litigando su come misurare se questi nuovi oracoli sono bravi.

• Il problema: Molti studi guardano solo se l'AI indovina la risposta giusta (come un voto a scuola), ma non controllano se l'AI ha comunicato bene il suo dubbio.
• La metafora: È come giudicare un metereologo solo dal fatto che ha detto "Piove", senza chiedersi se aveva ragione a essere così sicuro. Se ha detto "Pioverà sicuramente" e invece c'è il sole, ha fallito, anche se ha indovinato che era una giornata umida.
• La soluzione futura: Dobbiamo creare un sistema di valutazione che controlli tre cose:
  1. L'AI è corretta?
  2. L'AI è stabile (se chiedi la stessa cosa due volte, risponde sempre allo stesso modo)?
  3. L'AI comunica bene i suoi dubbi all'utente umano?

5. Cosa ci dicono i risultati?

L'articolo conclude che il campo sta crescendo velocemente.

• Prima: Si usavano metodi complessi e lenti (come i metodi Bayesiani).
• Ora: Si sta passando a metodi più pratici e sicuri (come i metodi "Conformali") che danno garanzie matematiche precise.
• Il futuro: L'obiettivo non è solo avere un'AI che spiega le sue decisioni, ma un'AI che ci dice: "Ehi, questa decisione è solida come una roccia" oppure "Attenzione, questa decisione è un po' un azzardo, controlla due volte prima di agire".

In sintesi

Questo articolo è una mappa per navigare nel mondo dell'AI che sa ammettere i propri errori. Ci dice che per fidarci davvero delle macchine (specialmente in cose importanti come la medicina o le auto a guida autonoma), non basta sapere cosa pensano, dobbiamo sapere quanto ne sono sicuri. È il passaggio da un'AI che "sa tutto" a un'AI che è saggia e onesta sui suoi limiti.

Sommario tecnico

Titolo: Un'Indagine Sistematica sull'XAI Consapevole dell'Incertezza (UAXAI)

1. Il Problema

L'Intelligenza Artificiale (AI) è diventata pervasiva in settori ad alto rischio (sanità, veicoli autonomi, finanza), ma la sua natura "black-box" solleva preoccupazioni fondamentali riguardo a trasparenza, affidabilità e fiducia. L'Explainable AI (XAI) è nata per rendere i risultati dei modelli interpretabili, ma le spiegazioni tradizionali spesso falliscono nel comunicare quanto sia affidabile una previsione o la spiegazione stessa.
Il problema centrale identificato è la mancanza di un'integrazione sistematica tra la Quantificazione dell'Incertezza (UQ) e l'XAI. Senza comunicare l'incertezza (sia essa dovuta al rumore nei dati o alla mancanza di conoscenza del modello), gli utenti non possono valutare correttamente il rischio e la fiducia da riporre nelle decisioni automatizzate. Inoltre, la letteratura esistente manca di una definizione operativa unificata di "spiegazione consapevole dell'incertezza" e di protocolli di valutazione standardizzati.

2. Metodologia

Gli autori hanno condotto un'indagine sistematica della letteratura (Systematic Survey) seguendo il protocollo PRISMA, focalizzandosi su articoli peer-reviewed pubblicati fino al 5 aprile 2025.

• Fonti di dati: IEEE Xplore e Web of Science.
• Criteri di inclusione: Articoli che integrano esplicitamente l'incertezza nel processo esplicativo (UAXAI). Sono stati esclusi lavori che trattavano solo UQ senza XAI o solo XAI senza UQ.
• Processo di selezione:
  • Identificati inizialmente 184 paper.
  • Dopo screening di titoli e abstract: 74 paper.
  • Aggiunti 9 paper tramite "snowballing" (ricerca a ritroso/avanti).
  • Screening a testo completo su 79 paper.
  • Corpus finale: 46 paper inclusi nell'analisi.
• Schema di codifica: I paper sono stati analizzati secondo 10 categorie, tra cui tipo di incertezza studiata (epistemica, aleatoria), approccio all'interpretabilità (post-hoc, intrinseco), dominio di applicazione, coinvolgimento dell'utente e metriche di valutazione.

3. Contributi Chiave e Definizioni

Il paper propone una definizione operativa di UAXAI: un insieme di metodi che rappresentano, comunicano o ragionano esplicitamente sull'incertezza associata alle previsioni o alle spiegazioni dei modelli, con l'obiettivo di migliorare la trasparenza e la fiducia umana.

Viene identificata una tassonomia di tre ruoli complementari dell'incertezza nei pipeline esplicativi:

1. L'incertezza come segnale esplicativo: L'incertezza stessa viene comunicata insieme alla previsione (es. intervalli di confidenza, mappe di calore dell'incertezza) per trasmettere fiducia o rischio.
2. L'incertezza per qualificare/constringere le spiegazioni: L'UQ viene utilizzata per filtrare, ponderare o limitare le spiegazioni generate da tecniche XAI esistenti (es. selezionare solo le spiegazioni con alta affidabilità).
3. Valutazione della robustezza: L'UQ viene utilizzata per valutare la stabilità o l'affidabilità delle spiegazioni stesse (es. misurando la varianza tra diverse spiegazioni post-hoc).

Decomposizione dell'Incertezza:
Il paper sottolinea l'importanza di distinguere tra:

• Incertezza Aleatoria (Aleatoric): Rumore intrinseco nei dati (non riducibile).
• Incertezza Epistemica (Epistemic): Incertezza dovuta alla mancanza di conoscenza del modello o dati limitati (riducibile con più dati o modelli migliori).

4. Risultati e Trend

L'analisi dei 46 paper rivela diversi trend evolutivi e metodologici:

• Metodi di Quantificazione dell'Incertezza:
  • Metodi Bayesiani: Storicamente dominanti (es. BayLIME, Gaussian Processes) per la loro capacità di catturare l'incertezza epistemica attraverso prior e posteriori.
  • Monte Carlo Dropout: Utilizzato come baseline leggera ed economica per stimare l'incertezza.
  • Metodi Conformali (Conformal Prediction): In forte crescita dal 2024. Offrono garanzie di copertura distributive (distribution-free) e intervalli calibrati, rendendoli ideali per scenari decisionali pratici.
• Integrazione nelle Spiegazioni:
  • Si è passati da stime di incertezza isolate all'integrazione strutturale dell'UQ nelle spiegazioni.
  • Le spiegazioni Controfattuali (che rispondono a "perché non un altro risultato?") sono particolarmente promettenti perché permettono di testare la stabilità locale e ridurre l'ambiguità epistemica.
• Valutazione:
  • Le pratiche di valutazione attuali sono frammentate e spesso centrate sul modello (es. accuratezza, RMSE) piuttosto che sull'utente.
  • Mancano metriche standardizzate per la calibrazione (quanto bene l'incertezza stimata corrisponde alla realtà), la copertura e la stabilità delle spiegazioni.
  • C'è una crescente consapevolezza che anche gli spiegatori (explainer) introducono incertezza (varianza tra diversi metodi di spiegazione).

5. Significato e Direzioni Future

Il paper conclude che il campo dell'UAXAI sta maturando, spostandosi dalla semplice stima dell'incertezza alla sua incorporazione come elemento strutturale dell'interpretabilità.

Implicazioni principali:

• È necessario un cambio di paradigma: una spiegazione non è completa senza indicare il livello di confidenza.
• La distinzione tra incertezza aleatoria ed epistemica è cruciale per la fiducia dell'utente (es. un'alta incertezza epistemica suggerisce che il modello non è addestrato su quel tipo di dato, mentre quella aleatoria indica rumore intrinseco).

Raccomandazioni per la ricerca futura:

1. Estensione delle garanzie formali: Applicare metodi come la previsione conforme e gli insiemi credali per combinare interpretabilità e garanzie matematiche.
2. Protocolli di valutazione standardizzati: Sviluppare metriche che misurino simultaneamente l'affidabilità predittiva, la stabilità della spiegazione e l'interpretabilità umana.
3. Studi sull'utente: Indagare come diverse rappresentazioni visive o testuali dell'incertezza influenzino la calibrazione della fiducia e la qualità decisionale degli umani.
4. Decomposizione dell'incertezza: Migliorare la capacità di comunicare all'utente la causa dell'incertezza (rumore vs. mancanza di conoscenza) per guidare azioni appropriate.

In sintesi, questo lavoro fornisce una mappa concettuale e metodologica essenziale per trasformare l'XAI da uno strumento puramente descrittivo a uno strumento decisionale robusto e affidabile, capace di gestire l'incertezza in modo trasparente.