Informative Perturbation Selection for Uncertainty-Aware Post-hoc Explanations

Il paper propone EAGLE, un framework di spiegazione post-hoc agnostico al modello che seleziona adattivamente le perturbazioni tramite un approccio di apprendimento attivo basato sull'informazione per apprendere modelli surrogati lineari con stime di incertezza, garantendo maggiore stabilità e riproducibilità rispetto agli stati dell'arte.

L'essenziale

Immagina di avere un oracolo magico (un'intelligenza artificiale complessa) che ti dice se un prestito bancario ti verrà approvato o se un'immagine è un gatto o un cane. Sai che l'oracolo è molto bravo, ma è anche un mistero: non sai perché prende certe decisioni. È una "scatola nera".

Per capire le sue ragioni, gli esperti usano dei "traduttori" (chiamati metodi di spiegazione) che provano a imitare il comportamento dell'oracolo in una piccola zona specifica, usando regole semplici. Il problema è che questi traduttori spesso sono instabili: se chiedi la stessa spiegazione due volte, potrebbero darti due risposte diverse, come se fossero ubriachi.

Ecco dove entra in gioco il nuovo metodo chiamato EAGLE (che sta per Expected Active Gain for Local Explanations), descritto in questo articolo.

L'Analogia del Detective e della Mappa

Immagina di essere un detective che deve capire perché l'oracolo ha preso una decisione su un caso specifico (il "sospettato").

• Il vecchio metodo (come LIME): Il detective lancia dei dadi a caso per creare "sospettati finti" (dati perturbati) vicino al caso reale. Chiede all'oracolo: "E se fosse questo? E se fosse quello?". Poi cerca di disegnare una mappa basata su queste domande casuali. Il problema? Potrebbe chiedere troppe volte cose ovvie e non chiedere mai le cose importanti, rendendo la mappa confusa e diversa ogni volta che la disegni.
• Il nuovo metodo (EAGLE): Il detective è molto più intelligente. Non lancia i dadi a caso. Usa una bussola dell'informazione. Prima di fare una domanda, si chiede: "Quale domanda mi darà la massima nuova informazione per capire la mappa, riducendo i miei dubbi?".

Come funziona EAGLE in pratica?

1. Non sprecare energie: Invece di chiedere "E se piovesse?" quando è già chiaro che piove, EAGLE cerca le zone dove l'oracolo è più confuso (dove la sua "incertezza" è alta).
2. La Bussola dell'Informazione: EAGLE calcola matematicamente quale "domanda" (o perturbazione dei dati) ridurrà di più i suoi dubbi. È come se il detective sapesse esattamente quale indizio cercare per chiudere il caso velocemente.
3. Mantenere la vicinanza: C'è un rischio: se il detective va troppo lontano per cercare indizi, potrebbe capire cose che non c'entrano con il caso originale. EAGLE ha una "corda" che lo tiene legato al caso originale, assicurandosi di esplorare solo l'area vicina, ma facendolo in modo intelligente.

I Risultati: Perché è meglio?

Gli autori hanno testato EAGLE su diversi "casi" (dati tabellari come crediti bancari e immagini come volti o oggetti). Ecco cosa hanno scoperto:

• Stabilità: Se chiedi a EAGLE la stessa spiegazione 10 volte, otterrai quasi sempre la stessa risposta. I vecchi metodi cambiavano spesso idea. È come se EAGLE fosse un detective molto concentrato, mentre gli altri erano distratti.
• Efficienza: EAGLE ha bisogno di fare meno domande per arrivare alla stessa certezza degli altri. Se gli altri devono fare 500 domande per capire, EAGLE ne fa 300 e arriva allo stesso risultato. Risparmia tempo e risorse.
• Fiducia: EAGLE non ti dà solo la risposta ("È un gatto"), ma ti dice anche quanto è sicuro di quella risposta. Ti dice: "Sono molto sicuro che sia un gatto" oppure "Sono un po' incerto, controlla meglio".

In sintesi

EAGLE è come passare da un esploratore che cammina a caso in una foresta per trovare un sentiero, a un esploratore con una mappa GPS intelligente che sa esattamente dove camminare per trovare il sentiero più breve e sicuro.

Grazie a questo metodo, possiamo fidarci di più delle spiegazioni delle intelligenze artificiali, sapendo che sono basate su dati solidi, stabili e raccolti in modo intelligente, non a caso. È un passo avanti verso un'IA più trasparente e affidabile.

Sommario tecnico

1. Il Problema

L'adozione diffusa di modelli di Machine Learning (ML) "black-box" solleva preoccupazioni etiche e di fiducia, rendendo necessaria l'implementazione di sistemi di Explainable AI (XAI). I metodi di spiegazione post-hoc agnostici al modello (come LIME e le sue varianti) cercano di approssimare il comportamento di un modello complesso in una specifica regione locale generando campioni perturbati e adattando un modello surrogato interpretabile (solitamente lineare).

Tuttavia, questi metodi affrontano diverse sfide critiche:

• Instabilità: Le spiegazioni possono variare significativamente tra diverse esecuzioni a causa della casualità nella generazione delle perturbazioni.
• Mancanza di incertezza: La maggior parte dei metodi fornisce solo una stima puntuale delle importanze delle feature, senza quantificare l'incertezza associata.
• Campionamento inefficiente: Le strategie esistenti (es. LIME, BayesLIME) spesso campionano perturbazioni in modo casuale o basandosi su euristiche che non massimizzano l'informazione guadagnata, ignorando la distinzione tra incertezza aleatorica (rumore nei dati) ed epistemica (mancanza di conoscenza del modello surrogato).
• Complessità del campionamento: Non esiste una strategia principled (fondata su basi teoriche) per selezionare le perturbazioni che riducano l'incertezza del modello surrogato mantenendo al contempo la località rispetto all'istanza di interesse.

2. Metodologia: EAGLE

Gli autori propongono EAGLE (Expected Active Gain for Local Explanations), un framework di apprendimento attivo post-hoc che formula la selezione delle perturbazioni come un problema di apprendimento attivo basato sull'informazione.

Componenti Chiave:

• Modellazione Surrogata Bayesiana: EAGLE utilizza una regressione lineare bayesiana come modello surrogato. Questo permette di ottenere non solo i coefficienti di importanza delle feature ($\phi$), ma anche la loro distribuzione a posteriori, quantificando così l'incertezza epistemica.
• Funzione di Acquisione (Acquisition Function): Il cuore di EAGLE è una nuova funzione di acquisizione derivata teoricamente. L'obiettivo è massimizzare il Guadagno di Informazione Atteso (Expected Information Gain - EIG).
  • Invece di campionare casualmente, EAGLE seleziona iterativamente le perturbazioni che massimizzano la riduzione dell'entropia (o della varianza) dei parametri del modello surrogato.
  • La funzione di acquisizione derivata è:
    $$z^* = \arg \max_{z} \pi_{x_0}(z) \cdot z^\top V_\phi z$$
    Dove:
    • $\pi_{x_0}(z)$ è il peso di vicinanza (kernel di località) che assicura che il campionamento rimanga focalizzato sull'istanza di interesse.
    • $V_\phi$ è la matrice di covarianza a posteriori dei coefficienti del modello.
    • $z^\top V_\phi z$ rappresenta l'incertezza predittiva nella direzione della perturbazione $z$.
• Selezione Attiva: Il processo inizia con un piccolo set di semi (seed perturbations) e seleziona iterativamente i campioni più informativi da un pool candidato, aggiornando il modello surrogato a ogni passo.

3. Contributi Chiave

1. Framework Teorico Principled: EAGLE è il primo framework che deriva una strategia di selezione delle perturbazioni basata sul guadagno di informazione atteso, specificamente adattata per spiegazioni locali.
2. Analisi Teorica e Complessità del Campionamento:
   • Gli autori dimostrano che il guadagno di informazione cumulativo scala come $O(d \log t)$, dove $d$ è la dimensionalità delle feature e $t$ è il numero di campioni.
   • Viene derivato un limite superiore sulla complessità del campionamento: il numero di query necessarie cresce linearmente con la dimensionalità $d$ e logaritmicamente con il parametro di confidenza $1/\delta$.
3. Stima dell'Incertezza: Il metodo fornisce naturalmente stime di confidenza (intervalli credibili) per le importanze delle feature, permettendo di valutare l'affidabilità della spiegazione.
4. Efficienza: Dimostrazione empirica che EAGLE raggiunge la stessa qualità di spiegazione di metodi esistenti con un numero significativamente inferiore di query (fino all'88% di risparmio in termini di budget di campionamento).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset tabulari (COMPAS, German Credit, Adult Income, Magic) e immagini (MNIST, ImageNet), confrontando EAGLE con baseline come LIME, GLIME, BayesLIME, US-LIME e UnRAvEL.

• Stabilità delle Spiegazioni: EAGLE ha ottenuto i punteggi più alti (o quasi) in termini di Similarità di Jaccard tra le feature top-5 selezionate in esecuzioni multiple, dimostrando una stabilità superiore rispetto a tutti gli altri metodi.
• Qualità del Campionamento (D-efficiency e CIG):
  • D-efficiency: EAGLE mostra una convergenza più rapida nella riduzione del volume dell'ellissoide di covarianza a posteriori, indicando una riduzione più efficiente dell'incertezza.
  • Guadagno di Informazione Cumulativo (CIG): EAGLE accumula informazione più velocemente rispetto a BayesLIME e BayLIME.
• Efficienza del Campionamento: EAGLE raggiunge la qualità di BayesLIME (usato come baseline) con un budget di query inferiore (es. 310-390 query invece di 500), riducendo i tempi di esecuzione.
• Robustezza: L'analisi di sensitività mostra che EAGLE è robusto rispetto alle dimensioni del pool candidato e alla precisione dell'a priori, adattandosi bene sia a dati tabulari che a immagini ad alta dimensionalità.

5. Significato e Impatto

Il lavoro di EAGLE rappresenta un passo avanti significativo verso spiegazioni affidabili e riproducibili per modelli black-box.

• Superamento delle Euristiche: Sposta il paradigma dalla selezione casuale o euristica delle perturbazioni a una selezione basata su principi teorici di apprendimento attivo.
• Gestione dell'Incertezza: Fornisce agli utenti finali e ai regolatori (es. GDPR, EU AI Act) non solo una spiegazione, ma anche una misura di quanto fidarsi di tale spiegazione.
• Efficienza Computazionale: Riduce il costo computazionale necessario per ottenere spiegazioni stabili, rendendo l'XAI più scalabile per applicazioni reali.

In sintesi, EAGLE risolve il compromesso tra stabilità, accuratezza locale e quantificazione dell'incertezza, fornendo un framework matematicamente fondato per l'interpretazione dei modelli di machine learning.