🤖 AI

Causal Explanations for Image Classifiers

Questo articolo introduce ReX, un nuovo framework black-box basato sulla teoria formale della causalità effettiva che calcola spiegazioni efficienti, minimali e di alta qualità per i classificatori di immagini, superando gli strumenti allo stato dell'arte esistenti sia in termini di velocità che di dimensione della spiegazione.

Autori originali: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Pubblicato 2026-07-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot molto intelligente, ma segreto, che guarda una foto e dice: "Quella è una coccinella!". Tu chiedi: "Perché?". Il robot non può dirtelo perché è una "scatola nera" — i suoi ingranaggi e i suoi fili interni sono nascosti, e persino le persone che lo hanno costruito non comprendono appieno come prenda le sue decisioni.

Questo articolo presenta un nuovo modo per porre quella domanda "Perché?" e ottenere una risposta chiara e onesta senza dover aprire il cofano del robot. Gli autori chiamano il loro metodo rex.

Ecco la scomposizione di come funziona, utilizzando semplici analogie:

1. Il Problema: La "Mappa di Calore" vs. La "Verità"

La maggior parte degli strumenti attuali cerca di spiegare la decisione del robot disegnando una "mappa di calore" sull'immagine. Colorano le parti dell'immagine che pensano siano importanti in rosso e le parti non importanti in blu.

Il Difetto: Queste mappe di calore sono spesso sfocate. Potrebbero evidenziare l'intera coccinella, ma anche l'erba, il cielo e una foglia casuale nelle vicinanze. È come un detective che indica una scena del crimine e dice: "Il colpevole era da qualche parte in tutto questo quartiere". Non è molto utile se vuoi sapere esattamente chi è stato.

2. La Soliazione: Il Test degli "Ingredienti Minimi"

Gli autori, guidati da Hana Chockler e colleghi, hanno deciso di utilizzare un concetto della logica chiamato causalità. Invece di indovinare cosa sia importante, pongono una domanda semplice: "Qual è la quantità assoluta minima di questa immagine che devo mantenere per ottenere ancora la stessa risposta?"

Pensa a questo come a una ricetta:

Se stai cucinando una torta e il robot dice: "Questa è una torta al cioccolato", una mappa di calore potrebbe dire: "La farina, lo zucchero, le uova e la ciotola sono tutti importanti".
Il metodo rex è come uno chef che dice: "In realtà, se rimuovo la ciotola, la torta è ancora una torta. Se rimuovo lo zucchero, non lo è più. Se rimuovo la farina, non lo è più. Ma se tengo solo la farina, lo zucchero e le uova, e scarto tutto il resto, è ancora una torta al cioccolato".

rex trova il gruppo più piccolo possibile di pixel (gli "ingredienti") che sono strettamente necessari affinché il robot dica "Coccinella". Se copri tutto il resto, il robot vede ancora una coccinella.

3. Come Funziona: Il "Detective Bendato"

Poiché il robot è una scatola nera, rex non può guardare all'interno. Invece, gioca a un gioco di "copri e scopri":

La Partizione: Taglia l'immagine in quattro pezzi casuali (come affettare una pizza).
Il Test: Copre diverse combinazioni di questi pezzi e chiede al robot: "È ancora una coccinella?".
Il Raffinamento: Se il robot dice "Sì" anche quando un pezzo è coperto, quel pezzo non era importante. Se il robot dice "No" quando un pezzo è coperto, quel pezzo è vitale.
L'Iterazione: Continua a tagliare i pezzi "vitali" in pezzi sempre più piccoli, ripetutamente, finché non trova i pixel più minuscoli che contano.
La Media: Per assicurarsi di non aver avuto fortuna con un particolare modo di tagliare la pizza, ripete questo processo molte volte con tagli diversi e ne media i risultati.

4. I Risultati: Più Piccoli, Più Precisi e Più Veloci

Gli autori hanno testato rex contro altri strumenti popolari (come Grad-CAM, LIME e SHAP) utilizzando migliaia di immagini. Ecco cosa hanno scoperto:

Spiegazioni Minuscole: rex produce spiegazioni che sono incredibilmente piccole. In molti casi, la "spiegazione" copre meno del 5% dell'immagine. Altri strumenti spesso evidenziano dal 10% al 50% dell'immagine, includendo molto "rumore" (sfondo irrilevante).
Precisione: Poiché rex evidenzia solo ciò che è strettamente necessario, evita di indicare cose irrilevanti. Ad esempio, se una foto di un autobus ha una persona in piedi davanti ad esso, rex ignora correttamente la persona e si concentra solo sulle parti dell'autobus che dimostrano che si tratti di un autobus.
Velocità: Nonostante faccia molti test, è sorprendentemente veloce. È lo strumento "black box" più efficiente testato, superando spesso strumenti a cui è permesso sbirciare dentro il cervello del robot (strumenti "white-box").

5. Un Colpo di Scena sulla "Cancellazione"

L'articolo mette anche in discussione un modo comune di misurare la qualità chiamato "curva di cancellazione".

Il Vecchio Modo: Le persone pensavano che una buona spiegazione dovesse far scendere velocemente la fiducia del robot se si iniziavano a cancellare i pixel evidenziati.
La Nuova Intuizione: Gli autori sostengono che questo sia fuorviante. A volte un'immagine ha molteplici ragioni per una classificazione (ad esempio, una foto di una stella marina potrebbe essere riconosciuta dal braccio sinistro O dal braccio destro). Se cancelli il braccio sinistro, il robot vede ancora il braccio destro e rimane fiducioso.
L'Analogia: Immagina un sistema di sicurezza che si apre se hai una chiave OPPURE un'impronta digitale. Se rimuovi la chiave, il sistema si apre comunque grazie all'impronta digitale. Un punteggio di cancellazione "scarso" non significa che la spiegazione sia sbagliata; significa che il sistema ha trovato molteplici ragioni valide. rex è abbastanza intelligente da trovare tutte queste diverse "chiavi", mentre altri strumenti di solito ne trovano solo una.

Riassunto

L'articolo presenta rex, uno strumento che tratta un classificatore di immagini AI come un mistero da risolvere per eliminazione. Invece di indovinare cosa vede l'IA, copre sistematicamente parti dell'immagine finché non trova la minuscola ed essenziale "impronta digitale" che prova la decisione dell'IA. Il risultato è una spiegazione più piccola, più precisa e più affidabile di qualsiasi altro metodo "black-box" attualmente disponibile.

Sintesi Tecnica: Spiegazioni Causali per Classificatori di Immagini

Problema
Le reti neurali (NN) funzionano come complessi "black box" non lineari, rendendo difficile tracciare come i dati dei pixel vengano interpretati per produrre una classificazione. Questa opacità è particolarmente problematica nei sistemi proprietari (ad esempio, in ambito sanitario) dove gli strati interni sono inaccessibili. Le tecniche esistenti di Explainable AI (XAI) per i classificatori di immagini si basano tipicamente su classifiche di pixel o mappe di calore derivate da gradienti, propagazione o perturbazione. Tuttavia, questi metodi mancano di un approccio fondato su definizioni formali di causa e spiegazione. Inoltre, gli strumenti esistenti spesso producono spiegazioni che sono ampie, contengono informazioni estranee o si affidano a segmentazioni iniziali arbitrarie (ad esempio, LIME) o occlusioni casuali non guidate (ad esempio, RISE). Il documento affronta la necessità di una definizione formale e rigorosa di spiegazione adatta ai classificatori di immagini e di un metodo efficiente per calcolarla senza aprire il "black box" del modello.

Metodologia
Gli autori propongono un nuovo approccio black-box basato sulla teoria della causalità effettiva, adattando specificamente le definizioni di Halpern [2019] alla classificazione delle immagini.

Definizione Formale: Il documento definisce una spiegazione come un sottoinsieme minimo di pixel con i loro valori originali che è sufficiente per ottenere la stessa classificazione dell'immagine originale, a condizione che tutti gli altri pixel siano mascherati (sostituiti con dati provenienti da un dataset predefinito). Il classificatore di immagini è modellato come un modello causale a due livelli dove i pixel di input sono variabili esogene e la classificazione è l'output.
Intrattabilità: Gli autori dimostrano che calcolare la precisa spiegazione minima è intrattabile (esponenziale rispetto al numero di pixel). Di conseguenza, propongono un algoritmo di approssimazione.
L'algoritmo rex: Lo strumento proposto, rex, calcola spiegazioni approssimate attraverso due fasi principali:
- Classifica Causale (Causal Ranking): L'algoritmo suddivide l'immagine in "superpixel" rettilinei (inizialmente 4). Calcola il "grado di responsabilità sufficiente" per ogni superpixel testando combinazioni di regioni mascherate/non mascherate contro il modello. Questo processo è iterativo: i superpixel con alta responsabilità vengono ricorsivamente suddivisi e rivalutati. Per mitigare il bias di una singola partizione, l'algoritmo viene eseguito più volte con partizioni iniziali casuali, mediando i punteggi di responsabilità risultanti per creare una classifica a livello di pixel.
- Estrazione della Spiegazione (Explanation Extraction): Utilizzando la lista classificata di pixel, un algoritmo greedy costruisce la spiegazione. Aggiunge i pixel dalla lista con il rango più alto a un insieme vuoto finché l'output del modello su questo sottoinsieme non corrisponde alla classificazione originale.
Complessità: Gli autori dimostrano che l'algoritmo termina e dimostrano che il numero di chiamate al modello è lineare rispetto alla dimensione dell'immagine ( $O(2^s n N)$ , dove $s$ è la dimensione della partizione, $n$ è il numero di pixel e $N$ è il numero di iterazioni), rendendolo computazionalmente fattibile.

Contributi Chiave

Framework Formale: Il documento stabilisce una definizione formale di spiegazione per i classificatori di immagini basata sulla causalità effettiva, distinguendola dalle misure di importanza euristiche o basate sul gradiente.
Algoritmo e Strumento (rex): Introduce un algoritmo black-box efficiente per calcolare spiegazioni approssimate minime e implementa un tool open-source.
Garanzie Teoriche: Gli autori forniscono prove per la terminazione e la complessità del loro algoritmo, nonché una discussione sul rapporto di approssimazione rispetto alla definizione precisa.
Metriche di Qualità: Il documento valuta criticamente le metriche standard della XAI, sostenendo che mentre le curve di inserimento e la dimensione della spiegazione sono robuste, le curve di eliminazione possono essere fuorvianti (poiché un'alta AUC di eliminazione può derivare da molteplici regioni esplicative distinte piuttosto che da una scarsa qualità).

Risultati Sperimentali
Gli autori hanno valutato rex rispetto a strumenti white-box (es. Grad-CAM, LRP), grey-box (es. Integrated Gradients, GradientSHAP) e black-box (es. LIME, RISE, KernelSHAP) allo stato dell'arte attraverso quattro dataset (ImageNet-1k-mini, VOC2012, ECSSD e un dataset personalizzato "Photobombing") e tre modelli (ResNet50, ViT, ConvNext).

Dimensione della Spiegazione: rex ha prodotto costantemente le spiegazioni più piccole, con una media tra il 3% e il 5% della dimensione dell'immagine. Questo è significativamente più piccolo rispetto agli altri strumenti black-box e spesso supera i metodi white-box come Grad-CAM.
Efficienza: rex è lo strumento black-box più efficiente, con tempi di esecuzione paragonabili ad altri metodi basati sulla perturbazione (circa 4–6 secondi inclusa l'estrazione) e significativamente più veloce di RISE.
Misure di Qualità:
- Curve di Inserimento: rex ha ottenuto l'area sotto la curva (AUC) più elevata per l'inserimento, indicando che i suoi pixel identificati sono altamente efficaci nel ripristinare la fiducia nella classificazione.
- Sovrapposizione di Segmentazione: Sui dataset con segmentazione fornita dall'uomo, le spiegazioni di rex hanno mostrato un'alta sovrapposizione con l'oggetto rilevante e una sovrapposizione minima con lo sfondo irrilevante o le occlusioni.
- Curve di Eliminazione: Gli autori notano che rex ha spesso un'AUC di eliminazione più alta rispetto ai concorrenti. Sostengono che questo non sia un fallimento ma una caratteristica: rex identifica molteplici regioni esplicative distinte (ad esempio, diverse parti di un oggetto), e l'eliminazione dei pixel da una regione non distrugge immediatamente il segnale dalle altre, a differenza degli strumenti che identificano una singola regione diffusa.

Significatività e Rivendicazioni
Il documento afferma che rex rappresenta un progresso significativo nella XAI black-box fornendo spiegazioni che non sono solo computazionalmente efficienti, ma anche teoricamente fondate sulla causalità. Gli autori asseriscono che rex produce le spiegazioni più piccole e precise tra gli strumenti black-box, superando spesso i metodi white-box in termini di dimensione e concentrazione della spiegazione.

Fondamentalmente, il documento sostiene che la piccola dimensione delle spiegazioni di rex (spesso <5% dell'immagine) implica che un'ulteriore riduzione non sia utile, poiché i pixel identificati sono sufficienti per la classificazione. Gli autori sottolineano inoltre che il loro approccio non dipende dalla segmentazione preesistente dell'immagine, rendendolo robusto attraverso diversi dataset e architetture di modelli dove le maschere di segmentazione potrebbero non essere disponibili o accurate. Il lavoro dimostra che i metodi black-box possono raggiungere una qualità di spiegazione paragonabile, o migliore, dei metodi white-box quando guidati da definizioni causali formali.