Towards interpretable AI with quantum annealing feature selection

1. Enunciato del Problema

I modelli di Deep Learning (DL), in particolare le Reti Neurali Convoluzionali (CNN), sono ampiamente utilizzati in applicazioni critiche ma spesso funzionano come "scatole nere". Sebbene esistano tecniche di Intelligenza Artificiale Spiegabile (XAI) come Grad-CAM e Grad-CAM++ per visualizzare quali regioni dell'immagine influenzano le previsioni, esse soffrono di limitazioni significative:

• Aggregazione: Combinano i contributi di tutte le mappe di caratteristiche (FM) in un'unica mappa di salienza, fallendo nel disaccoppiare i ruoli specifici delle singole FM.
• Ridondanza: Non filtrano le rappresentazioni ridondanti o correlate, rendendo difficile comprendere i specifici pattern appresi che guidano una decisione.
• Complessità Combinatoria: La selezione del sottoinsieme ottimale di FM per spiegare una previsione è un problema di ottimizzazione combinatoria che scala esponenzialmente ($2^N$) con il numero di caratteristiche, rendendolo computazionalmente intrattabile per una ricerca esaustiva classica.

Gli autori propongono che la Selezione delle Caratteristiche (FS) applicata alle rappresentazioni interne apprese (piuttosto che ai pixel di input grezzi) sia uno strumento potente ma sottoutilizzato per la XAI. Tuttavia, risolvere efficientemente questo problema di FS richiede un nuovo approccio.

2. Metodologia

Il paper propone un approccio innovativo basato sull'Annealing Quantistico (QA) per selezionare le mappe di caratteristiche più rilevanti e non ridondanti per una data previsione di un'immagine.

A. Filtraggio delle Mappe di Caratteristiche

1. Analisi del Gradiente: Gli autori calcolano il pooling medio globale dei gradienti rispetto alle mappe di caratteristiche dell'ultimo strato convoluzionale ($f^{(a)}_{ij}$).
   $$\alpha_a = \frac{1}{H_f W_f} \sum_{i,j} \frac{\partial z}{\partial f^{(a)}_{ij}}$$
   dove $\alpha_a$ rappresenta l'importanza della mappa di caratteristiche $a$.
2. Selezione Positiva: Vengono mantenute solo le mappe di caratteristiche con un contributo di gradiente positivo ($\alpha_a > 0$), poiché queste confermano la classe prevista. Ciò crea un insieme filtrato $\{\tilde{f}\}$.

B. Formulazione QUBO

Il problema di selezione è codificato in un problema di Ottimizzazione Binaria Quadratica Senza Vincoli (QUBO) (o equivalentemente, un modello di Ising).

• Variabili: Variabili binarie (qubit) rappresentano l'inclusione ($1$) o l'esclusione ($0$) di ciascuna mappa di caratteristiche filtrata.
• Funzione Obiettivo (Hamiltoniana): L'obiettivo è massimizzare l'importanza delle mappe selezionate minimizzando al contempo la ridondanza (somiglianza geometrica).
  $$\hat{H}_{QUBO} = (1 - \beta) \frac{1}{2} \sum_{p,q} J_{pq} \hat{n}_p \hat{n}_q + \beta \sum_{p} h_p \hat{n}_p$$
  • Termine Lineare ($h_p$): Rappresenta l'importanza normalizzata della mappa di caratteristiche $p$ (derivata da $\alpha_p$).
  • Termine Quadratico ($J_{pq}$): Rappresenta la similarità del coseno assoluta tra le mappe di caratteristiche $p$ e $q$. Un'alta similarità implica ridondanza; il termine penalizza la selezione di entrambe.
  • Iperparametro ($\beta$): Controlla il compromesso tra la selezione di caratteristiche ad alta importanza e la minimizzazione della ridondanza.

C. Protocollo di Annealing Quantistico

• Inizializzazione: Il sistema inizia in una sovrapposizione di tutti i possibili sottoinsiemi di caratteristiche (stato fondamentale di un Hamiltoniano driver $\hat{H}_D = -\sum \hat{\sigma}_x$).
• Evoluzione: Il sistema evolve tramite un Hamiltoniano dipendente dal tempo $\hat{H}(s) = A(s)\hat{H}_D + B(s)\hat{H}_{QUBO}$, dove $s$ va da 0 a 1.
• Campionamento: Lo stato finale viene campionato per ottenere una stringa di bit che rappresenta il sottoinsieme ottimale di mappe di caratteristiche. Questo sottoinsieme costituisce la "mappa di spiegazione".

3. Contributi Chiave

1. Nuovo Framework XAI: La prima applicazione dell'Annealing Quantistico specificamente per la selezione di mappe di caratteristiche interne (rappresentazioni latenti) delle CNN, piuttosto che dei pixel di input.
2. Disaccoppiamento: A differenza di Grad-CAM che aggrega tutte le mappe, questo metodo isola un sottoinsieme sparso e non ridondante di FM, fornendo una visione più chiara dei specifici pattern utilizzati dal modello.
3. Analisi Guidata dalla Fisica: Gli autori analizzano il comportamento computazionale dell'algoritmo utilizzando metriche di fisica quantistica, come il minimo gap energetico ($\Delta_{min}$) e la fedeltà, per spiegare perché il metodo funziona e i suoi limiti di scalabilità.
4. Approccio Ibrido: Il lavoro dimostra come i concetti NISQ (Noisy Intermediate-Scale Quantum) possano essere simulati per risolvere problemi di FS ad alta dimensionalità che sono difficili per le euristiche classiche.

4. Risultati

Il metodo è stato valutato sul dataset STL-10 utilizzando un'architettura ResNet-18.

• Disaccoppiamento delle Classi:
  • Gli autori hanno generato mappe di correlazione classe-classe utilizzando il coefficiente di Bhattacharyya.
  • Il metodo basato su QA (con $N_f=16$) ha mostrato un disaccoppiamento significativamente migliore (matrice più diagonale) rispetto al modello ResNet-18 completo, indicando che le FM selezionate sono più specifiche per le singole classi.
• Prestazioni Quantitative (Average Drop %):
  • Metrica: L'"Average Drop %" misura quanto scende la confidenza del modello quando i pixel non presenti nella mappa di spiegazione vengono mascherati. Una diminuzione minore indica una spiegazione migliore (la mappa contiene le informazioni critiche).
  • Risultati: Il metodo QA-fGradCAM ha ottenuto una percentuale di Average Drop inferiore (prestazioni migliori) rispetto sia a Grad-CAM che a Grad-CAM++ nella maggior parte delle classi quando si utilizza un set di caratteristiche ridotto ($N_f=16$).
  • Nota sulla Scalabilità: Quando si scala al ResNet-18 completo ($N_f=512$) utilizzando l'Annealing Simulato (SA), le prestazioni si sono degradate. Gli autori attribuiscono ciò alla difficoltà di trovare il minimo globale in istanze QUBO più grandi e alla soppressione aggressiva delle caratteristiche da parte del termine di ridondanza senza un'attenta regolazione di $\beta$.
• Analisi Fisica:
  • Gap Energetico: Il minimo gap energetico ($\Delta_{min}$) è risultato relativamente ampio (circa $10^{-1}$), suggerendo che il paesaggio del problema non è l'istanza "più difficile" del modello di Sherrington-Kirkpatrick ed è trattabile.
  • Fedeltà: Per tempi di annealing $\tau > 50$, l'algoritmo ha raggiunto un'alta fedeltà (convergenza allo stato fondamentale), confermando la robustezza del protocollo.

5. Significato e Conclusione

• Interpretabilità: Il metodo migliora la trasparenza dei modelli DL identificando i filtri specifici e non ridondanti responsabili di una decisione, andando oltre le mappe di calore grezze.
• Potenziale Vantaggio Quantistico: Sebbene l'hardware attuale sia limitato, lo studio dimostra che formulare la XAI come un problema QUBO permette di esplorare efficientemente spazi di soluzione esponenzialmente grandi. Suggerisce che il futuro hardware quantistico potrebbe risolvere questi problemi di interpretabilità più velocemente e accuratamente delle euristiche classiche.
• Direzioni Future: Gli autori suggeriscono che la regolazione dell'iperparametro $\beta$ e potenzialmente l'aggiunta di vincoli di cardinalità potrebbero migliorare ulteriormente i risultati. Il framework è agnostico e potrebbe essere applicato ad altre architetture (ad esempio, Vision Transformers) o modelli generativi.

In sintesi, questo paper colma il divario tra Computazione Quantistica e Intelligenza Artificiale Spiegabile, dimostrando che l'annealing quantistico può risolvere efficacemente il problema combinatorio della selezione delle caratteristiche nelle reti profonde, portando a spiegazioni del modello più distinte, affidabili e interpretabili.