i-WiViG: Interpretable Window Vision GNN

1. Il Problema

Le reti neurali a grafo per la visione artificiale (Vision GNN o ViG) sono emerse come un approccio potente per modellare il contesto globale e spaziale nelle immagini, superando i limiti delle CNN tradizionali che tendono a catturare preferenzialmente le texture locali piuttosto che la struttura degli oggetti. Tuttavia, le ViG esistenti presentano due difetti fondamentali che ne limitano l'adozione in scenari critici (come il telerilevamento):

1. Mancanza di interpretabilità intrinseca: Le ViG attuali operano come "scatole nere". Non offrono una spiegazione naturale su quali interazioni spaziali abbiano guidato la previsione.
2. Campi ricettivi sovrapposti: I nodi del grafo nelle ViG tradizionali (e persino in varianti come WiGNet) hanno campi ricettivi ampi e sovrapposti. Questo rende difficile comprendere le interazioni tra oggetti distinti e fini nell'immagine, poiché l'informazione si mescola in modo ambiguo.
3. Limitazioni dei metodi di spiegazione esistenti: I metodi di spiegazione post-hoc (applicati dopo l'addestramento) o quelli progettati per grafi naturali (come GSAT) falliscono spesso quando applicati a grafi derivati da immagini, poiché non riescono a filtrare efficacemente i bordi rumorosi e ridondanti tipici delle immagini.

2. Metodologia: i-WiViG

Il paper propone i-WiViG (Interpretable Window Vision GNN), un approccio di ViG intrinsecamente interpretabile che genera spiegazioni sotto forma di sottografi sparsi rilevanti per la previsione. L'architettura si basa su due postulati chiave:

A. Encoder Finestra Non Sovrapposta (Non-overlapping Window Encoder)

Per risolvere il problema della sovrapposizione, i-WiViG vincola il campo ricettivo di ogni nodo del grafo a una finestra locale disgiunta (non sovrapposta) nell'immagine.

• Implementazione: A differenza di WiGNet che usa finestre di dimensione 8 e kernel di downsampling 3x2 (che creano sovrapposizioni), i-WiViG utilizza finestre più piccole (dimensione 4), kernel di dimensione 2 con passo (stride) 2 negli strati iniziali, e kernel 4 con stride 4 negli strati finali.
• Risultato: Ogni nodo del grafo codifica una regione specifica e unica dell'immagine, preservando la coerenza spaziale e permettendo di tracciare chiaramente le interazioni tra oggetti distinti.

B. Collo di Bottiglia del Grafo con Attenzione Sparsa (Graph Bottleneck with Sparse Edge Attention)

Per identificare le interazioni globali rilevanti tra le finestre locali, il modello introduce un collo di bottiglia basato su un meccanismo di attenzione sparsa sui bordi del grafo.

• Meccanismo: Utilizza un meccanismo ispirato a GSAT (Graph Stochastic Attention) ma modifica la funzione di perdita per forzare una distribuzione bimodale e sparsa dei pesi dei bordi.
• Funzione di Perdita: Invece di una distribuzione centrata, la funzione di perdita include un termine di impurità di Gini ($\alpha_i(1-\alpha_i)$) e un termine di regolarizzazione sparsa. Questo forza i pesi dei bordi a convergere verso 0 (bordi irrilevanti) o 1 (bordi critici), eliminando le connessioni ridondanti e rumorose.
• Output: Durante l'inferenza, il modello produce una previsione e un sottografo sparso che evidenzia solo le connessioni spaziali a lungo raggio essenziali per la decisione.

3. Contributi Chiave

1. Meccanismo di ragionamento interpretabile: Un nuovo framework ViG che mappa finestre locali in nodi disgiunti e utilizza un collo di bottiglia con attenzione sparsa per identificare automaticamente il sottografo rilevante.
2. Superiorità nelle spiegazioni: Dimostrazione qualitativa e quantitativa che i sottografi generati sono più intuitivi e fedeli (faithful) rispetto ai metodi post-hoc (come GNNExplainer) e ad altri metodi intrinseci (come GSAT).
3. Prestazioni competitive: Il modello mantiene prestazioni predittive alla pari con le controparti "black-box" (ViG e CNN), anche su dataset con forte bias di texture, senza sacrificare l'accuratezza per ottenere l'interpretabilità.

4. Risultati Sperimentali

Il modello è stato valutato su compiti di classificazione di scene (SUN397, RESISC45) e regressione (Liveability dataset) utilizzando immagini naturali e di telerilevamento.

• Prestazioni Predittive:
  • SUN397: Accuratezza del 58% (comparabile con le baselines CNN/ViG che variano dal 59% al 62%).
  • RESISC45: Accuratezza del 92% (competitiva con le migliori ViG e CNN).
  • Liveability: Miglioramento del punteggio $R^2$ di circa 0.1 rispetto alle baselines CNN, dimostrando una migliore precisione nella previsione fine-grained.
• Valutazione Quantitativa delle Spiegazioni:
  • Utilizzando le metriche di Insertion e Deletion (AUC), i-WiViG ha mostrato un divario significativamente maggiore tra l'aggiunta e la rimozione dei bordi rispetto ai metodi di confronto.
  • Su RESISC45, il divario AUC è stato di 0.45 per i-WiViG contro 0.24 per GNNExplainer, indicando che le spiegazioni sono molto più fedeli al funzionamento reale del modello.
• Analisi Qualitativa:
  • Le spiegazioni visive mostrano che i-WiViG identifica correttamente interazioni semantiche a lungo raggio (es. collegamenti tra ali e coda di un aereo, o tra case e vegetazione per la vivibilità), mentre i metodi concorrenti tendono a produrre sottografi rumorosi o focalizzati su pattern locali spurii.
• Impatto della Disgiunzione: L'analisi ha dimostrato che l'uso di finestre non sovrapposte è cruciale: modelli con finestre sovrapposte (anche se ridotte) producono spiegazioni più difficili da interpretare a causa di loop e ambiguità spaziali.

5. Significato e Impatto

Il lavoro di i-WiViG è significativo perché risolve il compromesso tra performance e interpretabilità nel dominio delle reti neurali su grafo per la visione.

• Affidabilità: Fornisce spiegazioni "fedeli" (faithful), ovvero che riflettono realmente il processo decisionale del modello, a differenza dei metodi post-hoc che possono essere ingannevoli.
• Applicabilità: È particolarmente utile in settori critici come il telerilevamento e la rilevazione di anomalie, dove comprendere perché un modello ha fatto una certa classificazione (es. rilevare un cambiamento di uso del suolo o un disastro naturale) è tanto importante quanto la classificazione stessa.
• Innovazione Architetturale: Dimostra che vincolare l'architettura (finestre disgiunte + attenzione sparsa) è più efficace per l'interpretabilità rispetto all'applicazione di tecniche di spiegazione esterne a modelli complessi.

In sintesi, i-WiViG rappresenta un passo avanti verso l'IA spiegabile (XAI) nella visione artificiale, offrendo un modello che non solo "vede" bene, ma che può anche "spiegare" in modo intuitivo e semanticamente corretto le relazioni spaziali che ha utilizzato per prendere una decisione.