Using the Path of Least Resistance to Explain Deep Networks

Questo paper propone Geodesic Integrated Gradients (GIG), un metodo di attribuzione che sostituisce i percorsi rettilinei degli Integrated Gradients con geodetiche calcolate su una metrica Riemanniana indotta dal modello, dimostrando teoricamente e empiricamente che tale approccio garantisce attribuzioni più fedeli e soddisfa il nuovo assioma di Completezza senza Cancellazione.

L'essenziale

🚗 Il Problema: La strada dritta non è sempre la migliore

Immagina di dover spiegare a un amico perché un'auto a guida autonoma ha deciso di frenare bruscamente. L'auto ha "visto" un pedone e ha reagito.

Finora, il metodo più comune per capire questa decisione (chiamato Integrated Gradients) funzionava così:

1. Si immagina una strada dritta e perfetta che collega il "nulla" (un'immagine nera) alla situazione reale (l'immagine con il pedone).
2. Si cammina lungo questa linea retta, passo dopo passo, chiedendo all'auto: "Ehi, quanto è importante questo pixel per la tua decisione?".
3. Si sommano tutte le risposte.

Il problema? La realtà non è fatta di linee rette.
Immagina di dover andare da casa tua al lavoro. La strada più breve sulla mappa (la linea retta) potrebbe attraversare un cantiere, un fiume in piena o un vicolo cieco. Se segui la linea retta, ti perdi o ti blocchi. Allo stesso modo, quando un'IA guarda un'immagine, ci sono zone "pericolose" (dove il modello è molto confuso o cambia idea rapidamente) e zone "piatte" (dove è sicuro al 100%).

Se segui la linea retta (come fa il metodo vecchio), potresti attraversare zone dove l'IA è confusa e attribuire importanza a cose che non contano (come un'ombra o un artefatto nero), ignorando invece l'oggetto vero (il pedone). È come se, spiegando perché hai comprato un'auto, dicessi: "Ho comprato l'auto perché mi piace il colore del sedile", ignorando il fatto che il motore è rotto.

🧭 La Soluzione: La "Strada di Minima Resistenza" (Geodesic IG)

Gli autori di questo paper, Sina Salek e Joseph Enguehard, dicono: "Non camminiamo in linea retta. Camminiamo seguendo il terreno!".

Hanno creato un nuovo metodo chiamato Geodesic Integrated Gradients (GIG). Ecco come funziona con un'analogia:

Immagina che lo spazio delle immagini sia un terreno montuoso:

• Le valli sono le zone dove l'IA è sicura (es. "Sì, è un gatto").
• Le montagne ripide sono le zone di confine dove l'IA è incerta (es. "È un gatto o un cane?").

Il vecchio metodo (linea retta) cerca di tagliare dritto attraverso le montagne più ripide. Questo crea errori perché l'IA "urla" forte in quelle zone, ingannando il sistema di spiegazione.

Il nuovo metodo (GIG) invece chiede: "Qual è il sentiero più facile per arrivare dalla valle del 'nulla' alla valle del 'gatto'?".
Questo sentiero si chiama geodetica. È il percorso che evita le montagne ripide (le zone di alta confusione) e scorre dolcemente attraverso le valli.

L'analogia dell'escursionista:

• Metodo Vecchio (IG): Un escursionista che vuole andare da A a B e cammina in linea retta, anche se deve scalare una parete di roccia verticale. Si stanca, scivola e dice: "La roccia è la cosa più importante del viaggio!".
• Metodo Nuovo (GIG): Un escursionista esperto che cerca il sentiero di montagna. Evita le pareti ripide, segue le curve naturali del terreno e arriva a destinazione senza svenire. La sua spiegazione è: "Ho visto il sentiero, ho evitato la roccia, ed è per questo che sono arrivato".

🛡️ La Nuova Regola: "Niente Sottrazioni Magiche"

Gli autori hanno anche introdotto una nuova regola logica, chiamata NCC (No-Cancellation Completeness).

Immagina un bilancio bancario:

• Regola Vecchia: "La somma totale deve essere corretta". Se hai guadagnato 100€ ma ne hai persi 100€ in una transazione segreta, il totale è 0. È corretto matematicamente, ma è ingannevole!
• Regola Nuova (NCC): "Non puoi nascondere i guadagni con le perdite". Se hai guadagnato 100€, devi mostrarli tutti. Non puoi dire "Ho guadagnato 1000€ ma ho perso 900€, quindi il risultato è 100".

Nel contesto dell'IA, questo significa: se un pixel è importante, deve essere segnato come importante. Non può essere "cancellato" da un altro pixel che dice il contrario solo per far tornare i conti. Il metodo GIG rispetta questa regola, garantendo che le spiegazioni siano oneste e non nascondano errori.

📊 I Risultati: Funziona davvero?

Gli autori hanno fatto due esperimenti:

1. Un gioco semplice (Mezzelune): Hanno creato un modello che deve distinguere due forme a mezzaluna. Il vecchio metodo si confondeva e diceva che la forma era importante solo se la linea retta passava per un punto specifico. Il nuovo metodo ha capito subito che tutti i punti della mezzaluna sono importanti, indipendentemente da dove inizi a guardare.
2. Foto reali (Pascal VOC): Hanno usato un'IA per riconoscere animali in foto (come un gatto o un cane).
   • Il vecchio metodo (IG) a volte diceva: "Il gatto è importante perché c'è un'ombra nera sullo sfondo".
   • Il nuovo metodo (GIG) diceva: "Il gatto è importante perché le sue orecchie e la sua coda sono chiare".

Risultato: Il nuovo metodo è molto più preciso nel dire davvero cosa sta guardando l'IA, anche se richiede un po' più di tempo di calcolo (come se l'escursionista impiegasse più tempo a trovare il sentiero giusto, ma arrivasse sano e salvo).

💡 In Sintesi

Questo paper ci insegna che per capire le "ragioni" di un'intelligenza artificiale, non dobbiamo seguire percorsi rigidi e dritti. Dobbiamo seguire il terreno naturale del modello, evitando le zone di confusione e seguendo la strada più fluida.

È come passare da una mappa con una linea retta tracciata con il righello a una mappa con un sentiero tracciato da un escursionista esperto: la seconda ti dice la verità su come si è davvero arrivati a destinazione.

Sommario tecnico

Titolo: Usare il Percorso di Minima Resistenza per Spiegare le Reti Neurali Profonde

Autori: Sina Salek (Geodesic Labs) e Joseph Enguehard (Microsoft)

---

1. Il Problema

Le reti neurali profonde sono spesso considerate "scatole nere". Per renderle interpretabili, sono stati sviluppati metodi di attribuzione basati su percorsi, tra cui Integrated Gradients (IG), che è lo standard de facto. IG assegna punteggi di importanza alle caratteristiche di input integrando i gradienti del modello lungo una linea retta (percorsa in modo lineare) che collega un punto di riferimento (baseline, es. un'immagine nera) all'input originale.

Il paper identifica una limitazione fondamentale di questo approccio:

• Percorsi errati: In spazi ad alta dimensionalità o con landscape dei gradienti complessi, i percorsi rettilinei nello spazio euclideo possono attraversare regioni con gradienti artificialmente alti o aree non significative per il modello.
• Attribuzioni difettose: Questo porta a "artefatti" dove il metodo attribuisce importanza a caratteristiche irrilevanti o ignora quelle cruciali. Un esempio classico mostrato nel paper è quello di un modello che classifica "mezze lune": un percorso rettilineo può attraversare regioni a gradiente elevato non necessarie, distorcendo l'importanza delle feature rispetto al comportamento reale del modello.
• Cancellazione delle feature: L'assioma di "Completezza" (Completamento) standard di IG garantisce solo che la somma algebrica delle attribuzioni sia uguale alla differenza di output ($f(x) - f(x')$). Tuttavia, ciò permette che attribuzioni positive e negative si annullino a vicenda (cancellazione), nascondendo l'importanza reale delle singole feature.

2. Metodologia: Geodesic Integrated Gradients (GIG)

Gli autori propongono Geodesic Integrated Gradients (GIG), una generalizzazione di IG che sostituisce i percorsi rettilinei con geodetiche su una varietà Riemanniana definita dal modello stesso.

Concetti Chiave:

• Metrica Riemanniana Indotta dal Modello: Invece dello spazio euclideo piatto, lo spazio di input è equipaggiato con una metrica tensoriale $G_x = J_x^T J_x$, dove $J_x$ è lo Jacobiano del modello. Questa metrica definisce la "resistenza" locale: le regioni con gradienti alti hanno un "costo" maggiore da attraversare.
• Percorso di Minima Resistenza: Una geodetica è il percorso che minimizza la lunghezza (o il costo) tra due punti sulla varietà. In questo contesto, il percorso di geodetica evita le regioni ad alto gradiente (dove il modello è sensibile ma non necessario per la decisione) e si concentra sulle regioni dove il modello cambia effettivamente stato, seguendo il "percorso di minima resistenza".
• Integrazione: L'attribuzione viene calcolata integrando i gradienti lungo questa geodetica invece che lungo una linea retta.

Algoritmi di Approssimazione:

Poiché calcolare la geodetica esatta è computazionalmente proibitivo, il paper introduce due metodi di approssimazione:

1. k-Nearest Neighbours (kNN): Adatto per input a bassa dimensionalità (es. dati sintetici o tabelle). Si costruisce un grafo pesato sui punti campionati tra baseline e input, dove i pesi degli archi sono approssimati dalla lunghezza della geodetica locale. Si trova il percorso più breve usando algoritmi come Dijkstra.
2. Stochastic Variational Inference (SVI): Adatto per input ad alta dimensionalità (es. immagini). Si ottimizza un percorso continuo parametrico minimizzando una funzione di energia che bilancia la vicinanza alla linea retta e la penalità per attraversare regioni ad alto gradiente (curvatura).

3. Contributi Chiave

A. Nuovo Assioma: No-Cancellation Completeness (NCC)

Gli autori introducono un assioma più forte della semplice Completezza:

• Definizione: La somma dei valori assoluti delle attribuzioni deve essere uguale al valore assoluto della differenza di output: $\sum |A_i(x)| = |f(x) - f(x')|$.
• Significato: Questo assioma impedisce la cancellazione tra feature. Se una feature ha un contributo positivo e un'altra negativo che si annullano, l'NCC verrebbe violata.
• Teorema 1: Viene dimostrato che, sotto la metrica indotta dal modello, l'NCC vale se e solo se il percorso di integrazione è una geodetica. Questo fornisce una giustificazione teorica solida per l'uso delle geodetiche.

B. Proprietà Axiomatiche

GIG soddisfa tutti gli assiomi originali di Integrated Gradients (Completezza, Sensibilità, Invarianza dell'Implementazione) e, grazie all'uso della geodetica, soddispa anche l'NCC e la Simmetria per le funzioni specifiche del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici e reali:

• Dataset Half-Moons (Sintetico):

  • Su un problema di classificazione a due lune, IG standard produce attribuzioni errate che dipendono fortemente dalla scelta della baseline e mostrano variazioni ingiustificate di importanza.
  • GIG (kNN) supera tutti gli altri metodi (inclusi IG, GradientShap, KernelShap, Occlusion) in termini di "Purezza" (Purity), dimostrando che le feature ad alta attribuzione corrispondono effettivamente alle regioni decisionali corrette del modello.

• Pascal VOC 2012 (Reale - Immagini):

  • Utilizzando un modello ConvNext, GIG (tramite SVI) è stato confrontato con IG, Guided IG, KernelShap, ecc.
  • Metriche di Fedeltà (Faithfulness):
    • Comprehensiveness: Misura quanto cala la probabilità della classe target quando le feature più importanti vengono mascherate. GIG ottiene un punteggio significativamente più alto (0.27 vs 0.21 per IG).
    • Log-Odds: Misura la rimozione delle evidenze. GIG mostra una rimozione più forte (AOC-Log-odds 1.44 vs 1.25).
  • Qualità Visiva: Le visualizzazioni mostrano che GIG evita gli artefatti tipici di IG (es. attribuire importanza a sfondi neri o regioni non rilevanti) e si concentra correttamente sugli oggetti di interesse.

• Costo Computazionale:

  • GIG è più costoso di IG (circa 840 volte più lento per immagine con SVI), rendendolo attualmente adatto per scenari dove la qualità dell'interpretazione è prioritaria rispetto alla velocità (es. audit, debug, sicurezza), ma non per l'uso in tempo reale.

5. Significato e Conclusioni

Il lavoro di Salek e Enguehard rappresenta un avanzamento teorico e pratico nella spiegabilità delle AI:

1. Cambiamento di Paradigma: Sposta l'attenzione dalla geometria euclidea (linee rette) alla geometria Riemanniana indotta dal modello, riconoscendo che la "distanza" tra input e baseline non è uniforme ma dipende dalla sensibilità del modello.
2. Risoluzione Teorica: Dimostra che l'uso di percorsi geodetici non è solo un'euristica, ma una necessità matematica per soddisfare l'assioma di No-Cancellation Completeness, eliminando le distorsioni causate dalla cancellazione di feature.
3. Robustezza: Le attribuzioni ottenute sono più fedeli al comportamento reale del modello, evitando artefatti che potrebbero portare a conclusioni errate su come il modello prende le decisioni.

In sintesi, Geodesic Integrated Gradients offre un metodo di attribuzione più affidabile e teoricamente fondato, che corregge le carenze strutturali dei metodi basati su percorsi rettilinei, pur introducendo una sfida computazionale che richiede ulteriori ottimizzazioni per la scalabilità.