Counterfactual Explanations on Robust Perceptual Geodesics

Il paper introduce le Perceptual Counterfactual Geodesics (PCG), un metodo che genera spiegazioni controfattuali tracciando geodetiche su una varietà Riemanniana percepita, garantendo così transizioni semanticamente valide e robuste che superano le limitazioni delle metriche di distanza tradizionali.

L'essenziale

Immagina di avere un'intelligenza artificiale che guarda una foto e dice: "Questo è un gatto". Tu vuoi sapere: "Cosa dovrei cambiare in questa foto perché l'AI pensi che sia un cane?".

La risposta a questa domanda si chiama spiegazione controfattuale. È come dire: "Se avessi fatto X invece di Y, il risultato sarebbe stato Z".

Il problema è che le vecchie tecniche per trovare queste risposte spesso falliscono in modo spettacolare. Ecco come funziona il nuovo metodo proposto in questo paper, chiamato PCG (Geodetiche Controfattuali Percettive), spiegato con parole semplici e metafore.

1. Il Problema: La "Bussola Rotta"

Immagina di dover camminare da un punto A (la foto del gatto) a un punto B (la foto del cane) su una mappa.

• I metodi vecchi usavano una mappa piatta e semplice (come un foglio di carta). Se provavi a tracciare una linea retta su quel foglio, spesso finivi in mezzo all'oceano o su un vulcano attivo. Nel mondo delle immagini, questo significa che l'AI ti diceva: "Cambia i pixel in modo che sembri un cane", ma il risultato era una macchia di colori assurda, un mostro digitale o un'immagine che non assomigliava a nulla di reale.
• Il problema vero: Le vecchie mappe non tenevano conto della "forma" del terreno. Nel mondo delle immagini, le foto reali non sono sparse a caso; sono tutte su una "collina" invisibile chiamata varietà (manifold). Se ti muovi fuori da questa collina, crei mostri. Se ti muovi sulla collina ma in modo sbagliato, crei mostri che sembrano reali ma sono ingannevoli (adversarial examples).

2. La Soluzione: PCG e la "Bussola Robusta"

Gli autori hanno creato un nuovo modo per camminare su questa mappa. Immagina di avere un esploratore esperto (un modello di visione artificiale "robusto") che conosce perfettamente il terreno.

Ecco i tre passaggi magici del loro metodo:

A. Costruire la Mappa Giusta (La Geometria Robusta)

Invece di usare una mappa basata sui pixel (che è come contare i mattoni di un muro), usano una mappa basata sul significato.

• Metafora: Immagina di dover spostare un tavolo. Un metodo vecchio ti dice: "Sposta ogni gamba di 2 centimetri a destra". Se il tavolo è su una scala, crolla. Il metodo PCG ti dice: "Sposta il tavolo lungo la rampa, seguendo la pendenza naturale".
• Usano un "modello robusto" (addestrato per non farsi ingannare da trucchi visivi) per creare una mappa che rispetta come gli umani vedono le cose. Questa mappa è come un sentiero di montagna ben battuto: se ci cammini sopra, non puoi cadere in un burrone.

B. Camminare lungo il Sentiero (Le Geodetiche)

Invece di saltare direttamente dal punto A al punto B, PCG traccia un sentiero continuo (una geodetica).

• Metafora: Non fai un teletrasporto istantaneo da gatto a cane. Invece, crei una serie di foto intermedie: un gatto che diventa leggermente più muscoloso, poi con la coda più lunga, poi con le orecchie più appuntite, fino a diventare un cane.
• Ogni passo di questo sentiero è controllato dalla "bussola robusta". Questo assicura che non ci siano salti strani o mostri digitali. Il cambiamento è fluido e naturale, come un video time-lapse.

C. Due Fasi di Ottimizzazione

Il metodo funziona in due atti, come un regista che prepara una scena:

1. Fase 1 (Il Sentiero): Disegna il percorso più liscio possibile tra il gatto e un cane qualsiasi, assicurandosi che il sentiero rimanga sempre sul terreno sicuro (sulla collina delle immagini reali).
2. Fase 2 (L'Arrivo): Ora sposta l'arrivo del sentiero più vicino al gatto originale, ma solo fino a quando l'AI non lo riconosce come cane. Se il sentiero inizia a scivolare verso un mostro, la "bussola robusta" lo rimette in carreggiata.

3. Perché è meglio degli altri?

Facciamo un esempio pratico con le auto.

• Metodi vecchi (come REVISE o VSGD): Ti chiedono di trasformare una Fiat Panda in una Ferrari. Loro dicono: "Cambia i pixel". Risultato? Ti danno una Panda con le ruote di una Ferrari attaccate male, o una Ferrari che sembra fatta di gelatina. Sono "mostri" che esistono solo nel computer, non nel mondo reale.
• Metodo PCG: Ti dà una Panda che, passo dopo passo, diventa una Ferrari. Le linee si allungano, i colori cambiano, le ruote si perfezionano. Alla fine hai una Ferrari che sembra uscita dal concessionario, ed è molto simile alla Panda di partenza.

In Sintesi

Il paper dice: "Smettetela di usare le vecchie mappe piatte che vi fanno cadere nei burroni. Usate una mappa 3D intelligente, costruita da un esperto che sa cos'è reale, e camminate lungo il sentiero più sicuro."

I risultati:

• Le immagini generate sembrano vere (nessun mostro digitale).
• Il cambiamento è minimo e logico (non devi stravolgere tutto per cambiare idea all'AI).
• Funziona anche quando le vecchie tecniche falliscono, rivelando che spesso quelle tecniche stavano creando "truffe" visive invece di vere spiegazioni.

In parole povere: PCG è come avere un guida turistica esperta che ti porta da un'idea all'altra senza farti inciampare, assicurandosi che ogni passo sia naturale e comprensibile.

Sommario tecnico

1. Il Problema: Ambiguità tra Spiegazioni Controfattuali e Attacchi Avversari

Il paper affronta una sfida fondamentale nell'interpretabilità dei modelli di deep learning: la distinzione tra Spiegazioni Controfattuali (CE) e Esempi Avversari (AE).

• Definizione: Una CE è una perturbazione minima dell'input che cambia la previsione del modello in modo semanticamente significativo (es. "cosa deve cambiare in questa foto di un gatto per sembrare un cane?"). Un AE è una perturbazione progettata per ingannare il modello, spesso impercettibile all'occhio umano ma semanticamente priva di senso.
• Il Dilemma: Entrambi derivano dallo stesso problema di ottimizzazione (minimizzare la distanza dall'input originale soggetta a un vincolo di classificazione). La distinzione dipende criticamente dalla metrica di distanza scelta.
• Fallimenti delle Metodologie Esistenti:
  • Le metriche piatte (Euclidee) o quelle basate su modelli non robusti portano a perturbazioni che si discostano dalla varietà dei dati (off-manifold), creando artefatti visivi o immagini irrealistiche.
  • Anche le metriche geometriche avanzate (come quelle Riemanniane basate su classificatori standard) falliscono perché ereditano le vulnerabilità avversarie dei modelli non robusti, portando a soluzioni che rimangono sulla varietà dei dati (on-manifold) ma sono semanticamente fragili o comunque avversarie.
  • I metodi attuali spesso ignorano la curvatura globale della varietà dei dati, operando solo localmente e convergendo verso regioni avversarie.

2. Metodologia: Perceptual Counterfactual Geodesics (PCG)

Gli autori introducono PCG, un metodo che genera controfattuali tracciando geodetiche su una varietà Riemanniana latente, equipaggiata con una metrica perceptualmente robusta.

A. Metrica Ambientale Robusta

Invece di utilizzare la distanza euclidea nei pixel o le feature di un classificatore standard, PCG costruisce una metrica basata su modelli di visione robusti (adversarially trained).

• Idea Chiave: I modelli robusti apprendono rappresentazioni allineate alla percezione umana e resistenti alle perturbazioni avversarie.
• Costruzione: Viene definita una metrica composita $G_R(x)$ aggregando i pullback (ri-trazioni) delle metriche euclidee dagli spazi delle feature di più livelli intermedi di un modello robusto pre-addestrato (es. ResNet-50 robusto).
  $$G_R(x) = \sum_{k=1}^{K} w_k J_{h_k}(x)^\top J_{h_k}(x)$$
  dove $J_{h_k}$ è il Jacobiano dello strato $k$ del modello robusto. Questo penalizza le direzioni "fragili" e favorisce variazioni semanticamente coerenti.

B. Geometria Latente e Pullback

La metrica robusta viene "trascinata" (pullback) nello spazio latente $Z$ di un generatore (es. StyleGAN2/3) tramite la funzione generativa $g$. Questo definisce una metrica Riemanniana nello spazio latente $G_Z(z)$ che riflette la geometria intrinseca e robusta dei dati reali, non la distorsione euclidea dello spazio latente grezzo.

C. Ottimizzazione a Due Fasi

Il processo di generazione di un controfattuale è formulato come la ricerca di una traiettoria latente $\gamma(t)$ che minimizza l'energia percettiva robusta, mantenendo la validità della classificazione.

1. Fase 1 (Geodetica Robusta): Si fissa l'input originale $z_0$ e un campione target arbitrario $z_T$. Si minimizza l'energia della traiettoria (lunghezza geodetica) tra i due punti, ottenendo un percorso liscio e coerente semanticamente che rispetta la geometria robusta.
2. Fase 2 (Raffinamento Controfattuale): Si rilascia il punto finale $z_T$ e si ottimizza congiuntamente l'energia della geodetica e la perdita di classificazione.
   • Viene utilizzato uno schema di re-anchoring: periodicamente, il punto finale viene spostato al punto più vicino all'input lungo il percorso che soddisfa già la classe target. Questo assicura che il controfattuale finale sia il più vicino possibile all'originale, rimanendo sulla geodetica robusta.

3. Contributi Chiave

1. Generazione di Controfattuali: Introduzione di PCG, che utilizza una metrica Riemanniana robusta nello spazio latente di generatori StyleGAN. Questo garantisce che le evoluzioni semantiche attraversino regioni robuste, evitando sia le regioni off-manifold che quelle on-manifold avversarie.
2. Interpolazione Geodetica Percettiva: Dimostrazione che la geometria latente robusta permette interpolazioni lisce e semanticamente valide tra campioni. Le traiettorie allineate a questa metrica preservano la coerenza di classe e la struttura percettiva, a differenza delle metriche standard che collassano in transizioni ambigue.
3. Ridefinizione del Confine Semantico: Il lavoro sfida l'idea che le metriche di distanza non possano distinguere CE da AE. Dimostra che, se la varietà dei dati è dotata di una metrica Riemanniana semanticamente robusta, l'ottimizzazione globale può attraversare il "divario semantico" producendo spiegazioni valide.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset di immagini ad alta dimensionalità: AFHQ (animali), FFHQ (volti umani) e PlantVillage (foglie).

• Confronto con Baseline: PCG è stato confrontato con REVISE, VSGD, RSGD e RSGD-C.

  • Qualitativamente: Le baseline producono spesso artefatti off-manifold (es. distorsioni, ambiguità di classe) o esempi on-manifold avversari (cambiamenti di pose o strutture innaturali). PCG produce cambiamenti minimi, fedeli semanticamente e lisci.
  • Quantitativamente:
    • PCG ottiene i valori più bassi (migliori) nelle metriche di distanza percettiva robusta (R-LPIPS e LR), indicando che i cambiamenti sono minimi e allineati alla percezione umana robusta.
    • Le metriche di realismo (R-FID) mostrano che i controfattuali di PCG sono più vicini alla distribuzione reale dei dati target rispetto alle baseline.
    • Il Semantic Margin (SM) e il Manifold Alignment Score (MAS) confermano che PCG si muove in regioni dello spazio delle feature genuinamente associate alla classe target, mentre le altre metodologie spesso restano in zone miste o non target.

• Scalabilità: PCG è computazionalmente efficiente rispetto ai metodi Riemanniani che richiedono l'inversione della metrica (come RSGD), grazie all'ottimizzazione diretta dell'energia senza risoluzione di sistemi lineari complessi ad ogni passo.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Risolve l'ambiguità CE/AE: Fornisce un framework teorico e pratico per distinguere spiegazioni valide da esempi avversari attraverso la geometria, non solo attraverso la definizione di "mondi possibili".
• Integrazione di Robustezza e Interpretazione: Dimostra che l'uso di modelli robusti non serve solo a migliorare la sicurezza del modello, ma è essenziale per generare spiegazioni affidabili. Le gradienti allineati alla percezione dei modelli robusti guidano l'ottimizzazione verso cambiamenti semanticamente significativi.
• Nuovo Paradigma Geometrico: Sposta il focus dall'ottimizzazione locale (gradiente su un punto) all'ottimizzazione globale su traiettorie (geodetiche), affrontando la curvatura intrinseca dei dati ad alta dimensionalità.

In sintesi, PCG rappresenta un avanzamento fondamentale nella generazione di spiegazioni controfattuali per la visione artificiale, garantendo che le modifiche proposte siano non solo tecnicamente valide per il modello, ma anche semanticamente coerenti e percettivamente realistiche per l'osservatore umano.