Extremal Contours: Gradient-driven contours for compact visual attribution

1. Enunciato del Problema

I metodi attuali per spiegare le decisioni delle reti neurali profonde (DNN) nella visione artificiale affrontano sfide significative riguardo fedeltà, compattezza e stabilità:

• Maschere di Perturbazione Dense: Metodi come Extremal Perturbations o Smooth Masks ottimizzano maschere dense a livello di pixel per preservare o cancellare regioni dell'immagine. Sebbene efficaci nel trovare regioni causali, queste maschere spesso producono output frammentati, rumorosi o multi-componente. Mancano di garanzie topologiche, richiedendo pesanti post-elaborazioni o regolarizzazioni per diventare interpretabili.
• Saliency Basata su Gradienti: Metodi come Integrated Gradients o Grad-CAM sono computazionalmente efficienti ma spesso producono mappe di calore diffuse e non strutturate che evidenziano rumore di sfondo irrilevante e falliscono nei test di sanità mentale per la fedeltà.
• Il Divario Centrale: È necessario un metodo di spiegazione che produca regioni compatte, coerenti e topologicamente semplici (ad esempio, una singola forma connessa) senza sacrificare la fedeltà causale degli approcci basati su perturbazione, evitando al contempo l'instabilità dell'apprendimento di milioni di parametri di pixel.

2. Metodologia: Extremal Contours

Gli autori propongono un metodo senza addestramento, guidato dai gradienti, che sostituisce le maschere di pixel dense con contorni lisci e sintonizzabili.

A. Rappresentazione Parametrica

Invece di ottimizzare ogni pixel, il metodo parametrizza una regione a stella-convessa utilizzando una serie di Fourier tronca.

• Centro: Un punto centrale apprendibile $c \in \mathbb{R}^2$.
• Funzione Radiale: Il raggio del bordo $\hat{r}(\theta)$ all'angolo $\theta$ è definito come:
  $$\hat{r}(\theta) = r_0 + \Re\left( \sum_{k=1}^{K} w_k e^{ik\theta} \right)$$
  dove $w_k$ sono coefficienti complessi.
• Generazione della Maschera: Per un pixel $p$ alle coordinate polari $(\rho_p, \theta_p)$ rispetto a $c$, il valore della maschera $m(p)$ è una funzione sigmoide liscia della differenza tra il raggio del pixel e il raggio del contorno:
  $$m(p) = \frac{1}{1 + \exp(\tau \cdot [\hat{r}(\theta_p) - \rho_p])}$$
  Questo riduce il numero di parametri liberi da milioni (pixel) a $2K+3$, abbassando drasticamente la dimensionalità.

B. Obiettivo di Ottimizzazione

Il contorno è ottimizzato per soddisfare un obiettivo di perturbazione estrema utilizzando i gradienti del classificatore. La perdita totale $L$ è composta da tre termini:

1. Perdita Estrema ($L_{extremal}$): Incoraggia la variante "preservata" (mantenendo la regione, sfocando il resto) a mantenere l'embedding originale, mentre la variante "cancellata" (sfocando la regione, mantenendo il resto) la sopprime.
   $$L_{extremal} = -\cos(e_p, e_o) + \cos(e_d, e_o)$$
   dove $e_o, e_p, e_d$ sono gli embedding delle immagini originale, preservata e cancellata.
2. Regolarizzazione dell'Area ($\lambda_a \alpha_r$): Penalizza le aree grandi per garantire la compattezza. Il peso $\lambda_a$ è sintonizzato adattivamente in base alla fedeltà della regione preservata. Se la regione preservata non riesce a mantenere l'embedding, la penalità dell'area viene rilassata; una volta raggiunta la fedeltà, la penalità si stringe per trovare la regione minima sufficiente.
3. Regolarizzazione Spettrale ($\lambda_r L_{spec}$): Penalizza le oscillazioni ad alta frequenza nei coefficienti di Fourier per imporre confini lisci:
   $$L_{spec} = \sum_{k=1}^{K} k^2 |w_k|^2$$

C. Estensione Multi-Oggetto

Il framework si estende a più oggetti ottimizzando $N$ contorni indipendenti simultaneamente. La maschera finale è il massimo pixel-per-pixel delle maschere individuali, con la perdita che somma le penalità di area e spettrali di tutti i contorni.

3. Contributi Chiave

1. Garanzie Topologiche: Per costruzione, il metodo produce maschere singole, semplicemente connesse e lisce, eliminando la necessità di post-elaborazione per rimuovere rumore o frammentazione.
2. Riduzione della Dimensionalità: Riduce i parametri apprendibili di ordini di grandezza (da $H \times W$ a $\approx 2K$), portando a una convergenza più rapida e stabilità senza ottimizzazione a livello di dataset.
3. Robustezza agli Artefatti Avversariali: Il vincolo a bassa dimensionalità e liscio impedisce all'ottimizzatore di sfruttare gradi di libertà non vincolati per creare maschere "avversariali" che soddisfano la perdita matematicamente ma sono semanticamente prive di significato.
4. Controllo Esplicito dell'Area: Introduce un meccanismo per generare profili fedeltà-area, permettendo agli utenti di visualizzare il compromesso tra la dimensione della spiegazione e la confidenza del modello.
5. Indipendenza dal Modello: Il metodo funziona efficacemente sia su modelli supervisionati (ResNet-50) che auto-supervisionati (DINO).

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset ImageNet e COCO utilizzando modelli ResNet-50 e DINO ViT-B/16.

• Prestazioni Qualitative:
  • Produce confini di contorno singoli e puliti che racchiudono strettamente l'oggetto di interesse.
  • A differenza delle mappe di gradiente (diffuse) o delle maschere dense (frammentate), Extremal Contours fornisce una rappresentazione strutturata e interpretabile.
• Prestazioni Quantitative:
  • Massa di Rilevanza e Ranking: Raggiunge punteggi competitivi o superiori rispetto alle baseline (Smooth Mask, Grad-CAM++, Integrated Gradients).
  • Complessità e Sparsità: Fornisce spiegazioni altamente sparse con entropia inferiore rispetto ai metodi densi.
  • Fedeltà: Crucialmente, sui modelli auto-supervisionati DINO, dove molte baseline falliscono (mostrando correlazioni di fedeltà negative), Extremal Contours mantiene correlazioni di fedeltà positive e migliora la massa di rilevanza di >15%.
• Robustezza:
  • Il metodo è stabile su diversi punti di inizializzazione (centro $c$).
  • È robusto al peso della regolarizzazione spettrale $\lambda_r$, convergendo costantemente all'oggetto corretto indipendentemente dal fatto che la forma risultante sia circolare o irregolare.

5. Significato e Direzioni Future

• Interpretabilità: Il passaggio dalle mappe di calore a livello di pixel ai contorni geometrici offre un modo più intuitivo per l'uomo di comprendere il ragionamento del modello, in particolare per domini critici per la sicurezza come l'imaging medico (TC, risonanza magnetica) dove i clinici necessitano di confini chiari e modificabili piuttosto che mappe di calore rumorose.
• Efficienza vs Fedeltà: Risolve il compromesso tra l'efficienza computazionale dei metodi basati su gradienti e la fedeltà causale dei metodi basati su perturbazione, offrendo il meglio di entrambi i mondi.
• Limitazioni:
  • Vincolo a Stella-Convessa: Il metodo non può rappresentare naturalmente oggetti con concavità profonde o buchi (forme non a stella-convessa).
  • Natura Binaria: Produce maschere binarie piuttosto che mappe di attribuzione fini, il che potrebbe ridurre la granularità per compiti di classificazione fine.
  • Tempo di Esecuzione: Richiede ottimizzazione iterativa invece di un singolo passaggio in avanti/indietro, rendendolo più lento rispetto ai metodi diretti basati su gradienti.
• Lavori Futuri: Gli autori suggeriscono di estendere la parametrizzazione per gestire forme non a stella-convessa, applicare il metodo ai compiti di rilevamento e segmentazione di oggetti, e utilizzare i contorni come strumenti interattivi per i radiologi per affinare le annotazioni.

In sintesi, Extremal Contours presenta un approccio nuovo e matematicamente fondato all'XAI che dà priorità alla coerenza geometrica e alla semplicità topologica, dimostrando che limitare lo spazio di ricerca a contorni lisci produce spiegazioni più affidabili e interpretabili rispetto all'ottimizzazione di pixel densi non vincolati.