Sintesi Tecnica: SEAMS – Sufficiency Saliency via MSE-Preservation Soft-Masks

Definizione del Problema

Gli attuali metodi di spiegazione visiva nel campo della computer vision si affidano prevalentemente ad approcci basati sulla sensibilità (es. attribuzione del gradiente, Integrated Gradients, Layer-wise Relevance Propagation). Questi metodi stimano quanto l'output di un modello sia sensibile a perturbazioni infinitesimali dell'input. Tuttavia, gli autori sostengono che la sensibilità e la sufficienza siano concetti fondamentalmente distinti. Un pixel può avere un punteggio di attribuzione elevato a causa di un'alta sensibilità (piccole variazioni causano grandi spostamenti nell'output), pur essendo codificato in modo ridondante altrove nell'immagine. Al contrario, pixel con gradienti bassi possono essere strettamente necessari per preservare una predizione.

I metodi basati sulla perturbazione esistenti, che tentano di affrontare la sufficienza, soffrono spesso di specifiche limitazioni: possono richiedere dataset di distrazione ausiliari, dipendere da meccanismi di attribuzione specifici dell'architettura o necessitare di complesse rilassazioni differentiabili top-$k$ e operatori di ordinamento per selezionare sottoinsiemi discreti di pixel. Il problema centrale affrontato è come identificare il sottoinsieme minimo e compatto di pixel dell'immagine che sia sufficiente a preservare un output specifico del modello (come una probabilità di classe, un embedding CLS o una rappresentazione di token) senza queste dipendenze ausiliarie.

Metodologia: SEAMS

Gli autori propongono SEAMS (Sufficiency Saliency via MSE-Preservation Soft-Masks), un framework post-hoc e model-agnostic che ottimizza direttamente una maschera continua per preservare una rappresentazione target.

Framework Core

Dato un modello di visione differenziabile congelato $g$ e un'immagine di input $x$, l'obiettivo è trovare una maschera morbida (soft mask) $M \in [0, 1]^{H \times W}$ tale che l'output del modello calcolato da un'immagine composita mascherata $\tilde{x}$ rimanga vicino all'output originale $y^\star = g(x)$.

Componenti Chiave

1. Parametrizzazione della Maschera:
   Inveve di ottimizzare direttamente la maschera, SEAMS ottimizza i logit non vincolati $\ell$. Questi vengono trasformati in una maschera valida tramite una parametrizzazione normalize-and-clip:

   • $u = \text{softplus}(\ell)$ assicura la non-negatività.
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ impone un budget di sparsità apprendibile $\alpha \in (0, 1]$.
   • $M = \text{clip}(\bar{u}, 0, 1)$ vincola i valori nell'intervallo $[0, 1]$.
     Questo approccio evita la selezione esplicita di sottoinsiemi, l'ordinamento differenziabile, il campionamento Gumbel o le rilassazioni top-$k$. Il passaggio di normalizzazione crea una competizione tra i pixel per il budget, guidando naturalmente la maschera verso la sparsità (valori quasi binari) senza meccanismi di binarizzazione espliciti.

2. Composito Immagine a Tre Vie:
   Per valutare la maschera, gli autori costruiscono un'immagine composita $\tilde{x}$ utilizzando tre sorgenti generate interamente dall'immagine di query $x$:

   • Originale ($x$): Regioni preservate dove $M \approx 1$.
   • Distruttore Auto-Aumentato ($x_{dist}$): Generato tramite heavyAug (trasformazioni geometriche/fotometriche forti, swirl, shift di colore, cutout). Le regioni dove $M \approx 0$ sono sostituite da questo per interrompere le deboli correlazioni di texture.
   • Contesto Sfocato ($x_{blur}$): Una versione pesantemente sfocata di $x$. Le regioni con valori di maschera intermedi o dove il budget è ecceduto vengono riempite con questo per preservare la struttura globale della scena e ridurre gli artefatti di ottimizzazione.
     Il composito è definito come $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$, dove i coefficienti sommano a 1.

3. Obiettivo di Ottimizzazione:
   La maschera e il budget sono ottimizzati per minimizzare una perdita di preservazione:
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • Termine di Preservazione: Minimizza l'Errore Quadratico Medio (MSE) tra la rappresentazione target del composito aumentato e il target di riferimento fisso $y^\star$. Le aumentazioni $\mathcal{A}$ (crop moderati, flip, jitter) sono applicate al composito per garantire robustezza, mentre $y^\star$ rimane fisso.
   • Termine di Sparsità: Penalizza il budget $\alpha$ per incoraggiare maschere compatte.

4. Target Modulari:
   Il framework è agnostico rispetto al target $g(x)$. Cambiando solo l'output preservato, la stessa pipeline genera:

   • Spiegazioni condizionate dalla classe: Preservare una specifica probabilità di classe.
   • Maschere di rappresentazione globale: Preservare l'embedding CLS.
   • Spiegazioni a livello di token: Preservare rappresentazioni dense di patch-token.

Contributi Chiave

1. Formulazione Basata sulla Sufficienza: Il paper introduce una formulazione di salienza che ottimizza direttamente la fedeltà di preservazione (sufficienza) piuttosto che la sensibilità locale.
2. Framework di Ottimizzazione Semplificato: SEAMS non richiede dataset di distrazione ausiliari, nessuna regola di attribuzione specifica dell'architettura, né operatori di selezione di sottoinsiemi differenziabili (come le rilassazioni top-$k$). Si basa esclusivamente su un'ottimizzazione di maschera morbida con un budget apprendibile e distruttori auto-generati.
3. Pipeline Multi-Target Unificata: Un singolo procedimento di ottimizzazione genera diversi tipi di spiegazioni (livello oggetto, specifiche per classe, livello di token) semplicemente alterando la rappresentazione target preservata.
4. Insight Dipendenti dall'Architettura: Il metodo rivela che diverse architetture (es. ViT vs. ConvNeXt) spesso si affidano a set distinti di pixel sufficienti per raggiungere una simile fedeltà di preservazione, una sfumatura difficile da catturare con i metodi basati sulla sensibilità.

Risultati Sperimentali

Gli autori hanno valutato SEAMS su ImageNet-1k (ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16) e su un dataset medico privato (Retinopatia della Prematurità).

• Fedeltà (Inserimento/Rimozione): SEAMS ottiene punteggi AUC di Inserimento e Rimozione competitivi e spesso superiori rispetto ai metodi basati sul gradiente (IxG, SmoothGrad, Integrated Gradients) e altri metodi basati sulla perturbazione (DAVE). In particolare, SEAMS dimostra un'alta fedeltà di rimozione dei pixel: la probabilità della classe target rimane stabile finché una grande frazione di pixel (fino al 70-80%) viene rimossa, crollando bruscamente solo quando la regione sufficiente compatta viene occlusa. Ciò indica che il metodo isola con successo un sottoinsieme sufficiente minimo.
• Generalizzazione Cross-Architettura: Quando applicato a diversi backbone (ViT vs. ConvNeXt) con gli stessi iperparametri, SEAMS produce maschere semanticamente significative. Tuttavia, l'analisi quantitativa (IoU, similarità del coseno) mostra che i pixel specifici selezionati differiscono significativamente tra le architetture, confermando che la sufficienza visiva è dipendente dall'architettura.
• Flessibilità Multi-Target: Gli esperimenti dimostrano che cambiando il target dalla probabilità di classe all'embedding CLS o ai patch token, si ottengono maschere distinte e interpretabili che evidenziano diversi aspetti semantici dell'immagine.
• Trasferibilità in Immagini Medicali: Senza modificare gli iperparametri o la pipeline di ottimizzazione, SEAMS ha identificato con successo strutture retiniche clinicamente rilevanti (traiettoria vascolare, linee di demarcazione) nelle immagini del fondo oculare di Retinopatia della Prematurità (ROP), dimostrando la trasferibilità oltre le immagini naturali.
• Qualità Qualitativa: I confronti visivi mostrano che SEAMS produce spiegazioni più nitide, allineate agli oggetti e spazialmente coerenti, con meno artefatti di griglia a patch rispetto alle tecniche precedenti. Le maschere sono notevolmente più sparse e quasi-binarie rispetto ai metodi concorrenti.

Significato e Rivendicazioni

Il paper sostiene che SEAMS fornis la un framework generale e model-agnostic per la spiegazione visiva orientata alla rappresentazione. Il suo significato primario risiede nello spostamento del paradigma da "cosa cambia l'output?" (sensibilità) a "cosa è sufficiente per mantenere l'output?" (sufficienza).

Gli autori sottolineano che SEAMS:

• Non richiede dati esterni o complesse modifiche architettoniche.
• Genera maschere compatte, interpretabili e stabili.
• Rivela che diverse architetture neurali possono fare affidamento su evidenze visive diverse per raggiungere lo stesso risultato, un reperto reso visibile attraverso l'analisi della sufficienza.
• È applicabile a diverse scale (da 224px a 518px) e domini (immagini naturali a immagini mediche).

Il paper riconosce modestamente alcuni limiti, notando che SEAMS è computazionalmente più costoso dei metodi basati sul gradiente a causa dell'ottimizzazione iterativa e che l'attuale valutazione si concentra esclusivamente sugli encoder di immagini. Il lavoro futuro è suggerito per video, modelli multimodali e architetture generative.