Sintesi Tecnica: Spiegare la Similarità tra Immagini tramite Vettori di Attivazione di Concetti Estratti Automaticamente

Problema

La similarità tra immagini è una componente fondamentale di numerose applicazioni di visione artificiale, tra cui il recupero di immagini, il riconoscimento facciale e la compatibilità nella moda. Sebbene la similarità venga tipicamente misurata negli spazi di embedding latenti di reti deep pre-addestrate, la ragione alla base di specifici punteggi di similarità rimane opaca. I metodi di spiegabilità (xAI) esistenti, progettati principalmente per compiti di classificazione a singolo input, faticano a fornire approfondimenti globali sulla similarità, che intrinsecamente richiede due input. Gli approcci attuali spesso si affidano a mappe di attribuzione basate sul gradiente o ad attributi definiti manualmente (ad esempio, "strisce" o "colore") per generare mappe di salienza. Questi metodi affrontano due limitazioni primarie:

1. Mancanza di Visione Globale: Spesso non riescono a spiegare cosa guidi specificamente la similarità attraverso regioni di uno spazio di embedding (ad esempio, texture vs forma).
2. Dipendenza da Definizioni Manuali: Richiedono frequentemente database di concetti predefiniti o dataset etichettati appositamente, limitando la loro applicabilità a nuovi domini o modelli.
3. Fedeltà Distribuionale: Le perturbazioni nello spazio dei pixel grezzi (ad esempio, il masking) spesso spingono gli input fuori dal manifold dei dati, portando a spiegazioni inaffidabili.

Metodologia

Gli autori propongono un framework agnostico rispetto al modello e alla metrica che spiega la similarità tra immagini utilizzando i Vettori di Attivazione di Concetti (CAV) estratti automaticamente tramite Autoencoder Sparsi (SAE). La metodologia consiste in tre fasi principali:

1. Apprendimento di Dizionari Sparsi (Estrazione dei Concetti)

Dato un dataset $\mathcal{X}$ e una funzione di embedding $g: \mathcal{X} \to \mathbb{R}^d$, gli autori decompongono la matrice delle attivazioni $A$ in una matrice di pesi $U$ e un dizionario di concetti $V$. Ciò viene ottenuto minimizzando la norma di Frobenius:
$$(U, V) = \arg \min_{U,V} \|A - UV^\top\|_F^2$$
Questo processo utilizza varie formulazioni di SAE (Top-K, JumpReLU e Vanilla SAE) per apprendere un dizionario di concetti senza etichettatura umana. Ogni attivazione è approssimata come una combinazione lineare di questi concetti appresi.

2. Perturbazione dello Spazio Latente per la Spiegazione a Coppie

Per spiegare la similarità tra due immagini con embedding $a_i$ e $a_j$, il metodo perturba gli embedding lungo le direzioni dei concetti appresi. L'importanza di un concetto specifico $c_k$ è determinata misurando il cambiamento della funzione di similarità $f$ quando il contributo del concetto viene rimosso:
$$e_l^k(a_i, a_j) = (f(a_i, a_j) - f(a_i/c_k, a_j)) + (f(a_i, a_j) - f(a_i, a_j/c_k))$$
dove $a_i/c_k = a_i - u_{i,k}v_k^\top$. Questo approccio simmetrico garantisce che la spiegazione tenga conto dei contributi da entrambi gli input. Il risultato è un vettore di spiegazione locale che caratterizza attributi condivisi e distinti.

3. Spiegazione a Livello di Gruppo e Recupero di Exemplar

Il framework si estende ai contesti di gruppo mediando le spiegazioni locali su un gruppo $G$:
$$e_G = \frac{1}{\binom{|G|}{2}} \sum_{i,j \in G, i<j} e_l(a_i, a_j)$$
Ciò consente l'analisi dei cluster nello spazio di embedding. Inoltre, gli autori introducono il Recupero di Exemplar (Exemplar Retrieval), un compito in cui, dato un dato di query-riferimento, il sistema recupera altre coppie di immagini che condividono le stesse ragioni sottostanti della similarità (ovvero, vettori di spiegazione simili) piuttosto che solo punteggi di aspetto generale simili.

Contributi Chiave

1. Framework Innovativo: Un framework di spiegabilità agnostico rispetto al modello e alla metrica per la similarità tra immagini basato su CAV estratti automaticamente, che consente l'analisi a coppia e a livello di gruppo senza database di concetti predefiniti.
2. Attribuzione Basata sulla Similarità: Un metodo per derivare i punteggi di importanza dei concetti direttamente dalla funzione di similarità, fornendo sia la localizzazione (tramite heatmap) che la quantificazione dell'impatto dei concetti.
3. Perturbazioni Fedeli: Evidenza sperimentale che dimostra come le perturbazioni nello spazio latente siano più fedeli alla distribuzione sottostante dei dati rispetto alle strategie di masking nello spazio dei pixel (ad esempio, il masking dei pixel), risultando in meno embedding Out-of-Distribution (OOD).
4. Insight Azionabili: L'introduzione del Recupero di Exemplar e dell'analisi di gruppo, che consentono agli utenti di comprendere e manipolare i giudizi di similarità basandosi su concetti semantici.

Risultati Sperimentali

Gli autori hanno valutato il loro approccio sul dataset VITON-HD (moda) e su un dataset sintetico Multi-CIFAR-10 Collage utilizzando sei backbone di visione (DINOv2, DINOv3, ResNet50, ConvNeXt, ViT, SigLIP).

• Verifica dei Concetti: Sul dataset sintetico, il metodo ha preservato con successo la simmetria della funzione di similarità. I dizionari addestrati hanno ottenuto circa il 90% di recupero degli originali punteggi di similarità dopo lo scambio di concetti, con i Top-K SAE che mostravano la deviazione minore.
• Fedeltà Distribuionale: Le perturbazioni nello spazio latente hanno costantemente ottenuto punteggi Wasserstein (W1) e OOD inferiori rispetto alle strategie di masking nello spazio di input (ad esempio, sfocatura, masking casuale) in tutti i modelli testati. Ciò conferma che le perturbazioni latenti rimangono più vicine al manifold dei dati.
• Recuperabilità Lineare: Un modello di regressione lineare addestrato sui vettori di spiegazione poteva predire i punteggi di similarità originali con alta precisione ($R^2 > 0.87$ sia per la Cosine che per la Euclidean metric), superando i baseline come CSIM, i vettori basati su blur e l'attribuzione basata sul gradiente.
• Utilità Qualitativa: Nei casi di studio, il metodo ha identificato con successo i driver semantici della similarità (ad esempio, "strisce", "scollatura") e ha permesso il Recupero di Exemplar che ha recuperato immagini basate su concetti condivisi (ad esempio, recuperando magliette a righe per una query di maglietta a righe) piuttosto che solo sulla similarità visiva.

Significato e Rivendicazioni

Il paper sostiene che il suo approccio fornisca una comprensione più fedele e interpretabile della similarità tra immagini rispetto ai metodi esistenti. Operando nello spazio latente, il metodo evita le insidie delle perturbazioni nello spazio dei pixel che spesso generano immagini irrealistiche. Gli autori sottolineano che il loro framework è automatizzato, non richiede la definizione manuale dei concetti, ed è flessibile, applicabile a qualsiasi modello pre-addestrato e metrica di similarità.

La significatività risiede nella capacità di andare oltre il "dove" un modello si concentra (saliency) per capire "cosa" driver semantici guidano la similarità. Gli autori posizionano il loro lavoro come un passo verso insight azionabili, permettendo ai progettisti di modelli di identificare e potenzialmente mitigare i driver di similarità indesiderati (ad esempio, artefatti dello sfondo) e abilitando compiti di recupero avanzati condizionati a specifici motivi semantici. Tuttavia, gli autori notano con modestia che il loro approccio assume una ricostruzione lineare dello spazio di embedding tramite CAV, che è un'approssimazione del primo ordine, e che la stabilità degli SAE rimane una considerazione.