Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP

1. Il Problema

I Sparse Autoencoders (SAE) sono diventati uno strumento fondamentale per l'interpretabilità dei modelli di visione artificiale, in particolare per gli encoder visivi di CLIP. Tuttavia, la ricerca esistente si concentra quasi esclusivamente sul significato semantico delle singole feature (es. "cosa" rappresenta una feature: un cane, una ruota, ecc.).

L'autore identifica un limite critico in questo approccio: la semplice etichettatura semantica non riesce a spiegare come una feature aggrega le evidenze visive. Una feature etichettata come "cane" potrebbe reagire a una texture locale (il pelo) o integrare informazioni su tutto l'oggetto. Manca una dimensione interpretativa che caratterizzi la portata dell'informazione (information scope): quanto è ampio lo spazio visivo necessario per attivare una specifica feature? Le attuali analisi semantiche sono troppo fragili per distinguere tra feature che catturano dettagli locali e quelle che catturano il contesto globale.

2. Metodologia

Per affrontare questo problema, il paper introduce un nuovo asse di analisi basato sulla portata dell'informazione e propone un metodo quantitativo per misurarla.

A. Concetto Chiave: Portata dell'Informazione (Information Scope)

L'idea centrale è distinguere le feature SAE in base alla loro dipendenza contestuale:

• Scope Locale: Feature che reagiscono a evidenze visive localizzate e stabili (es. texture, bordi specifici).
• Scope Globale: Feature che integrano informazioni su larga scala, dipendendo dal contesto circostante o dalla struttura dell'intera immagine.

B. Fenomeno di Riferimento: Token Outlier

Il lavoro si basa sull'osservazione dei token outlier nei Vision Transformers (ViT). Questi token hanno norme di embedding eccezionalmente alte e sono associati all'aggregazione di informazioni globali. Gli autori notano che la posizione di questi token è instabile: se l'immagine viene leggermente spostata o ritagliata, la posizione del token outlier cambia in modo imprevedibile, suggerendo che la sua attivazione dipende fortemente dal contesto globale e non solo dal contenuto locale del patch.

C. Shifted Context Cropping (SCC)

Per quantificare questa instabilità, gli autori propongono un esperimento controllato:

1. Si prende un'immagine originale e se ne generano due ritagli sovrapposti ($I_1$ e $I_2$) spostati di un singolo passo di patch (stride).
2. I due ritagli condividono una grande area di patch identiche (pixel-per-pixel), ma differiscono per:
   • Le posizioni assolute (positional embeddings).
   • Il contesto non sovrapposto che circonda le patch comuni (che influenza l'attenzione self-attention).
3. Si misura quanto cambiano le mappe di attenzione o le attivazioni delle feature tra $I_1$ e $I_2$ per le patch sovrapposte.

D. Contextual Dependency Score (CDS)

Per estendere l'analisi dai token alle singole feature SAE, viene introdotto il CDS.

• Calcolo: Per ogni feature SAE, si selezionano le immagini che la attivano maggiormente. Su queste immagini, si applica lo SCC. Si calcola la distanza tra le mappe di attivazione della feature sui due ritagli sovrapposti utilizzando la Earth Mover's Distance (EMD), normalizzata per la dimensione della griglia.
• Interpretazione:
  • Basso CDS: La feature è spazialmente stabile; la sua attivazione non cambia significativamente con piccoli spostamenti contestuali. Corrisponde a uno scope locale.
  • Alto CDS: La feature è spazialmente instabile; la sua attivazione varia notevolmente con il contesto. Corrisponde a uno scope globale.

3. Contributi Chiave

1. Nuova Dimensione Interpretativa: Introduzione della "portata dell'informazione" come dimensione complementare alla semantica per analizzare le feature SAE.
2. Metrica CDS: Proposta del Contextual Dependency Score, una metrica quantitativa che separa le feature in base alla loro stabilità spaziale e dipendenza contestuale.
3. Partizionamento Strutturale: Dimostrazione che le feature SAE si dividono naturalmente in due gruppi distinti (basso CDS e alto CDS) che corrispondono a ruoli funzionali diversi.
4. Validazione Funzionale: Analisi empirica che mostra come questi due gruppi di feature influenzino diversamente le prestazioni dei modelli su compiti downstream.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre varianti di CLIP (B/16, L/14, L/14-336px) e validati su altri ViT (DINOv2, SigLIP2, DeiT3).

• Distribuzione del CDS: L'istogramma del CDS mostra una distribuzione multimodale, con un picco dominante a basso CDS (feature locali) e picchi distinti ad alto CDS (feature globali).
• Correlazione con Token Outlier:
  • Le feature ad alto CDS si attivano fortemente sui token outlier e mostrano un'alta instabilità spaziale (EMD elevato).
  • Le feature a basso CDS si attivano sui token non-outlier e sono spazialmente stabili.
• Esperimenti di Rimozione (Feature-Group Removal):
  • Classificazione (ImageNet): Rimuovere le feature ad alto CDS migliora le prestazioni di classificazione lineare in tutti i modelli, suggerendo che il rumore contestuale globale può ostacolare la classificazione lineare diretta. Rimuovere le feature a basso CDS degrada le prestazioni (specialmente nei modelli più piccoli), indicando che i dettagli locali sono cruciali.
  • Compiti Densi (Segmentazione ADE20K, Depth NYUd): Rimuovere le feature a basso CDS causa un crollo drastico delle prestazioni. Questo conferma che i dettagli spaziali locali sono essenziali per la predizione pixel-per-pixel.
  • Rimuovere le feature ad alto CDS ha un impatto minimo o leggermente positivo sui compiti densi, suggerendo che il contesto globale è complementare ma non sostitutivo dei dettagli locali.
• Visualizzazione: Le feature a basso CDS mostrano mappe di attivazione localizzate e semanticamente coerenti (es. attivazione precisa su un occhio o una ruota). Le feature ad alto CDS mostrano attivazioni diffuse e meno coerenti semanticamente, spesso legate a intere scene o sfondi.

5. Significato e Implicazioni

Questo lavoro sposta il paradigma dell'interpretabilità dei modelli di visione:

• Oltre la Semantica: Non basta sapere cosa rappresenta una feature; è fondamentale capire in quale contesto spaziale essa opera.
• Diagnosi dei Modelli: Il CDS permette di diagnosticare come un modello bilancia l'informazione locale (dettagli) e globale (struttura della scena).
• Robustezza e Adattamento: La scoperta che le feature globali (alto CDS) sono instabili e talvolta dannose per la classificazione lineare suggerisce strategie per migliorare i modelli, ad esempio sopprimendo selettivamente le feature ad alto CDS per compiti specifici o comprendendo meglio il ruolo dei token outlier.
• Generalizzazione: La distinzione tra scope locale e globale non è specifica di CLIP, ma è una proprietà strutturale ricorrente in diverse architetture ViT (supervisionate, self-supervised e vision-language).

In sintesi, il paper fornisce un quadro teorico e pratico per "disintrecciare" la portata delle informazioni nelle rappresentazioni interne dei modelli, offrendo uno strumento potente per analizzare e migliorare l'interpretabilità e le prestazioni dei sistemi di visione artificiale.