Sintesi Tecnica: Valutazione dell'Interpretabilità degli Autoencoder Sparsi con Annotazioni Concettuali

Definizione del Problema

Gli Autoencoder Sparsi (SAE) sono sempre più impiegati per decomporre le rappresentazioni interne ad alta dimensionalità di modelli di visione e vision-language (ad es. CLIP, DINOv2) in latenti sparsi e interpretabili. Tuttavia, gli attuali metodi di valutazione per gli SAE basati sulla visione si affidano pesantemente a proxy strutturali (ad es. fedeltà di ricostruzione, sparsità) o all'ispezione qualitativa. Questi metodi non riescono a misurare la corrispondenza semantica — ovvero il grado in cui i latenti appresi si allineano con concetti comprensibili all'uomo.

Inoltre, i modelli di visione presentano modalità di fallimento sistematiche come lo splitting delle feature (un concetto frammentato in più latenti), l'assorbimento delle feature (feature generiche che sviluppano punti ciechi) e la composizione delle feature (concetti co-occorrenti che si fondono). Le metriche attuali, spesso adattate dal naturale linguaggio (NLP), faticano a validare se un latente codifichi realmente un attributo semantico specifico o se si limiti a correlarsi con esso a causa di fattori confondenti. Crucialmente, la valutazione funzionale nella visione è difficile perché isolare un singolo cambiamento semantico in immagini naturali non è banale senza interventi controllati.

Metodologia

Gli autori propongono un framework di valutazione basato sull'uomo che quantifica l'allineamento tra i latenti degli SAE e i concetti annotati dagli umani senza richiedere studi sugli utenti. Il framework si compone di tre componenti principali:

1. Corrispondenza Latente-Concetto

Per misurare l'allineamento statistico, gli autori confrontano le attivazioni binarizzate degli SAE con vettori di attributi binari della verità di base (ground-truth).

• Corrispondenza Uno-a-Uno: Seleziona il singolo latente che massimizza il punteggio F1 per un dato attributo.
• Fully-Binary Matching Pursuit (FBMP): Riconoscendo che le feature spesso si dividono su più latenti, gli autori introducono una procedura di matching basata su coalizioni. FBMP è un algoritmo di selezione greedy e sequenziale adattato al dominio binario. A differenza della standard Matching Pursuit, opera interamente nello spazio binario:
  • Utilizza metriche di similarità binaria (ad es. $F_\beta$) invece di prodotti scalari.
  • Utilizza l'OR logico ($\lor$) per sommare i contributi e l'AND/NOT ($\land, \neg$) per aggiornare i residui.
  • Costruisce un piccolo sottoinsieme (coalizione) di latenti che collettivamente ricostruiscono l'annotazione dell'attributo, supportando mappature molti-a-uno.
• $\Delta$MATCHScore: Per tenere conto dell'inflazione dei punteggi di matching in dizionari più grandi (dove aumentano le correlazioni casuali), gli autori sottraggono il punteggio di matching di un SAE non addestrato (con pesi casuali) dal punteggio dell'SAE addestrato.

2. Benchmark di Intervento Sintetico

Per consentire la validazione funzionale, gli autori costruiscono due dataset sintetici in cui le coppie di immagini differiscono esattamente per un singolo attributo semantico:

• synCUB: Derivato da CUB-200-2011, questo dataset mira a perturbazioni di attributi fini (ad es. cambiare il pattern ventrale da "solido" a "maculato") in immagini di uccelli a singolo oggetto. Utilizza Flux2 per editare le immagini base guidate da immagini di riferimento, preservando identità, posa e sfondo.
• synCOCO: Derivato da MS-COCO, questo dataset mira alla rimozione di oggetti in scene complesse con più oggetti. Rimuove oggetti specifici preservando il resto della scena, affrontando la sfida degli interventi controllati in contesti naturalistici.

3. Punteggio di Allineamento alla Perturbazione dell'Attributo Mirato (TAPAScore)

Questa metrica testa se i latenti corrispondenti rispondono in modo selettivo e nella direzione attesa sotto perturbazioni mirate.

• Per una coppia di immagini $(x, \hat{x})$ che differiscono per un attributo, gli autori calcolano la risposta firmata della coalizione di latenti associata all'attributo aggiunto o rimosso.
• TAPAScore è definito come $\Delta_{add} - \Delta_{rem}$, dove $\Delta$ rappresenta la variazione media della massima attivazione del set di latenti corrispondenti. Un punteggio positivo indica che i latenti aumentano quando l'attributo viene aggiunto e diminuiscono quando viene rimosso, confermando la codifica causale.

Contributi Chiave

1. Algoritmo FBMP: Una nuova procedura di matching basata su coalizioni che supporta mappature molti-a-uno tra latenti SAE e concetti. Gli autori dimostrano che FBMP supera costantemente i baseline uno-a-uno e supera i test di sanità che le metriche esistenti (come Feature Monosemanticity Score o CKNNA) falliscono.
2. Benchmark Sintetici (synCUB & synCOCO): I primi benchmark di tipo intervento per la valutazione degli SAE in immagini naturalistiche, che permettono perturbazioni controllate di attributi e oggetti.
3. TAPAScore: Una metrica funzionale che valida se i match statistici corrispondono a codifiche semantiche causali testando la direzionalità della risposta sotto perturbazione.
4. Linee Guida Empiriche: Lo studio fornisce indicazioni pratiche per gli esperti, raccomandando dimensioni moderate del dizionario e la combinazione di FBMP con TAPAScore per un'ottimale valutazione dell'interpretabilità.

Risultati Sperimentali

Il framework è stato valutato su SAE addestrati su embedding CLIP e DINOv2 attraverso diverse dimensioni di dizionario ($128$a$4096$) e varianti di SAE (TopK, BatchTopK, Matryoshka, JumpReLU).

• Test di Sanità (Sanity Checks): TAPAScore e $\Delta$MATCHScore (con FBMP) sono state le uniche metriche in grado di distinguere in modo affidabile gli SAE addestrati da quelli non addestrati o casuali. Metriche come CKNNA e Feature Monosemanticity Score (FMS) hanno mostrato una sensibilità limitata o un comportamento inconsistente (ad es. CKNNA che aumenta per gli SAE non addestrati).
• Performance di Matching: FBMP ha superato costantemente il matching uno-a-uno in tutte le varianti. La variante $F_{0.5}$ di FBMP (che favorisce la precisione) ha generalmente prodotto i punteggi più alti.
• Trade-off della Dimensione del Dizionario:
  • L'aumento della dimensione del dizionario (sovra-completezza) ha migliorato i punteggi di matching statistico ($\Delta$MATCHScore) fino a un certo punto, ma ha spesso degradato l'allineamento della perturbazione (TAPAScore).
  • Per gli SAE TopK su CUB, il TAPAScore ha raggiunto il picco precocemente e poi è diminuito drasticamente all'aumentare della dimensione del dizionario, indicando che i dizionari più grandi ottengono un migliore allineamento statistico senza codificare concetti causalmente validi.
  • Dimensioni moderate del dizionario (ad es. 256–1024 a seconda della variante) offrono il miglior compromesso tra copertura semantica e selettività funzionale.
• Correlazione: Sebbene i punteggi di matching e il TAPAScore siano generalmente positivamente correlati, la divergenza alle grandi dimensioni del dizionario (dove il matching migliora ma il TAPAScore scende) ha evidenziato che l'allineamento statistico è insufficiente per garantire l'interpretabilità.

Significato e Rivendicazioni

Il paper sostiene che l'interpretabilità non può essere assunta solo dal design architettonico o dalla qualità della ricostruzione; deve essere esplicitamente valutata rispetto a concetti comprensibili all'uomo. Il framework proposto operazionalizza l'interpretabilità come l'allineamento tra le feature apprese e i concetti annotati, validato attraverso interventi controllati.

Gli autori concludono che dimensioni moderate del dizionario forniscono il bilanciamento ottimale, producendo gli SAE più interpretabili. Raccomandano l'uso di FBMP ($F_{0.5}$, $k=3$) accoppiato con TAPAScore come protocollo di valutazione predefinito. Il lavoro sottolinea che l'aumento della sovra-completezza può ridurre l'allineamento della perturbazione, suggerendo una perdita di interpretabilità nonostante il miglioramento dei parametri statistici.

Gli autori riconoscono i limiti, notando che la qualità del framework è vincolata alla granularità e all'accuratezza delle annotazioni umane. Suggeriscono che il lavoro futuro potrebbe ridurre la dipendenza dalle annotazioni manuali sfruttando i modelli vision-language per la generazione automatica di attributi ed esplorare l'uso di TAPAScore come strumento per il controllo attivo del modello (steering).