Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

Riepilogo Tecnico: Embedding Concettuali: Disaccoppiamento Sparso per Modelli Visione-Linguaggio

Enunciato del Problema
I modelli visione-linguaggio (VLM) come CLIP, BLIP e CoCa apprendono potenti embedding condivisi ad alta dimensionalità, tuttavia la loro struttura semantica interna rimane opaca. I metodi esistenti di interpretabilità presentano limitazioni significative:

• Spiegazioni Locali: Tecniche come le mappe di salienza o i metodi di attribuzione identificano le regioni di input rilevanti ma non riescono a rivelare l'organizzazione globale dello spazio degli embedding.
• Allineamento Concettuale: Metodi come TCAV o il probing lineare allineano gli embedding a concetti predefiniti, ma spesso assumono che i concetti significativi siano già linearmente separabili all'interno della geometria originale, limitando la flessibilità.
• Autoencoder Sparsi (SAE): Sebbene gli SAE estraggano con successo caratteristiche interpretabili e monosemantiche apprendendo dizionari sovracompleti, essi espandono la dimensionalità della rappresentazione. Questa espansione altera la geometria originale dello spazio degli embedding, introduce ridondanza e produce rappresentazioni lossive e non invertibili, rendendo difficile collegare fedelmente le spiegazioni al modello sottostante.

Gli autori ipotizzano che l'apparente intreccio nelle rappresentazioni dei VLM possa derivare da un disallineamento della base piuttosto che da una dimensionalità insufficiente, suggerendo che la struttura semantica potrebbe essere rivelata riorganizzando lo spazio all'interno della sua dimensionalità originale.

Metodologia: CEDAR
Gli autori propongono CEDAR (Disaccoppiamento degli Embedding Concettuali tramite Rotazione Adattiva), un metodo post-hoc che apprende una riparametrizzazione invertibile dello spazio degli embedding senza aumentare la dimensionalità.

1. Trasformazione Invertibile: CEDAR cerca un operatore lineare ortogonale $U$ (parametrizzato come $U = \exp(A - A^\top)$) che trasforma l'embedding originale $z$ in un nuovo spazio $\tilde{z} = U(z - b)$, dove $b$ è l'embedding medio. Il vincolo di ortogonalità garantisce che la trasformazione preservi la geometria e la norma dello spazio originale ($\|Uz\|_2 = \|z\|_2$) e sia strettamente invertibile.
2. Collo di Bottiglia di Sparsità: Nello spazio trasformato, viene applicato un operatore top-k ($\Pi_k$) per conservare solo le $k$ coordinate con le maggiori magnitudini assolute, impostando il resto a zero. Ciò impone una rappresentazione sparsa in cui l'informazione semantica è concentrata in un piccolo sottoinsieme di dimensioni.
3. Obiettivo di Ricostruzione: Il modello è addestrato per minimizzare l'errore di ricostruzione tra l'embedding originale e la versione sparsa mappata nuovamente nello spazio originale:
   $$\min_U \mathbb{E}_z \left[ \| z - (U^{-1}\Pi_k(U(z - b)) + b) \|_1 \right]$$
   Poiché $U$ è invertibile, l'embedding originale può essere fedelmente ricostruito, preservando la struttura geometrica essenziale per compiti come l'allineamento testo-immagine.
4. Strategia di Addestramento: Per gestire la transizione non liscia indotta dall'operatore top-k, gli autori adottano un approccio di apprendimento curricolare, iniziando con ricostruzioni dense e transitando gradualmente al regime sparso target. Durante l'addestramento, $k$ viene campionato casualmente per migliorare la robustezza.
5. Modalità di Interpretabilità:
   • Basata su Concetti (tipo CLIP): Gli assi individuali nello spazio trasformato sono allineati a concetti testuali utilizzando la similarità del coseno rispetto a un encoder di testo (ad esempio, embedding di testo CLIP).
   • Libera Forma (Generativa): Per i modelli generativi (ad esempio BLIP), gli embedding ricostruiti sparsi vengono passati al decoder di testo per generare descrizioni in linguaggio naturale, consentendo spiegazioni a livello di frase derivate da un piccolo insieme di coordinate attive.

Contributi Chiave

• Disaccoppiamento che Preserva la Dimensionalità: A differenza degli SAE, CEDAR ottiene rappresentazioni sparse e disaccoppiate senza espandere la dimensionalità dell'embedding, evitando così distorsioni geometriche e ridondanza.
• Invertibilità: Il metodo garantisce la ricostruzione fedele dell'embedding originale, assicurando che le spiegazioni rimangano direttamente collegate allo spazio di rappresentazione del modello originale.
• Framework Unificato: CEDAR supporta sia l'allineamento basato su concetti (corrispondenza tra neuroni e testo) che la generazione libera forma (decodifica di vettori sparsi in testo) all'interno di un unico framework.
• Validazione dell'Ipotesi: Il lavoro fornisce prove empiriche che la struttura semantica nei VLM può essere scoperta attraverso un opportuno cambio di base, sfidando la necessità di espansioni sovracomplete per l'interpretabilità.

Risultati
Gli autori valutano CEDAR rispetto a varianti di Autoencoder Sparsi (MSAE, TopK, ReLU, BatchTopK) e baselines dense su benchmark standard (ImageNet-1K) e attraverso studi con utenti.

• Compromesso Ricostruzione-Sparsità: CEDAR raggiunge un compromesso competitivo tra errore di ricostruzione (FVU) e sparsità (numero di caratteristiche attive $K$). In regimi a bassa dimensionalità, richiede spesso meno componenti attive per ottenere una fedeltà di ricostruzione comparabile ad altri metodi.
• Preservazione Semantica: Metriche come l'Allineamento del Vicino Più Prossimo del Kernel Centrato (CKNNA) e l'entropia incrociata del probing lineare (LP) indicano che CEDAR preserva la struttura semantica e le prestazioni dei compiti a valle in modo comparabile alle baselines più forti (ad esempio BatchTopK) e al modello denso.
• Studio con Utenti:
  • Preferenza: I partecipanti hanno preferito costantemente le spiegazioni concettuali di CEDAR rispetto a quelle di MSAE, trovandole più rappresentative del contenuto dell'immagine.
  • Rilevanza: I concetti suggeriti da CEDAR sono stati selezionati come rilevanti da valutatori umani in misura significativamente maggiore rispetto a quelli di MSAE.
  • Qualità della Descrizione: Quando utilizzati per generare didascalie tramite un decoder di testo, le rappresentazioni sparse di CEDAR hanno prodotto descrizioni che "descrivono l'immagine" a tassi comparabili al modello denso completo, superando di gran lunga i modelli sparsi senza disaccoppiamento.
• Analisi Qualitativa: Esempi visivi mostrano CEDAR che identifica concetti semantici coerenti e di alto livello (ad esempio "cane", "husky", "legno") e genera didascalie accurate, mentre le baselines spesso recuperano caratteristiche rumorose o di livello inferiore.

Significato e Affermazioni
Il documento afferma che CEDAR dimostra che l'apparente intreccio negli embedding moderni visione-linguaggio è in gran parte il risultato di un disallineamento della base piuttosto che di una mancanza di dimensionalità. Imparando un sistema di coordinate globale e invertibile, il metodo rivela una struttura compositiva in cui i fattori semantici sono concentrati in un piccolo numero di dimensioni allineate agli assi.

Gli autori posizionano CEDAR come un framework flessibile e agnostico rispetto al modello che unifica l'interpretabilità basata su concetti e quella libera forma. Sottolineano che il loro approccio elimina la necessità di espansioni sovracomplete, offrendo un modo più fedele ed efficiente dal punto di vista informativo per comprendere e manipolare le rappresentazioni apprese. Il lavoro suggerisce che un'opportuna riparametrizzazione può risolvere l'intreccio preservando l'integrità geometrica del modello originale.