Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

Sintesi Tecnica: Estrazione e Analisi di Concetti Multimodali nei VLM attraverso Autoencoder Sparsi

Definizione del Problema
I modelli Vision-Language (VLM) hanno raggiunto prestazioni significative in compiti congiunti immagine-testo come il Visual Question Answering (VQA) e la descrizione di immagini (image captioning). Tuttavia, comprendere i loro meccanismi computazionali interni rimane una sfida critica. Sebbene gli Autoencoder Sparsi (SAE) siano emersi come uno strumento promettente per la Meccanicistica dell'Interpretabilità (MI) per estrarre concetti comprensibili all'uomo dalle attivazioni dei modelli, gli approcci esistenti soffrono di due limitazioni primarie quando applicati ai VLM:

1. Isolamento della Modalità: La maggior parte dei lavori basati su SAE si concentra esclusivamente su concetti testuali o concetti visivi in isolamento, ignorando i concetti multimodali (concetti congiuntamente radicati sia nell'immagine che nel testo). Ciò porta a una potenziale classificazione errata dei neuroni che codificano informazioni integrate.
2. Descrizioni Visive di Bassa Qualità: I precedenti metodi di estrazione di concetti visivi producono spesso descrizioni vaghe o incomplete. Inoltre, le tecniche che si affidano alla mascheratura delle patch d'immagine per isolare le attivazioni dei neuroni rimuovono troppe informazioni contestuali, degradando l'accuratezza dei concetti estratti.

Metodologia
Gli autori propongono un framework unificato basato su SAE per estrarre e analizzare concetti visivi, testuali e multimodali. La metodologia procede come segue:

1. Integrazione SAE e Registrazione delle Attivazioni:

   • Un SAE pre-addestrato viene integrato in un VLM (specificamente LLaVA-NeXT-8B).
   • Il SAE proietta gli embedding ad alta dimensione in uno spazio latente sparso ($\omega$) utilizzando una funzione di attivazione Top-K per imporre la sparsità e incoraggiare i neuroni monosemantici.
   • Per ogni campione VQA (coppia immagine + domanda-risposta), il sistema registra tensori di attivazione separati per le patch visive ($V$) e i token testuali ($T$).

2. Estrazione dell'Ipotesi del Concetto Multimodale:

   • Per un neurone target dell'SAE, il sistema seleziona i top-5 campioni che massimizzano l'attivazione media per quel neurone in entrambe le modalità visiva e testuale.
   • Estrazione Visiva: Un VLM esterno (LLaVA-72B) funge da "esplicatore". Riceve le patch d'immagine con la massima attivazione (con le patch non attivate sfocate, anziché mascherate in nero, per preservare il contesto) insieme alla corrispondente domanda e risposta VQA. Questo input visivo aumentato dal testo migliora la comprensione dell'esplicatore.
   • Estrazione Testuale: L'esplicatore riceve i token testuali specifici che hanno attivato il neurone (evidenziati tra parentesi quadre) insieme all'immagine originale non modificata. Questo rispecchia il processo visivo, fornendo un radicamento multimodale al testo.
   • L'esplicatore genera un'ipotesi di concetto candidata interpretabile dall'uomo per ciascuna modalità.

3. Valutazione e Classificazione:

   • Allineamento Ipotesi-Dati: Per validare le ipotesi, il framework utilizza i modelli CLIP (ViT-B/32) e ALIGN per calcolare la similarità del coseno tra le descrizioni dei concetti generate e i campioni di dati che le hanno attivate. Un'ipotesi è considerata validata se si posiziona elevatamente (top-$n$) rispetto ai suoi dati generatori.
   • Assegnazione del Neurone Multimodale: Per i neuroni con sia un'ipotesi visiva ($h_{vis}$) che una testuale ($h_{text}$), il framework calcola la similarità semantica tra le due ipotesi utilizzando encoder testuali. Se la similarità supera una soglia $\tau$ (impostata a 0.8), il neurone è classificato come multimodale. Altrimenti, viene assegnato alla modalità con il punteggio di allineamento ipotesi-dati più elevato.
   • Valutazione Basata su Categorie: Le ipotesi visive sono inoltre mappate su specifiche categorie visive (es. scena, oggetto, parte) per confrontarle con i baseline.

Contributi Chiave
Il documento presenta due contributi primari:

1. Estrazione Integrata di Concetti Multimodali: Il framework estende l'analisi SAE a un setting unificato, riuscendo a estrarre e distinguere tra concetti visivi, testuali e multimodali. Affronta il divario negli studi sistematici dei concetti multimodali nei VLM.
2. Miglioramento della Qualità dei Concetti Visivi: Introducendo una nuova tecnica di estrazione che include il testo complementare (coppie Q&A) durante la generazione dell'ipotesi visiva e sostituendo la mascheratura nera con la sfocatura, il metodo produce concetti visivi più precisi e semanticamente radicati.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset LLaVA-NeXT (utilizzando i primi 5.000 neuroni dell'SAE) e confrontati con un metodo baseline (Zhang et al. [21]).

• Qualità del Concetto Visivo: Il framework proposto ha superato significativamente il metodo baseline. Ha ottenuto un miglioramento medio del 41% nei punteggi CLIP e del 45% nei punteggi ALIGN per l'allineamento dei concetti visivi attraverso varie soglie.
• Identificazione Multimodale: Il framework ha identificato con successo 132 concetti multimodali su 249 neuroni analizzati (a $\tau=0.8$), mentre il baseline non ha identificato sistematicamente concetti multimodali.
• Qualità Testuale: La qualità dei concetti testuali è rimasta elevata, con punteggi di interpretabilità (rilevamento e fuzzing) comparabili ad altri lavori di analisi SAE puramente testuali (es. utilizzando Llama-3.1-8b).
• Intervento Qualitativo: Gli esperimenti di intervento hanno dimostrato che forzare attivazioni di neuroni specifici (visive, testuali o multimodali) ha influenzato la generazione del testo. In particolare, i concetti multimodali sembravano avere un impatto più pronunciato sulla produzione dell'output rispetto ai concetti unimodali, specialmente quando un'immagine era presente nel prompt.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro fornisce nuove intuizioni sullo spazio concettuale dei VLM, dimostrando che gli SAE codificano concetti testuali e visivi condensati in uno spazio latente condiviso. Il framework offre un approccio strutturato per distinguere tra concetti unimodali e multimodali, il che è essenziale per comprendere come i VLM allineino ed elaborino gli input attraverso le modalità.

Il documento conclude che il loro approccio consente una comprensione più completa del ragionamento dei VLM migliorando la qualità dei concetti visivi estratti e identificando sistematicamente i neuroni multimodali. Gli autori osservano che, sebbene i loro risultati rivelino una correlazione tra l'alterazione del concetto e l'output testuale, non stabiliscono una relazione causale. Posizionano questo lavoro come un passo verso l'integrazione scalabile degli SAE e il controllo guidato dai concetti nei sistemi di ragionamento multimodale, senza rivendicare un'immediata implementazione in sistemi di produzione o applicazioni più ampie oltre l'ambito della ricerca sull'interpretabilità.