Riepilogo Tecnico: Trasferibilità dell'Interpretabilità dal Linguaggio alla Visione tramite Autoencoder Sparsi

1. Enunciato del Problema

L'interpretabilità dei Modelli Multimodali su Larga Scala (LMM) rimane una sfida significativa. Sebbene gli Autoencoder Sparsi (SAE) abbiano decomposto con successo le caratteristiche polisenatiche del linguaggio in concetti monosemanti e interpretabili all'interno dei Modelli Linguistici su Larga Scala (LLM), l'applicazione di questo successo al dominio visivo è ostacolata da due limitazioni primarie:

1. Ambiguità di Etichettatura: L'addestramento di SAE specifici per il dominio su encoder visivi produce caratteristiche visive monosemanti, ma l'etichettatura di queste caratteristiche è difficile. Distinguere se una caratteristica rappresenta un oggetto specifico, una razza o un'azione è ambiguo. Inoltre, gli SAE basati solo sulla visione non rivelano come le caratteristiche visive vengano interpretate una volta entrate nel flusso residuo dell'LLM.
2. Costo Computazionale: Il fine-tuning di SAE esistenti basati su LLM per incorporare informazioni visive è proibitivamente costoso. Ad esempio, l'adattamento di un modello come Gemma Scope richiede risorse computazionali massicce e sforzi estesi di rietichettatura (ad esempio, centinaia di migliaia di richieste all'LLM) per tenere conto degli spazi latenti spostati.

La domanda centrale affrontata è: È possibile riutilizzare gli autoencoder sparsi del linguaggio per interpretare concetti visivi senza addestrare nuovi SAE specifici per la visione?

2. Metodologia: Framework VISTA

Gli autori propongono VISTA (Visual Interpretability via SAE Transfer Alignment), un framework progettato per trasferire l'interpretabilità dal linguaggio alla visione all'interno di un modello visione-linguaggio in stile LLaVA. L'innovazione centrale consiste nel vincolare il proiettore visivo a mappare i token visivi direttamente nello spazio SAE testuale preesistente e etichettato dell'LLM.

Architettura e Obiettivo di Addestramento

• Configurazione: Il framework utilizza un encoder visivo congelato (ad esempio, DINOv2, CLIP) e un LLM congelato. Un proiettore lineare addestrabile ($P_\theta$) mappa i token visivi ($v$) nello spazio di embedding dell'LLM ($e_v$).
• Funzione di Perdita: A differenza dell'addestramento standard che minimizza solo la Cross-Entropy ($L_{CE}$) sul testo target, VISTA introduce una Perdita di Ricostruzione SAE ($L_{SAE}$) ausiliaria.
  • Viene utilizzato un SAE pre-addestrato, addestrato sul flusso residuo dell'LLM utilizzando solo dati testuali, come vincolo.
  • La perdita minimizza l'Errore Quadratico Medio tra i token visivi proiettati e la loro ricostruzione da parte dell'SAE testuale: $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$.
  • L'obiettivo totale è $L_{total} = L_{CE} + L_{SAE}$.
• Meccanismo: Questo costringe i token visivi a giacere sulla varietà definita dagli SAE testuali. Di conseguenza, gli input visivi possono essere interpretati tramite concetti SAE linguistici pre-etichettati con un costo computazionale aggiuntivo trascurabile, aggirando la necessità di addestrare SAE specifici per la visione.

Guida Fine-Grained

Una volta allineati, la manipolazione visiva diventa un'operazione aritmetica all'interno della varietà linguistica. Il framework abilita una guida localizzata aggiungendo o sottraendo direzioni di decodifica (concetti) dell'SAE testuale a posizioni specifiche di token visivi ($v_{source}$):

• Rimozione: $v_{steered} = v_{source} - \beta \cdot v_{remove}$
• Sostituzione: $v_{steered} = v_{source} + \alpha \cdot v_{add}$
  Ciò consente la rimozione o la sostituzione di oggetti specifici nella percezione del modello preservando il contesto della scena circostante.

3. Contributi Chiave

1. Trasferibilità dell'Interpretabilità: L'introduzione di un obiettivo di addestramento che allinea i token visivi alle caratteristiche SAE dell'LLM, facilitando il trasferimento dell'interpretabilità cross-modale senza il carico computazionale di addestrare o etichettare SAE specifici per la visione.
2. Analisi degli Encoder: Un confronto rigoroso degli encoder visivi abilitato da VISTA, che rivela che DINOv2 ottiene una localizzazione spaziale superiore e stabile rispetto all'architettura. A differenza dei modelli contrastivi come CLIP, che danno priorità a riassunti globali e soffrono di confusione spaziale, l'obiettivo auto-supervisionato da locale a globale di DINOv2 preserva le informazioni locali fine-grained necessarie per la precisione a livello di patch.
3. Validazione Causale: Dimostrazione che le interventi aritmetici sui token visivi utilizzando direzioni SAE testuali producono cambiamenti coerenti e localizzati nell'output del modello. Ciò fornisce prove causali che i token visivi abitano la varietà SAE testuale.

4. Risultati e Scoperte

Allineamento e Tasso di Corrispondenza

• Tasso di Corrispondenza: I vincoli VISTA portano a un aumento triplo del tasso di corrispondenza (la precisione con cui i concetti testuali attivati corrispondono agli elementi semantici nell'immagine) rispetto alle baseline senza vincoli.
• Allineamento Ritardato: Il documento sfida la nozione di "allineamento ritardato" (dove i token visivi si allineano naturalmente alle caratteristiche testuali solo negli strati più profondi). Sebbene questo fenomeno sia stato osservato nei modelli Gemma senza vincoli, non si verifica universalmente (ad esempio, in LLaMA-3.1-8B). I vincoli VISTA impongono un allineamento immediato su tutte le architetture e gli strati.
• Ricostruzione e Sparsità: Con i vincoli SAE, i token visivi raggiungono una convergenza immediata nell'errore di ricostruzione e nella sparsità, corrispondendo alla distribuzione dei token testuali fin dal primo strato, mentre i token non vincolati spesso rimangono densi e ad alto errore in tutta la rete.

Localizzazione Spaziale

• DINOv2 vs. CLIP: DINOv2 dimostra un'Accuratezza di Localizzazione Spaziale (SLA) di 0.927 (con Gemma-2-2B), superando significativamente CLIP (0.201) e I-JEPA (0.702).
• Limitazioni di CLIP: Le attivazioni di CLIP mostrano confusione spaziale, attivando spesso concetti lontani dall'oggetto rilevante, rendendo la guida fine-grained instabile.
• Robustezza: DINOv2 mantiene un'alta accuratezza di localizzazione attraverso diversi backbones LLM (Gemma-2-2B, Gemma-2-9B, LLaMA-3.1-8B), mentre le prestazioni di CLIP variano significativamente e rimangono inferiori.

Prestazioni di Guida

• Guadagni Quantitativi: Sfruttando la precisione di DINOv2, VISTA ottiene un miglioramento del 35% nelle attività di rimozione di oggetti e un miglioramento del 47% nelle attività di sostituzione di oggetti rispetto alle migliori baseline solo visive (VisionSAE e PatchSAE).
• Risultati Qualitativi: La guida con DINOv2 consente modifiche precise (ad esempio, cambiare un "cane che corre" in un "gatto che corre" o rimuovere un gatto da un divano) preservando il contesto globale della scena. Al contrario, la guida basata su CLIP spesso comporta allucinazioni o alterazioni del contesto globale.
• Prove Causali: Confronti controllati confermano che VISTA modifica la percezione del modello di specifiche patch visive piuttosto che dirottare il percorso di generazione del linguaggio. La guida solo testuale o la guida tramite prompt non riescono a preservare la coerenza della scena.

Impatto sulle Prestazioni

• Modelli Piccoli: Nei modelli più piccoli (ad esempio, Gemma-2-2B), i vincoli SAE inducono una regressione marginale dell'accuratezza su alcuni benchmark, probabilmente a causa della capacità rappresentativa limitata.
• Modelli Grandi: In architetture più grandi (ad esempio, LLaMA-3.1-8B), i vincoli SAE agiscono come un regolarizzatore benefico, migliorando le prestazioni nella maggior parte dei benchmark.
• Robustezza OOD: L'allineamento di VISTA si generalizza ai dati Out-of-Distribution (OOD) (DomainNet), mantenendo costanti ricostruzione, sparsità e tassi di corrispondenza, indicando che l'allineamento è una proprietà strutturale piuttosto che un artefatto del set di addestramento.

5. Significato e Affermazioni

Il documento afferma che l'interpretabilità è una proprietà trasferibile tra le modalità. Imponendo vincoli SAE durante l'allineamento degli encoder visivi agli LLM, VISTA mappa i token visivi in uno spazio di caratteristiche linguistiche preesistente ed etichettato. Questo elimina la necessità dei costi computazionali e di etichettatura associati all'addestramento di SAE specifici per la visione.

Gli autori sottolineano che il successo dell'interpretabilità localizzata e della guida è intrinsecamente legato alla fedeltà spaziale del backbone visivo. Dimostrano che l'obiettivo locale di DINOv2 fornisce la precisione necessaria per questo trasferimento, superando significativamente i modelli contrastivi come CLIP. Questo paradigma di "trasferibilità dell'interpretabilità" offre un percorso scalabile per comprendere e controllare sistemi multimodali complessi, abilitando interventi causali fine-grained e analisi dei circuiti di caratteristiche senza i costi proibitivi del riaddestramento di modelli fondazionali.

Il lavoro è validato su più architetture LLM (Gemma, LLaMA) e encoder visivi (CLIP, DINOv2, I-JEPA), con il codice reso disponibile per supportare ulteriori ricerche sull'interpretabilità meccanica nei sistemi multimodali.