Riepilogo Tecnico: I Transcoder Tracciano l'Aggrappamento Visivo e le Allucinazioni nei Modelli Linguistici Visivi

Enunciato del Problema

I Modelli Linguistici Visivi Generativi (VLM), come Gemma 3 e LLaVA, hanno raggiunto prestazioni all'avanguardia nel ragionamento multimodale. Tuttavia, i meccanismi interni che trasformano gli input visivi in testo rimangono scarsamente compresi. La ricerca esistente sull'interpretabilità si basa principalmente sugli Autoencoder Sparsi (SAE) per decomporre le rappresentazioni residue statiche. Sebbene gli SAE abbiano fornito approfondimenti sulle operazioni dei Modelli Linguistici su larga scala (LLM), trattano fondamentalmente il modello come una sequenza di stati indipendenti. Di conseguenza, non riescono a isolare gli specifici aggiornamenti funzionali che guidano l'interazione cross-modale tra informazioni visive e linguistiche. L'attuale lavoro sull'interpretabilità dei VLM è largamente confinato agli encoder contrastivi o all'analisi degli stati statici, mancando di una spiegazione causale di come l'aggrappamento visivo venga implementato durante l'inferenza nei backbones generativi.

Metodologia

Gli autori propongono un framework centrato sulla funzione basato sui Transcoder per affrontare queste limitazioni. A differenza degli SAE, che ricostruiscono stati nascosti statici ($y=x$), i Transcoder agiscono come approssimazioni sparse dei sottolivelli MLP, ricostruendo la trasformazione computazionale stessa ($y = \text{MLP}(x)$). Questo passaggio da una decomposizione basata sugli stati a una basata sulla funzione permette ai Transcoder di fungere da proxy causale per il calcolo a livello di strato.

Setup Sperimentale:

• Modello: Il framework è applicato a Gemma 3-4B-IT.
• Architettura: I Transcoder e gli SAE sono integrati con un'espansione 16× (40.960 feature) in ogni strato.
• Addestramento: Un curriculum a due fasi per un totale di 500 milioni di token: un warm-up di soli testi da 200 milioni di token seguito da una fase multimodale da 300 milioni di token utilizzando COCO, VQAv2 e CLEVR.
• Sparsità: È adottata una configurazione di sparsità top-64, poiché produce prestazioni di ricostruzione superiori (misurate dalla Frazione di Varianza Non Spiegata, FVU) rispetto alla regolarizzazione L1 e ad altre varianti top-k.

Protocolli di Valutazione:

1. Aggrappamento Visivo (Ablazione): Vengono generate mappe di attribuzione per identificare le patch dell'immagine rilevanti per i token target. Gli autori abbattono queste patch per misurare le variazioni nella probabilità del token ($\Delta p$) e nell'entropia ($\Delta H$).
2. Analisi Controfattuale (Falso Aggrappamento Visivo): Compiti aritmetici e simbolici sono accoppiati a immagini per testare se i metodi di attribuzione assegnano una rilevanza visiva spuria quando la risposta è indipendente dall'immagine.
3. Rilevamento delle Allucinazioni: Vengono estratte proprietà strutturali dei grafi computazionali (derivate dalle tracce dei circuiti) per distinguere tra output corretti e allucinati. Un classificatore di regressione logistica viene addestrato su queste caratteristiche strutturali.

Contributi Chiave

1. Decomposizione Funzionale Multimodale

Lo studio dimostra che i Transcoder producono attribuzioni più stabili e semanticamente fedeli per i token aggrappati visivamente rispetto agli SAE.

• Evidenza: Negli studi di ablazione, la rimozione delle patch identificate dai Transcoder ha portato a una diminuzione significativamente maggiore della probabilità del token e a un aumento maggiore dell'entropia rispetto alla rimozione delle patch identificate dagli SAE.
• Specificità: Un'analisi controfattuale di "Falso Aggrappamento Visivo" ha confermato che le attribuzioni dei Transcoder sono specifiche per le interazioni linguaggio-visivo. In compiti risolvibili senza input visivo, i Transcoder hanno assegnato un'importanza trascurabile alle patch dell'immagine, mentre gli SAE hanno mostrato un comportamento meno discriminativo.

2. Tracciamento Meccanico Cross-Modale

Gli autori utilizzano il tracciamento dei circuiti per identificare i percorsi computazionali che collegano gli embedding visivi ai token di testo all'interno del backbone LLM.

• Risultati: I token aggrappati visivamente (sostantivi, aggettivi) dipendono da un piccolo sottoinsieme localizzato di regioni dell'immagine. Questi percorsi formano catene computazionali strutturate, rivelando come le informazioni si propaghino da specifici input visivi per influenzare la generazione dei token. Questo fornisce una visione meccanica dell'implementazione dell'aggrappamento visivo.

3. Analisi Strutturale delle Allucinazioni

Il documento introduce un metodo per analizzare le allucinazioni attraverso la lente della struttura del grafo computazionale.

• Metriche: Sono stati estratti cinque descrittori strutturali: Profondità Media del Percorso, Estensione dello Strato, Distanza tra Token, Entropia di Contributo e Frazione della Feature Top-1.
• Osservazioni: Gli output allucinati hanno mostrato differenze sottili ma statisticamente significative rispetto agli output corretti, specificamente mostrando una minore distanza tra i token, una minore entropia di contributo e una maggiore Frazione della Feature Top-1. Ciò suggerisce che le allucinazioni coinvolgono interazioni tra token più localizzate e un uso concentrato delle feature.
• Previsione: Un classificatore logistico addestrato su queste cinque caratteristiche strutturali ha raggiunto un AUC di 0,68 nel distinguere le allucinazioni dalle generazioni corrette, superando sia il caso casuale che le linee di base della classe maggioritaria.

Risultati e Significato

Il documento afferma che il passaggio da una decomposizione basata sugli stati a una basata sulla funzione produce una spiegazione meccanica più utile dei VLM generativi. Il significato principale risiede nel dimostrare che la decomposizione dei circuiti centrata sulla funzione può:

1. Isolare i Meccanismi Causali: Tracciare con successo come gli input visivi guidino specifici token di testo, offrendo un quadro più chiaro dell'interazione cross-modale rispetto all'analisi degli stati statici.
2. Rilevare le Modalità di Fallimento: Fornire un segnale predittivo per le allucinazioni multimodali basandosi esclusivamente sulla struttura interna del grafo computazionale, senza accesso al testo generato o a riferimenti esterni.

Gli autori sottolineano che, sebbene le prestazioni predittive per il rilevamento delle allucinazioni (AUC 0,68) siano modeste e preliminari, esse stabiliscono una prova di concetto secondo cui le strutture interne dei circuiti trasportano informazioni rilevanti per l'affidabilità del modello. Posizionano questo lavoro come fondamento per futuri strumenti di interpretabilità e potenziali interventi meccanici, come lo steering aggrappato visivamente o la mitigazione delle allucinazioni, sebbene dichiarino esplicitamente di non rivendicare prestazioni competitive rispetto ai rilevatori a livello di output.

Lo studio conclude che i Transcoder offrono un toolkit robusto per analizzare i "circuiti modulari" dei VLM, colmando il divario tra l'attribuzione delle feature e l'analisi del grafo computazionale collegato attraverso gli strati della rete.