Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking

Questo lavoro introduce il primo framework per la tracciabilità dei circuiti nei modelli visione-linguaggio, rivelando come integrino gerarchicamente concetti visivi e semantici per il ragionamento multimodale e dimostrando la causalità e il controllo di tali circuiti attraverso tecniche di steering e patching.

L'essenziale

Immagina che i Modelli Vision-Language (VLM) siano come dei geni super-intelligenti ma muti.
Questi computer possono guardare una foto e raccontarti una storia, risolvere un problema di matematica disegnato su un foglio, o descrivere un'immagine. Fanno tutto questo in modo incredibile, ma c'è un problema: sono delle "scatole nere". Sappiamo cosa mettono dentro (la foto e la domanda) e cosa esce (la risposta), ma non sappiamo come fanno a pensare all'interno. È come se un mago tirasse fuori un coniglio dal cilindro, ma nessuno sapesse dove lo avesse nascosto.

Questo articolo presenta il primo "tubo di vetro" per guardare dentro la mente di questi modelli. Gli autori hanno creato uno strumento per tracciare i "circuiti cerebrali" del modello, rendendo visibile il suo processo di pensiero.

Ecco come funziona, spiegato con delle analogie:

1. Il Traduttore (I "Transcoder")

Immagina che il cervello del modello parli una lingua segreta e confusa, dove un singolo "neurone" pensa a mille cose diverse contemporaneamente (come un cassettone disordinato dove ci sono chiavi, mele e calzini mischiati).
Gli autori hanno costruito dei traduttori speciali (chiamati Transcoder).

• Cosa fanno: Prendono quel cassettone disordinato e lo riorganizzano in cassetti etichettati. Ogni cassetto ora contiene solo una cosa specifica (es. "solo mele", "solo chiavi").
• Il risultato: Invece di vedere un caos di segnali, ora possiamo vedere: "Ah, questo cassetto si illumina quando vede un gatto", "Questo altro si accende quando c'è la parola 'rosso'".

2. La Mappa del Tesoro (Il "Grafo di Attribuzione")

Una volta che abbiamo i cassetti ordinati, gli autori disegnano una mappa del tesoro (il Grafo di Attribuzione).

• Questa mappa mostra come l'informazione viaggia. Se il modello deve dire "Quante dita ha questa mano?", la mappa ci mostra il percorso esatto:
  1. L'occhio (la parte visiva) vede le dita.
  2. Il segnale passa a un "cassetto" che riconosce le forme delle dita.
  3. Il segnale passa a un "cassetto" che conta.
  4. Infine, il "cassetto della risposta" scrive il numero.
• È come seguire un fiume dalla sorgente fino al mare, vedendo esattamente quali ruscelli si uniscono per formare la corrente finale.

3. Le Scoperte Sorprendenti (Cosa hanno trovato?)

Usando questa mappa, gli autori hanno scoperto cose affascinanti:

• Il cervello si organizza a strati: All'inizio del processo, il modello vede solo "texture" e "colori" (come un pittore che guarda i pennelli). Solo nelle parti più profonde del cervello (gli strati superiori) le immagini e le parole si fondono per creare un concetto vero e proprio (come "un cane che abbaia").
• La matematica visiva: Quando il modello deve fare un'operazione come "1 + 2" disegnata su un'immagine, non usa solo la logica delle parole. Usa dei circuiti visivi specifici. È come se vedesse la forma del numero "3" apparire magicamente prima ancora di scriverlo.
• L'illusione delle sei dita (Il problema dell'allucinazione): A volte i modelli sbagliano e disegnano mani con sei dita. La mappa ha rivelato perché: il modello vede la mano, ma il suo "cassetto per le mani" è così forte che ignora il conteggio reale. È come se un'idea preconcetta ("le mani hanno 5 dita") fosse così potente da cancellare la realtà visiva.
• Associazioni segrete: Se mostri un'immagine di Marte, il modello può attivare circuiti legati allo "Space Shuttle" (navicella spaziale), anche se non c'è scritto nulla. Il modello ha creato un ponte mentale tra "Marte" e "Spazio" che funziona in modo visivo, non solo testuale.

4. La Chirurgia del Cervello (Interventi)

La parte più potente è che non si limitano a guardare: possono operare.

• Guidare il pensiero (Steering): Possono accendere o spegnere artificialmente certi "cassetti". Se spengono il cassetto che riconosce "Marte" e accendono quello di "Terra", il modello cambia la sua risposta come se avesse visto un'altra foto.
• Trapianti (Circuit Patching): Possono prendere un "pezzo" di cervello che sa contare le stelle da un'immagine e trapiantarlo in un'altra parte del modello per vedere se funziona. È come prendere il motore di un'auto sportiva e metterlo su un camion per vedere se diventa veloce.

Perché è importante?

Fino ad oggi, se un'auto a guida autonoma sbagliava, non sapevamo se era un errore di calcolo o di percezione. Ora, con questa "mappa dei circuiti", possiamo:

1. Capire gli errori: Vedere esattamente dove il modello ha perso il filo.
2. Rendere l'AI affidabile: Sapere che il modello non sta "indovinando" a caso, ma seguendo percorsi logici che possiamo verificare.
3. Correggere i pregiudizi: Se il modello è razzista o sbaglia spesso, possiamo trovare il "cassetto" sbagliato e aggiustarlo senza dover ricreare tutto il cervello da zero.

In sintesi:
Gli autori hanno costruito la prima radiografia del pensiero per i computer che vedono e parlano. Hanno trasformato un processo magico e oscuro in una serie di ingranaggi chiari, etichettati e riparabili. È un passo enorme verso un'Intelligenza Artificiale che non è solo potente, ma anche trasparente e sicura.

Sommario tecnico

1. Il Problema

I modelli Vision-Language (VLM) come CLIP, Flamingo, LLaVA e GPT-4o hanno rivoluzionato la capacità delle macchine di comprendere e ragionare su informazioni multimodali. Tuttavia, rimangono "scatole nere" opache. Sebbene siano utilizzati in ambiti ad alto rischio (medicina, guida autonoma), la loro mancanza di interpretabilità rende difficile diagnosticare errori, mitigare bias e garantire l'allineamento con i valori umani.
Le tecniche esistenti di interpretabilità (visualizzazione dell'attenzione, probing) sono state sviluppate principalmente per modelli linguistici (LLM) puri. Applicarle ai VLM è estremamente complesso a causa della necessità di integrare due modalità con statistiche e semantica diverse, rendendo sconosciuto come i modelli legano le caratteristiche visive ai token testuali e coordinino il ragionamento cross-modale.

2. Metodologia

Gli autori introducono il primo framework per il tracciamento dei circuiti (circuit tracing) nei VLM, adattando le tecniche di interpretabilità meccanica degli LLM al dominio multimodale. Il framework si basa su tre componenti principali:

• Trascodificatori (Transcoders) nei VLM:

  • Vengono inseriti e addestrati trascodificatori per ogni strato MLP (Multi-Layer Perceptron) del modello.
  • A differenza dei Sparse Autoencoders (SAE) standard che ricostruiscono le attivazioni, i trascodificatori sostituiscono gli strati MLP con un autoencoder sparsamente addestrato per imitare il comportamento input-output degli strati originali.
  • Questo processo decompone le rappresentazioni multimodali e polisenso (polysemantic) in caratteristiche interpretabili e monosemantiche (monosemantic features).
  • Vengono utilizzati per decomporre le attivazioni in un spazio latente espanso, permettendo di isolare le singole funzioni computazionali.

• Grafico di Attribuzione (Attribution Graph):

  • Viene calcolato un grafo di attribuzione che traccia le relazioni causali tra le caratteristiche (features) attraverso gli strati del modello.
  • Il modello viene linearizzato localmente attorno a un prompt specifico, permettendo di decomporre linearmente come le caratteristiche contribuiscono alle attivazioni degli strati superiori e, infine, ai logit di output.
  • Il grafo include nodi per gli embedding dei token, le caratteristiche attive dei trascodificatori e i logit di output, con pesi che rappresentano l'influenza causale. Vengono tracciati anche i residui di ricostruzione per gestire l'errore di approssimazione.

• Scoperta del Circuito e Intervento:

  • Interpretazione delle caratteristiche: Vengono analizzati i pattern di attivazione su dataset diversificati (immagini e testo) e le mappe di attenzione del codificatore visivo (SigLIP) per comprendere cosa rappresenta ogni caratteristica.
  • Scoperta manuale: Esperti umani identificano e raggruppano caratteristiche con funzioni simili per costruire un grafo semplificato e spiegabile.
  • Intervento (Steering e Patching): Per validare la causalità, gli autori modificano le attivazioni delle caratteristiche durante il passaggio in avanti (forward pass). Questo include lo "steering" (modificare l'attivazione per osservare l'output) e il "circuit patching" (sostituire le attivazioni di un circuito con quelle di un altro per vedere se il comportamento si trasferisce).

3. Contributi Chiave

1. Primo Framework di Tracciamento nei VLM: Stabilisce un metodo sistematico per analizzare i meccanismi computazionali interni del ragionamento multimodale.
2. Integrazione Gerarchica: Dimostra che le caratteristiche che codificano simultaneamente concetti visivi e semantici emergono solo negli strati superiori della rete, confermando un'ipotesi di binding progressivo.
3. Validazione Causale: Attraverso esperimenti di intervento, dimostra che i circuiti identificati non sono semplici correlazioni post-hoc, ma meccanismi causali che possono essere manipolati.
4. Risorsa Open Source: Il codice e i modelli sono resi disponibili pubblicamente per la comunità di ricerca.

4. Risultati ed Evidenze Empiriche

Il framework è stato testato su Gemma-3-4B-it, un VLM open-source all'avanguardia. Le scoperte principali includono:

• Ragionamento Matematico Visuale: Per compiti di aritmetica basata su immagini (es. "1 + 2" visualizzato), il modello esegue calcoli parzialmente nello "spazio visivo". Sono stati identificati circuiti visivi che corrispondono a numerali risultanti (es. la cifra "3") e pattern di aritmetica modulare, suggerendo che il calcolo non è puramente semantico.
• Allucinazioni (Il problema del "Sesto Dito"): L'analisi rivela che le allucinazioni (es. disegnare una mano con sei dita) derivano dall'interazione tra bias percettivi del codificatore visivo (che enfatizza la semantica generica di "mano") e la dinamica interna del circuito. Le caratteristiche visive per il numero "6" vengono soppresse a favore di quelle per "cinque", a causa della competizione tra segnali semantici e percettivi dominanti.
• Associazioni Visive Indipendenti: Sono stati trovati circuiti che collegano concetti visivamente simili anche in assenza di supporto semantico. Ad esempio, un'immagine di Marte attiva caratteristiche associate allo "Space Shuttle" (navetta spaziale) a causa di associazioni visive interne, indipendentemente dal contesto testuale.
• Spazio Latente Visivo Distinto: Il componente linguistico del VLM preserva uno spazio di rappresentazione visiva distinto. Caratteristiche visivamente simili (es. lontre di mare, foche, castori) si raggruppano e co-attivano anche quando le categorie semantiche divergono, fondendosi solo negli strati finali.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso VLM più trasparenti, controllabili e affidabili.

• Debug e Mitigazione: Fornisce strumenti pratici per diagnosticare errori (come le allucinazioni) e mitigare i bias intervenendo direttamente sui circuiti causali.
• Progettazione di Architetture: Le intuizioni su come le informazioni visive e linguistiche si integrano gerarchicamente possono guidare la progettazione di architetture più efficienti e capaci.
• Controllo del Modello: La dimostrazione che i circuiti possono essere "trapiantati" o modificati apre la strada a tecniche di controllo fine dei modelli, permettendo di disattivare comportamenti indesiderati o potenziare capacità specifiche senza riaddestramento completo.

Limitazioni e Lavori Futuri

Gli autori riconoscono alcune limitazioni:

• Le mappe di attenzione del codificatore visivo possono essere difficili da interpretare e talvolta non localizzano accuratamente le regioni rilevanti.
• L'uso di trascodificatori per strato non cattura la "sovrapposizione cross-layer" (cross-layer superposition), che potrebbe essere critica data l'alta densità di feature negli embedding delle immagini.
• Il processo di scoperta dei circuiti richiede ancora un notevole sforzo umano per l'annotazione, rendendo difficile la valutazione quantitativa o l'applicazione automatica al fine-tuning.
• L'analisi è attualmente limitata a un singolo modello (Gemma-3), e la generalizzazione ad altri VLM con architetture diverse (es. meccanismi di attenzione bidirezionale) richiede ulteriori ricerche.