Riepilogo Tecnico: Percorsi del Flusso di Informazioni Visive nei Modelli Vision-Language

Definizione del Problema

Sebbene i modelli Vision-Language (VLM) risolvano con successo compiti multimodali complessi, i meccanismi specifici attraverso i quali l'informazione visiva viene instradata e integrata all'interno del modello linguistico durante la generazione del testo rimangono poco chiari. Le ricerche precedenti hanno prodotto conclusioni contrastanti riguardo a questi meccanismi: alcuni studi suggeriscono che l'informazione visiva fluisca direttamente dai token dell'immagine all'ultimo token di output (percorso diretto), mentre altri sostengono che l'informazione visiva sia sempre mediata dai token di testo/query prima di raggiungere l'ultimo token (percorso mediato dal testo).

Un limite critico dei lavori precedenti è la dipendenza da interventi di attenzione (ad esempio, l'eliminazione dell'attenzione o attention knockouts). Questi metodi testano principalmente la necessità (se un modello può risolvere un compito senza una specifica componente) piuttosto che l'utilizzo (se il modello tipicamente usa quella componente durante l'inferenza standard). Di conseguenza, rimane incerto come i VLM instradino effettivamente le informazioni nelle condizioni normali e se esistano percorsi alternativi come fallback latenti.

Metodologia

Gli autori impiegano il causal patching (patching causale) con esempi controfattuali per distinguere tra ciò che i modelli potrebbero fare e ciò che tipicamente fanno. Lo studio utilizza un disegno sperimentale controllato su tre compiti visivi:

1. Riconoscimento di Oggetti: Identificazione di entità.
2. Relazioni Spaziali: Ragionamento sulle posizioni tra entità.
3. Localizzazione di Oggetti: Mappatura delle entità su posizioni globali.

Dati: Gli esperimenti sono condotti sia su dataset sintetici (forme colorate con primitive controllate) che su dataset naturali (es. COCO, Visual Genome, What's Up) per testare la generalizzazione.

Modelli: Lo studio valuta Qwen3-VL-4B, InternVL3.5-4B e LLaVA-1.5-7B.

Interventi:

• Causal Patching: Le rappresentazioni nascoste da un input controfattuale (immagine diversa, stesso testo) vengono inserite nel passaggio in avanti (forward pass) di un input originale in specifici layer. Questo misura il "Restoration Score", indicando se l'insieme di token sottoposto a patching contiene informazioni sufficienti per cambiare la predizione del modello.
• Attention Knockouts: Specifici archi di attenzione vengono soppressi per testare la necessità di un percorso.
• Corrupted-Input Patching: Rappie l'input testuale da un'immagine valida vengono inserite in un'esecuzione di inferenza in cui l'immagine è sostituita da rumore casuale, testando se i soli token di testo codificano un segnale visivo sufficiente.

Definizioni dei Percorsi:

• Percorso Diretto ($r_{I \to last}$): L'ultimo token presta attenzione direttamente ai token dell'immagine.
• Percorso Mediato dal Testo ($r_{I \to T} \to r_{T \to last}$): L'informazione visiva si trasferisce dai token dell'immagine ai token di testo/query, che vengono poi letti dall'ultimo token.

Risultati Chiave

1. Selezione del Percorso in Base al Compito

Lo studio identifica che i VLM utilizzano percorsi distinti a seconda del compito specifico:

• Riconoscimento di Oggetti: Si affida al percorso diretto. Il causal patching mostra che l'ultimo token legge l'informazione visiva direttamente dai token dell'immagine durante l'intera rete; il patching dei token di testo non ha effetto sull'output.
• Relazioni Spaziali: Si affida al percorso mediato dal testo. L'informazione visiva viene trasferita ai token di testo nei layer intermedi. Una volta avvenuto questo trasferimento, il patching dei token dell'immagine non influenza più la predizione, indicando che l'ultimo token si affida alle rappresentazioni testuali.
• Localizzazione di Oggetti: La selezione del percorso è modulata dalla distribuzione dei dati.
  • Su dati sintetici, i modelli utilizzano il percorso diretto.
  • Su dati naturali, i modelli passano al percorso mediato dal testo, probabilmente a causa della maggiore complessità visiva e della necessità di grounding in scene ricche di distrattori.

2. Modulazione tramite Prompt Design

Il design del prompt influenza la selezione del percorso. Per il riconoscimento di oggetti, un protocollo di generazione "aperto" (test libero) mantiene il percorso diretto. Tuttavia, un protocollo a "scelte" (selezione da un set fisso di candidati) induce uno spostamento verso il percorso mediato dal testo, suggerendo che i vincoli dello spazio di output alterino la strategia di routing interno.

3. Percorsi come Fallback Flessibili

Un risultato significativo è che questi percorsi non sono rigidi; coesistono come alternative di backup.

• Corrupted-Input Patching: Quando l'input dell'immagine è sostituito da rumore, i modelli possono ancora recuperare risposte corrette usando solo il percorso mediato dal testo. Ciò è vero anche per i compiti (come il riconoscimento di oggetti) in cui il percorso diretto è dominante durante l'inferenza normale.
• Attention Knockouts: Bloccare il percorso diretto ($r_{I \to last}$) ha un impatto trascurabile sull'accuratezza. Il modello riesce a reindirizzare con successo attraverso il percorso mediato dal testo per mantenere le prestazioni. Al contrario, interrompere il percorso mediato dal testo causa cali sostanziali delle prestazioni.

Significato e Rivendicazioni

L'articolo sostiene di fornire una caratterizzazione meccanicistica del flusso di informazioni visive, unificando le precedenti conclusioni contrastanti nella letteratura. Gli autori sostengono che:

1. Bias di Intervento: Gli interventi basati su ablazione standard (come gli attention knockouts) rischiano di attivare percorsi di fallback. La capacità di un modello di risolvere un compito senza una componente non implica che lo usi normalmente. Questo spiega perché studi diversi abbiano riportato meccanismi contraddittori per gli stessi compiti.
2. Flessibilità dei Meccanismi Interni: I VLM possiedono strategie di routing flessibili. Il percorso mediato dal testo codifica sufficienti informazioni visive per risolvere i compiti anche quando il flusso visivo diretto viene ablato o corrotto.
3. Implicazione Metodologica: Per caratterizzare accuratamente come i modelli elaborano le informazioni, i ricercatori devono combinare interventi sensibili all'uso (causal patching) con test di necessità (knockouts). Affidarsi a un singolo metodo può portare a conclusioni incomplete o fuorvianti sul comportamento del modello.

Gli autori concludono che l'integrazione dell'informazione visiva nei VLM non è un singolo meccanismo fisso, ma un sistema dinamico dove la selezione del percorso dipende dal compito, dalla distribuzione dei dati e dal design del prompt, con il routing mediato dal testo che funge da robusto meccanismo di fallback latente.