💻 computer science

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

Questo articolo rivela che i Modelli Linguistici di Grandi Dimensioni Multimodali codificano con successo prove visive a grana grossa, ma faticano a controllare in modo affidabile la propria dipendenza da esse rispetto ai prior linguistici, un limite che può essere mitigato attraverso il fine-tuning supervisionato e lo steering delle attivazioni.

Autori originali: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Pubblicato 2026-07-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di parlare con un robot super intelligente che ha letto quasi tutti i libri mai scritti e guardato milioni di ore di film. Questo robot è un "Modello Linguistico di Grande Dimensioni Multimodale" (MLLM). È come un bibliotecario geniale che conosce tutto del mondo grazie ai suoi dati di addestramento — la sua "conoscenza pregressa". Ma questo robot ha anche gli occhi. Può guardare un'immagine e combinare ciò che vede con ciò che sa. La grande domanda che gli scienziati si sono posti è: quando il robot guarda un'immagine che contraddice ciò che sa (come l'immagine di un cavallo con cinque zampe), fallisce perché non riesce a vedere la zampa extra, o fallisce perché vede la zampa ma decide di ignorarla? Questo articolo scava in questo mistero, trattando il cervello del robot come un romanzo investigativo per capire dove avviene il guasto: nei "sensi" (la vista) o nel "processo decisionale" (l'uso di ciò che si vede).

I ricercatori, guidati da Jiaang Li e colleghi, si sono posti l'obiettivo di risolvere questo enigma utilizzando un'indagine astuta divisa in due parti. Per prima cosa, volevano sapere se il robot stesse effettivamente "vedendo" le cose strane nelle immagini. Per testarlo, non si sono limitati a porre domande al robot; hanno cercato di ricostruire le immagini partendo dai segnali cerebrali interni del robot. Hanno scoperto che anche quando il robot dava la risposta sbagliata, la "progettazione" della strana immagine (come un cavallo con cinque zampe) era ancora chiaramente visibile nei suoi pensieri finali. Era come se gli occhi del robot funzionassero perfettamente, ma il suo cervello scegliesse di chiudere gli occhi. Questo ha escluso l'idea che il robot fosse semplicemente cieco ai dettagli.

Successivamente, il team ha creato un nuovo gioco chiamato "WhatIfVis" per testare quanto bene il robot riuscisse a passare dal fidarsi dei propri occhi al fidarsi della propria memoria. Hanno mostrato al robot immagini che infrangevano le regole della natura (come un anguria rossa) e gli hanno chiesto di rispondere in due modi: "Guarda solo l'immagine" oppure "Ignora l'immagine e usa ciò che sai". Hanno scoperto che, senza un addestramento supplementare, il robot era un po' instabile nei cambiamenti d'umore. A volte ignorava l'immagine e dava la risposta da manuale (come dire che un'anguria è verde anche quando è rossa). Altre volte, rimaneva così concentrato sull'immagine da non riuscire a seguire le istruzioni di ignorarla. Il robot non era rotto; aveva solo bisogno di un "interruttore" affidabile per decidere quando guardare e quando pensare.

Tuttavia, la buona notizia è che i ricercatori hanno trovato l'interruttore. Fornendo al robot un po' di pratica (chiamata Supervised Fine-Tuning) su un solo tipo di immagine complicata, gli hanno insegnato come controllare la sua attenzione. Ancora meglio, hanno scoperto una specifica "manopola" all'interno del cervello del robot — una singola direzione matematica — che poteva accendere o spegnere l'attenzione del robot senza bisogno di istruzioni verbali. Quando giravano questa manopola, il robot diventava molto più bravo a seguire le regole, sia che dovesse guardare l'immagine, sia che dovesse ignorarla.

Lo studio ha anche confrontato il modo in cui il robot gestiva le immagini rispetto alle frasi scritte. Hanno scoperto che era molto più facile far seguire al robot una frase scritta che infrangeva le regole rispetto a un'immagine. È come se il robot fosse un ascoltatore molto migliore di un osservatore. Questo divario è aumentato man mano che i robot diventavano più intelligenti e grandi, suggerendo che, mentre questi modelli crescono, potrebbero diventare ancora più testardi nel decidere di ignorare ciò che vedono.

In conclusione, l'articolo suggerisce che per le cose grandi e ovvie che studiamo (come il colore, la dimensione e il numero di zampe di un animale), questi modelli di IA non falliscono perché non riescono a vedere. Falliscono perché non hanno imparato un modo coerente per decidere quando fidarsi dei propri occhi e quando della propria memoria. Ma poiché i ricercatori hanno trovato una specifica "manopola" che controlla questo comportamento, ciò significa che potremmo essere in grado di ripararlo in futuro, insegnando a questi cervelli digitali a essere più flessibili e affidabili quando il mondo non appare esattamente come i loro libri di testo.

Riepilogo Tecnico: Vedere o Sapere? Sensibilità al Contesto Visivo nei Modelli Linguistici Multimodali di Grandi Dimensioni

1. Definizione del Problema

I Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) integrano gli input visivi con i ricchi priori parametrici dei modelli linguistici preaddestrati (LLM). Sebbene efficaci per molti compiti, essi falliscono frequentemente in compiti incentrati sulla visione quando l'evidenza visiva entra in conflitto con la loro conoscenza del mondo interna. Il campo ha tradizionalmente attribuito questi fallimenti a deficit di percezione (Ipotesi H1), sostenendo che gli encoder visivi scartino i dettagli fini, costringendo il modello a fare affidamento sui propri priori.

Tuttavia, gli autori osservano una modalità di fallimento duale:

Fallimenti dominati dai priori: Il modello ignora un input visivo anomalo (ad esempio, un cavallo con 5 zampe) e risponde basandosi sul proprio prior (4 zamere).
Fallimenti dominati dal contesto: Il modello ignora le istruzioni esplicite di ignorare l'immagine e risponde basandosi sull'evidenza visiva anche quando questa contraddice la conoscenza canonica (ad esempio, rispondendo "Rosso" per la buccia di un anguria quando gli viene chiesto il suo colore abituale).

Il paper postula che il problema centrale non sia necessariamente che il modello non possa vedere l'evidenza, ma che manchi di una policy controllabile su quando fare affidamento sul contesto visivo rispetto ai priori parametrici (Ipotesi H2). Questo è terminato come Sensibilità al Contesto Visivo. Gli autori mirano a separare la percezione (vedere) dall'utilizzo (usare) per determinare dove risieda il collo di bottiglia e se esso possa essere controllato.

2. Metodologia

Lo studio impiega un approccio su tre fronti per isolare e affrontare il fallimento dell'utilizzo:

A. Sondaggio della Percezione tramite Ricostruzione dell'Immagine (Test di H1)

Per determinare se l'evidenza visiva venga degradata prima di raggiungere il backbone dell'LLM, gli autori eseguono un sondaggio generativo.

Setup: Mantengono congelati gli MLLM e tentano di ricostruire immagini controfattuali esclusivamente a partire dai token d'immagine dell'ultimo strato.
Design: Utilizzando un framework adattato da Metaquery, accoppiano un MLLM congelato con un connettore addestrabile e un decoder d'immagine (SANA). Fondamentalmente, il connettore e il decoder sono addestrati solo su immagini del mondo reale, senza mai vedere i controfattuali.
Obiettivo: Se il decoder riesce a ricostruire con successo gli attributi controfattuali (ad esempio, conteggi anomali degli arti) dai token dell'MLLM congelato, l'evidenza visiva era preservata nella rappresentazione, smentendo H1.

B. Il Benchmark WhatIfVis (Test di H2)

Per misurare la capacità del modello di passare dal contesto visivo alla conoscenza a priori, gli autori introducono WhatIfVis, un benchmark di 3.049 campioni controfattuali.

Struttura: Copre cinque dimensioni grossolane: Spazio-Temporale, Colore, Conteggio, Dimensione e Peso.
Meccanismo: Ogni esempio accoppia un'immagine (o un'affermazione testuale) controfattuale con una domanda. Il modello viene testato sotto due rigide istruzioni di intento:
1. Dominante del contesto: "Considera solo l'immagine/l'affermazione."
2. Dominante del prior: "Ignora l'immagine/l'affermazione."
Metrica: Utilizzano PairAcc (Pair Accuracy), una metrica congiunta che richiede al modello di rispondere correttamente per entrambi gli intenti sullo stesso esempio. Ciò isola la capacità di controllare la sensibilità al contesto, piuttosto che la semplice accuratezza su un singolo compito.

C. Activation Patching e Steering di Sottospazio

Per localizzare e controllare il meccanismo che governa il compromesso tra visione e prior:

Activation Patching: Utilizzando modelli sottoposti a Supervised Fine-Tuning (SFT) che seguono in modo affidabile entrambi gli intenti, gli autori applicano il tracciamento causale (activation patching) per identificare gli strati specifici in cui viene computato il compromesso.
Subspace Steering: Ipotizzano che il compromesso sia codificato in un sottospazio monodimensionale (un vettore) all'interno dello stream residuo. Apprendono un vettore unitario $u$ che spazia questo sottospazio.
Controllo: Invece di usare istruzioni testuali, applicano una costante scalare $c(w)$ lungo questo vettore appreso durante l'inferenza per guidare il modello verso il contesto visivo o il prior.

3. Risultati Chiave e Conclusioni

1. L'Evidenza Visiva è Preservata (Smentita di H1)

Successo della Ricostruzione: Attraverso tre distinte famiglie di modelli (Qwen2.5-VL, Qwen3.5, Gemma-4), gli attributi controfattuali grossolani (identità, posa, conteggio, colore dominante) sono stati ricostruiti con successo dai token d'immagine dell'ultimo strato.
Evidenza Metrica: Le ricostruzioni dai token controfattuali erano metricamente più vicine al riferimento controfattuale che all'immagine reale (ad esempio, mIoU > 0,86 per i controfattuali rispetto a < 0,83 per le immagini reali).
Conclusione: L'evidenza visiva non è degradata durante la percezione. Il fallimento nell'uso è un problema di utilizzo, non di percezione.

2. I Modelli Vanilla Mancano di Controllo Stabile (Conferma di H2)

Fragilità: I modelli vanilla (non SFT) mostrano una sensibilità al contesto instabile. Spesso seguono l'immagine per alcuni attributi (es. Colore) ma la ignorano per altri (es. Peso), o viceversa.
Collasso di PairAcc: I modelli vanilla ottengono una PairAcc vicina allo zero nei compiti ad alto carico di ragionamento (Conteggio, Peso) e punteggi bassi in altri, indicando che non possono cambiare in modo affidabile tra gli intenti su richiesta.
L'SFT Migliora la Controllabilità: Il Supervised Fine-Tuning su un singolo sottoinsieme (Spazio-Temporale) aumenta significativamente la PairAcc in tutti i compiti e i modelli, dimostrando che la controllabilità è una capacità apprendibile e generalizzabile.

3. Il Compromesso è Localizzato e Controllabile

Localizzazione degli Strati: L'activation patching rivela che il compromesso tra visione e prior viene risolto in una banda stretta e ricorrente di strati (parte medio-superiore) specifica per ogni architettura.
Vettore di Steering: Un singolo vettore appreso in questo sottospazio agisce come una "manopola". Applicare questo vettore senza alcuna istruzione di intento migliora la controllabilità rispetto al modello vanilla (alzando la macro PairAcc dal 14,7% al 37,7%).
Specificità: Vettori casuali nello stesso sottospazio degradano le prestazioni, confermando che l'effetto deriva dalla specifica direzione appresa, non solo dall'intervento di rango 1.

4. Asimmetria tra Modalità

Testo vs Visione: Il divario tra le modalità è significativo. La sensibilità al contesto basata sul testo è molto più controllabile rispetto a quella visiva.
Scaling: All'aumentare delle dimensioni del modello, il divario nella controllabilità tra testo e visione si amplia (ad esempio, da 9,1 pp a 20,6 pp in Qwen2.5-VL).
Causa Radice: Il deficit è principalmente un fallimento nel seguire l'evidenza visiva su richiesta, non un fallimento nel sovrascriverla. La capacità di ignorare l'evidenza (intento del prior) è quasi identica tra le modalità.

4. Significato e Rivendicazioni

Il paper sostiene che il collo di bottiglia nei fallimenti degli MLLM debba essere spostato dalla percezione all'utilizzo.

Ridefinizione del Problema: Per gli attributi grossolani, gli MLLM codificano fedelmente l'evidenza visiva ma mancano di una policy coerente e controllabile su quando usarla. Il problema non è la "cecità", ma l' "affidabilità incostante".
Identificazione del Meccanismo: Il compromesso tra visione e prior è una proprietà localizzabile e compatta dell'architettura della rete, che risiede in strati specifici ed è controllabile tramite un vettore appreso.
Controllo senza Istruzioni: Gli autori dimostrano che la sensibilità al contesto visivo può essere guidata efficacemente senza esplicite istruzioni di prompt, semplicemente manipolando un vettore di sottospazio appreso.
Gap di Modalità: Il lavoro evidenzia un'asimmetria fondamentale in cui gli MLLM sono significativamente più bravi nel seguire i controfattuali testuali rispetto a quelli visivi, un divario che persiste e cresce con la scala del modello.

Gli autori concludono che separare il "vedere" dall' "usare" permette di avere una base più solida per costruire modelli multimodali che possano essere esplicitamente diretti a prestare attenzione all'evidenza visiva quando questa contraddice i loro priori.