Where To Look? : Causal Tracing of Vision Encoders in VLM

Il dilemma del detective: Come vedono davvero gli occhi dell'IA?

Immaginate di cercare di insegnare a un robot a comprendere il mondo. Gli date una telecamera e un cervello, e gli chiedete di descrivere l'immagine di un cane. Per anni, gli scienziati sono rimasti sbalorditi dal fatto che questi "Modelli Visione-Linguaggio" (VLM) possano farlo con un'accuratezza incredibile. Ma una domanda tormentosa è rimasta sospesa: come lo fanno realmente? Vedono davvero il cane nel modo in cui lo facciamo noi, o stanno solo indovinando basandosi su piccoli indizi nascosti?

Per rispondere a questo, i ricercatori utilizzano una tecnica chiamata tracciamento causale (causal tracing). Pensatela come allo scenario "cosa succederebbe se" di un detective. Se prendete un pezzo specifico di informazione dal cervello del robot e lo sostituite con un pezzo diverso, la risposta cambia? Se la risposta cambia drasticamente, quel pezzo di informazione era "causalmente importante". Di solito, assumiamo che se un robot parla di un cane, la parte più importante del suo cervello debba guardare proprio il cane. Ma cosa succederebbe se il robot stesse in realtà prestando attenzione all'erba, al cielo o alle ombre, e stesse solo indovinando che il cane sia lì? Questo articolo si addentra in quel mistero, chiedendosi se le parti dell'IA che contano di più stiano effettivamente guardando nel punto giusto.

---

Dove guardare? Il grande depistaggio dell'IA

In questo studio, i ricercatori del LINGO Research Group hanno deciso di giocare a "trova le differenze" con alcuni dei modelli di IA più intelligenti al mondo. Volevano sapere: Quando un'IA risponde a una domanda su un'immagine, la parte del suo cervello che compie il lavoro pesante sta guardando davvero l'oggetto in questione?

Per scoprirlo, hanno usato un trucco astuto chiamato patching delle attivazioni (activation patching). Immaginate il cervello dell'IA come una gigantesca fabbrica con migliaia di operai (chiamati "token") che si passano biglietti su un nastro trasportatore.

1. La corsa pulita: Mostrano all'IA una foto nitida e una domanda, come "Dove si trova la signora con la camicia blu?". L'IA fornisce un punteggio su quanto bene comprende l'immagine.
2. La corsa corrotta: Prendono la stessa foto e aggiungono un sacco di rumore statico (come quando si sintonizza la TV su un canale nevoso) in modo che l'IA si confonda e il suo punteggio scenda.
3. La corsa con patch: Questo è il passaggio magico. Prendono la foto rumorosa e "confusa", ma intrufolano un singolo biglietto pulito della foto originale nella linea della fabbrica. Se l'IA improvvisamente ricorda la risposta e il punteggio risale, quel biglietto specifico era il token "eroe".

I ricercatori hanno poi posto una domanda semplice: Quel token eroe proveniva dalla parte dell'immagine che mostra la signora con la camicia blu? Per misurarlo, hanno usato uno strumento matematico chiamato IoU (Intersection over Union), che è solo un modo elegante per chiedere: "Quanto questo biglietto si sovrappone alla signora reale?".

La scoperta scioccante: L'IA sta guardando ovunque, tranne che nel posto giusto

I risultati sono stati simili a scoprire che il vostro migliore amico risolve un problema di matematica fissando il soffitto invece dei numeri.

Il team ha testato di tutto, dal classico modello CLIP ai giganti massicci e moderni come DeepSeek-VL, Qwen-2.5 e LLaVA. Si aspettavano di trovare che i token più "causali" (gli eroi) fossero raggruppati proprio sopra l'oggetto bersaglio. Invece, hanno trovato una connessione debole, quasi inesistente.

• I numeri non mentono: Nel modello CLIP, la correlazione tra "essere importante" ed "essere nel posto giusto" era solo 0,062. È praticamente zero.
• Il pattern si mantiene: Anche nei modelli più grandi e intelligenti, i numeri sono rimasti bassi. Per DeepSeek-VL, la correlazione era 0,0531 ± 0,0334 con un tipo di rumore e 0,0520 ± 0,0041 con un altro. Per Qwen-2.5, era 0,0912 ± 0,0422.
• La sorpresa dello "zero overlap": In un esempio specifico, un token che aveva un'influenza enorme sulla risposta (un punteggio causale di 0,718) aveva quasi nessuna sovrapposizione con l'oggetto bersaglio (un IoU di soli 0,049). Era come se l'IA avesse risolto l'enigma guardando lo sfondo, non il soggetto.

Gli autori suggeriscono che questi modelli sono incredibilmente bravi a utilizzare le informazioni visive, ma non sono necessariamente ancorati (grounded) alla posizione specifica di quell'informazione. Potrebbero fare affidamento su una rete "distribuita" di indizi — come il colore del cielo, la consistenza del pavimento o l'atmosfera generale della scena — piuttosto che concentrarsi sul singolo oggetto.

Più grande significa meglio?

Potreste pensare: "Beh, forse i modelli più vecchi e piccoli erano solo scarsi in questo, e le nuove super-IA lo hanno risolto". I ricercatori hanno controllato anche questo. Hanno esaminato modelli dal 2023 fino alle ultime uscite del 2025.

Il verdetto? No. Il pattern non è cambiato. Anche i modelli più avanzati, che possono rispondere a domande complesse e seguire istruzioni perfettamente, mostrano ancora questo distacco. Gli autori notano che il fatto che un modello ottenga un punteggio più alto in un test non significa che abbia sviluppato una migliore "mappa spaziale" dell'immagine. Sembra che un'elevata prestazione non significhi automaticamente che l'IA stia guardando nel posto giusto; significa solo che è molto brava a indovinare la risposta corretta usando qualunque indizio riesca a trovare.

Il test della "corda": Capiscono le forme?

Per scavare ancora più a fondo, il team ha posto una domanda diversa: se si toglie l' "aspetto" di un oggetto ma se ne mantiene la forma, l'IA lo capisce ancora? Hanno utilizzato un compito che coinvolgeva delle corde (linee) dove la geometria (la forma e le connessioni) rimaneva la stessa, ma l'aspetto cambiava.

Hanno scoperto che i modelli sfruttano indizi visivi per comprendere le strutture visive. Quando quegli indizi basati sull'aspetto venivano rimossi, i modelli faticavano a mantenere la comprensione della struttura. Ciò suggerisce che l'IA non stia realmente "vedendo" la forma in modo strutturale profondo e indipendente dal suo aspetto; si affida pesantemente a quegli espedienti superficiali dell'aspetto per dare senso alle connessioni. Quando quegli espedienti scompaiono, l'IA si perde.

Cosa significa per il futuro

L'articolo si conclude con un messaggio chiaro, sebbene leggermente inquietante: esiste un divario tra "vedere" e "ragionare".

I modelli non sono rotti; stanno solo lavorando in un modo che non ci aspettavamo. Sono come un detective che può risolvere un crimine notando che il sospettato indossa sempre un cappello rosso, senza mai guardare effettivamente il volto del sospettato. Le parti "causali" del loro cervello stanno facendo il lavoro, ma non stanno necessariamente guardando l'obiettivo.

Gli autori intendono ora esaminare modelli ancora più numerosi e diversi tipi di architetture di telecamere per vedere se questa è una regola universale per tutte le moderne IA o solo una particolarità di quelle testate. Per ora, suggeriscono che non dovremmo presumere che, poiché un'IA può descrivere un'immagine perfettamente, stia effettivamente "guardando" l'oggetto nel modo in cui pensiamo che lo faccia. L'IA potrebbe guardare l'intera immagine, ma mancare il punto specifico che ci interessa.