🤖 AI

The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

Questo articolo introduce un framework di audit causale per dimostrare che il paradigma del "pensare con le immagini" nei modelli linguistici multimodali crea spesso un'illusione di efficacia, in cui l'uso di strumenti visivi non riesce a migliorare causalmente le risposte a causa della scarsa calibrazione della policy, nonostante i guadagni di accuratezza aggregata.

Autori originali: Zhiheng Wang, Bo Peng, Lai Wei, Chaochao Lu

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhiheng Wang, Bo Peng, Lai Wei, Chaochao Lu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di guardare la foto della scena del crimine una sola volta, hai una lente d'ingrandimento magica. Questo vetro ti permette di ingrandire dettagli minuscoli, ritagliare indizi specifici ed esaminarli da vicino prima di formulare il tuo sospetto finale. Nel mondo dell'Intelligenza Artificiale, questo viene chiamato "pensare con le immagini". Gli scienziati stanno insegnando a cervelli informatici super intelligenti (noti come Modelli di Linguaggio di Grandi Dimensioni Multimodali) a usare questi strumenti visivi, sperando che, "ingrandendo" e "guardando più da vicino", i computer diventino più bravi a rispondere a domande difficili. L'idea di fondo è che, se un essere umano deve socchiudere gli occhi per leggere una targa sfuocata, un computer dovrebbe essere in grado di fare la stessa cosa automaticamente.

Ma ecco l'inghippo: solo perché hai una lente d'ingrandimento non significa che tu sappia come usarla. A volte, potresti ingrandire nel punto sbagliato, o ingrandire così tanto da perdere l'intera immagine, o anche ingrandire quando conoscevi già la risposta. Questo articolo pone una domanda molto importante: quando questi detective AI usano i loro strumenti di zoom, stanno effettivamente usando le nuove informazioni che trovano per cambiare idea, o stanno solo fingendo di guardare mentre segretamente rimangono fedeli al loro sospetto originale? I ricercatori volevano scoprire se lo "zoom" stia effettivamente aiutando il computer a pensare, o se sia solo una danza appariscente che spreca tempo ed energia.

Il Grande Inganno dello Zoom

I ricercatori hanno deciso di mettere questi detective AI sotto un microscopio, ma non uno che osserva le cellule — hanno usato un "audit causale". Pensatelo come a un test speciale dove possono sostituire segretamente gli indizi che l'AI vede per vedere se l'AI ne tiene davvero conto. Hanno trattato il processo di pensiero dell'AI come una storia con tre livelli: la visione d'insieme (il piano generale), il centro della storia (l'intero percorso di osservazione) e i singoli passaggi (ogni volta che l'AI ingrandisce).

Hanno eseguito questo test su sei diversi modelli di AI utilizzando cinque diversi tipi di enigmi visivi complicati. Ciò che hanno scoperto è stato uno shock. Nonostante i modelli di AI che utilizzavano gli strumenti di zoom ottenessero a volte risultati leggermente migliori complessivamente, il miglioramento era minimo rispetto a quanta "potenza cerebrale" (token informatici) consumavano per ottenerlo. In effetti, per alcuni modelli, l'uso degli strumenti li rendeva addirittura peggiori nel risolvere i problemi rispetto a quanto sarebbero stati se avessero solo guardato l'immagine una volta e avessero indovinato immediatamente.

Lo studio ha rivelato due modi principali in cui l'AI sbaglia, che gli autori chiamano "Miscalibrazione della Policy".

1. Chiamare senza guardare (Il "Finto Detective")
Immaginate un detective che dice: "Devo ingrandire quella finestra!" ma poi chiude immediatamente gli occhi e indovina comunque la risposta. I ricercatori hanno scoperto che, per molti modelli di AI, l'informazione visiva che "trovavano" dopo lo zoom non cambiava affatto la loro risposta. L'AI stava solo seguendo il rituale. Era come uno studente che alza la mano per fare una domanda, ma poi ignora la risposta dell'insegnante e scrive semplicemente ciò che già pensava. Lo "zoom" era solo un rituale, non una vera ricerca della verità.

2. Guardare senza pianificare (L' "Eccessivo Pensatore")
Questo è il problema opposto. Immaginate un detective che trova l'indizio di cui ha bisogno, risolve il mistero, ma poi continua a ingrandire il pavimento, il soffitto e il gatto senza motivo. L'AI trovava la risposta giusta all'inizio, ma poi continuava a usare il suo strumento di zoom inutilmente, spesso ingrandendo punti inutili o finendo il tempo (o il "budget") prima di poter finire. Stava guardando, ma non aveva un piano per fermarsi.

La Minoranza "Calibrata"

La parte più interessante della scoperta è che l'AI non fallisce sempre. I ricercatori hanno scoperto che il piccolo successo fornito dagli strumenti derivava quasi interamente da un piccolo gruppo di tentativi "Calibrati". Questi erano i rari casi in cui l'AI sapeva esattamente quando ingrandire, cosa cercare e quando fermarsi.

Pensate a una classe di 100 studenti. Se l'insegnante dice: "Tutti usate la calcolatrice" e la media della classe sale di appena 1 punto, potrebbe sembrare che le calcolatrici siano fantastiche. Ma se guardate più da vicino, potreste scoprire che 90 studenti hanno solo premuto tasti a caso e si sono confusi, mentre solo 10 studenti sapevano effettivamente usare la calcolatrice per risolvere il problema. Il miglioramento "medio" era reale, ma era un'illusione creata da quella piccola e fortunata minoranza. Il resto della classe stava solo perdendo tempo.

Perché succede questo?

Gli autori suggeriscono una ragione probabile per questa confusione: il modo in cui questi modelli di AI vengono addestrati. Spesso vengono premiati solo per aver ottenuto la risposta finale corretta, non per come ci sono arrivati. È come un videogioco in cui ottieni punti solo per sconfiggere il boss, ma ottieni gli stessi punti sia che tu abbia combattuto il boss con intelligenza, sia che tu abbia solo corso in cerchio per un'ora. Poiché l'AI non viene punita per "Chiamare senza guardare" o "Guardare senza pianificare", impara che finché ottiene la risposta corretta alla fine, non importa se ha sprecato tempo o ha ignorato gli indizi che ha trovato.

Il succo della questione

Questo articolo non dice che gli strumenti visivi siano inutili. Dice che, al momento, la maggior parte dei modelli di AI li usa in un modo che è in gran parte una messa in scena. Stanno "pensando con le immagini" solo per nome. La vera svolta non arriverà dal dare all'AI più strumenti o dal renderla più veloce nello zoom; arriverà dall'insegnare all'AI ad ascoltare davvero ciò che vede e a sapere quando smettere di guardare. Fino ad allora, il "pensiero" potrebbe essere solo un'illusione, e l'AI sta solo indovinando mentre finge di sembrare molto impegnata.

Sintesi Tecnica: L'Illusione dell'Uso di Strumenti Visivi

Problema
Il paradigma del "pensare con le immagini" dota i Modelli Linguistici Multimodali (MLLM) di operazioni visive attive, come il crop-and-zoom (ritaglio e ingrandimento), per raccogliere prove granulari che vadano oltre una singola visione olistica. Tuttavia, osservazioni empiriche rivelano un "paradosso del miglioramento marginale": i modelli che utilizzano questi strumenti ottengono spesso solo guadagni di accuratezza marginali o addirittura negativi rispetto all'inferenza diretta, nonostante incorrano in costi di token sostanzialmente più elevati. Inoltre, i processi di rollout aumentati da strumenti falliscono frequentemente su domande che l'inferenza diretta risponde correttamente, spesso ritagliando ripetutamente regioni irrilevanti. La domanda centrale affrontata è se l'evidenza visiva restituita da questi strumenti influenzi causalmente la previsione finale, o se l'uso dello strumento sia solo un rituale performativo.

Metodologia: Un Framework di Audit Causale
Gli autori formulano l'uso di strumenti visivi come un Modello Causale Strutturale (SCM) sull'immagine di input $I$ , la query $Q$ , una sequenza di azioni degli strumenti $T_{1:n}$ , le osservazioni restituite $O_{1:n}$ e la risposta finale $Y$ . Questo framework distingue tra due percorsi causali dall'input all'output:

Percorsi mediati dall'osservazione ( $T \to O \to Y$ ): dove il contenuto visivo dell'osservazione fonda realmente la risposta.
Scorciatoie indotte dall'azione ( $T \to Y$ ): dove la mera presenza di un'azione dello strumento influenza la risposta, indipendentemente dal contenuto dell'osservazione.

Per sottoporre a audit questi percorsi, il documento propone un protocollo di intervento a tre livelli:

Livello di Policy: confronta le policy abilitate dagli strumenti ( $\pi_{tool}$ ) rispetto alle policy di inferenza diretta ( $\pi_{direct}$ ) per misurare l'Effetto del Trattamento Medio (ATE) sull'accuratezza.
Livello di Traiettoria: corrompe dinamicamente tutte le osservazioni restituite ( $O_i$ ) durante il rollout (ad esempio, sostituendole con ritagli casuali della stessa immagine) per misurare l'effetto totale della rimozione dell'evidenza visiva, incluse le reazioni della policy indotte dall'azione, come l'esaurimento del budget.
Livello di Step: introduce il Visual Evidence Gain (VEG), un estimando controfattuale. Per uno specifico step $i$ , il divario di confidenza del modello viene misurato prima della chiamata, dopo la reale osservazione e dopo un'osservazione controfattuale (un ritaglio da una posizione diversa). $VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$ isola il contributo causale del contenuto visivo specifico, filtrando la scorciatoia indotta dall'azione.

Contributi Chiave

Formulazione Causale: il documento operazionalizza l'uso di strumenti visivi come un grafo causale, disgiungendo l'utilità mediata dall'osservazione dalle scorciatoie indotte dall'azione tramite un protocollo di intervento a tre livelli.
Identificazione della Miscalibrazione della Policy: lo studio identifica la "miscalibrazione della policy" come il collo di bottiglia centrale, caratterizzata da due distinti modi di fallimento:
- Chiamare Senza Guardare (Calling Without Looking - CWL): il modello chiama gli strumenti, ma il contenuto visivo non ha alcun effetto causale sulla risposta (sia a causa di una fiducia pregressa saturata, sia per chiamate strutturalmente inattive).
- Guardare Senza Pianificare (Looking Without Planning - LWP): il contenuto visivo è informativo, ma lo schema delle chiamate è incoerente (ad esempio, continuare a chiamare dopo che la risposta è già stata determinata o esaurire il budget su regioni non informative).
Diagnostica a Livello di Traiettoria: un classificatore deterministico suddivide ogni rollout in quattro gruppi: No-call, Modo 1 (CWL), Modo 2 (LWP) e Calibrato (uso efficace).
Decomposizione dei Guadagni: gli autori decompongono il guadagno aggregato di accuratezza a livello di policy nelle contribuzioni di questi gruppi, rivelando che i miglioramenti sono concentrati quasi interamente nella minoranza Calibrata.

Risultati
Valutato su sei modelli rappresentativi (inclusi DeepEyes, Mini-o3, Qwen3-VL e Thima) e cinque benchmark di percezione fine:

Guadagni Marginali: gli ATE a livello di policy sono spesso piccoli o negativi. Ad esempio, DeepEyes mostra un miglioramento essenzialmente nullo, mentre Mini-o3 e Qwen3-VL-8B mostrano guadagni modesti su specifici benchmark.
Inefficacia Causale: gli interventi a livello di traiettoria (corruzione delle osservazioni) causano massicci cali di accuratezza in modelli come Mini-o3 e Qwen3-VL, suggerendo che essi si affidino pesantemente alla struttura dell'interfaccia dello strumento piuttosto che al contenuto visivo, o che la loro pianificazione collassi quando il feedback viene corrotto.
Analisi VEG: l'analisi a livello di step rivela che per molti modelli (ad esempio, DeepEyes), il VEG è vicino allo zero in tutte le chiamate, indicando che il contenuto visivo viene ignorato. Per altri (ad esempio, Qwen3-VL-8B), il VEG è alto solo quando il modello non è ancora saturo, ma il modello continua frequentemente a chiamare dopo la saturazione (Over-Extension).
L'Illusione: il sottoinsieme Calibrato (dove gli strumenti sono usati efficacemente) costituisce una minoranza dei rollout (ad esempio, ~20-45% a seconda del modello). I guadagni di accuratezza aggregati riportati nei benchmark sono guidati quasi esclusivamente da questo sottoinsieme, mentre la maggior parte delle chiamate agli strumenti è o scollegata dalla risposta (CWL) o programmata in modo incoerente (LWP).

Significatività e Rivendicazioni
Il documento sostiene di aver esposto l'"illusione dell'uso di strumenti visivi": i guadagni di accuratezza aggregati osservati nei benchmark creano un'impressione fuorviante che l'uso di strumenti visivi sia ampiamente ed efficacemente causale. In realtà, per una vasta gamma di rollout, l'evidenza visiva restituita non media causalmente la risposta.

Gli autori propongono l'ipotesi della trappola RL (RL-trap hypothesis), suggerendo che l'apprendimento per rinforzo basato solo sul risultato (che premia solo la risposta finale corretta) rinforzi la scorciatoia $T \to Y$ (Modo 1) e non riesca a penalizzare i passaggi ridondanti o dannosi (Modo 2), poiché sia una traiettoria Calibrata che una di Modo 1 ricevono lo stesso premio finale.

La significatività di questo lavoro risiede nello spostare il focus della valutazione da "il modello chiama gli strumenti?" a "il modello pensa con le immagini?". Il diagnostico proposto offre usi operativi, come metriche di valutazione oltre l'accuratezza, adattamento all'inferenza (bypassare gli strumenti per il Modo 1 o l'arresto anticipato per il Modo 2) e assegnazione del credito consapevole del processo per migliorare l'addestramento. Gli autori notano che le loro conclusioni sono limitate a modelli open-source con accesso white-box per gli interventi a livello di step e si concentrano principalmente sull'operazione di crop-and-zoom.

Il Grande Inganno dello Zoom

La Minoranza "Calibrata"

Perché succede questo?

Il succo della questione

Articoli simili