Il dilemma del detective: quando vedere non è abbastanza

Immaginate di essere un detective che cerca di risolvere un mistero, ma invece di cercare indizi, state fissando una singola fotografia ad alta risoluzione. Nel mondo dell'intelligenza artificiale, questo è ciò che fanno i "modelli multimodali": guardano le immagini e cercano di rispondere a domande su di esse. Per molto tempo, questi detective artificiali sono diventati più bravi imparando a usare degli "strumenti". Se un indizio è troppo piccolo per essere visto, imparano a ingrandire. Se un testo è sfocato, imparano ad aumentare la luminosità dell'immagine. Questo si chiama "pensare con le immagini". È come dare al detective una lente d'ingrandimento e una torcia.

Tuttavia, c'è un problema. Alcuni misteri non si risolvono solo guardando più attentamente. Immaginate un puzzle in cui dovete contare esattamente quanti pixel ci sono in un determinato schema, o capire l'angolo preciso di rotazione di un anello nascosto. Nessun ingrandimento o aumento della luminosità vi aiuterà a "vedere" la risposta con gli occhi. Dovete calcolarla. È qui che il vecchio modo di pensare si scontra con un muro. L'IA può descrivere i passaggi per risolvere il puzzle a parole, ma le parole non possono fare matematica su un'immagine. Questo articolo entra in quel vuoto, ponendo una domanda semplice ma profonda: E se l'IA non si limitasse a descrivere la soluzione, ma scrivesse effettivamente un programma per computer per eseguire la soluzione?

La grande idea del paper: il codice come pensiero

Questo articolo introduce un nuovo modo per l'IA di risolvere enigmi visivi chiamato Code-with-Image. Invece di chiedere all'IA di "guardare" semplicemente un'immagine e indovinare la risposta, o di usare una lista predefinita di strumenti come "ritaglia" o "ruota", i ricercatori forniscono all'IA una tela bianca e un interprete Python (uno strumento che esegue codice informatico). Il compito dell'IA è scrivere un programma che manipoli direttamente i pixel dell'immagine per trovare la risposta.

Pensatelo in questo modo: nel vecchio metodo, se chiedeste a un'IA: "Quanti puntini rossi ci sono in questa immagine?", essa potrebbe provare a descrivere i puntini o usare uno strumento per evidenziarli. In Code-with-Image, l'IA deve scrivere uno script che dica: "Scorri ogni pixel, controlla se è rosso, contalo e stampa il totale". Il programma è il ragionamento. Se il codice è corretto, la risposta è corretta. Se il codice è sbagliato, la risposta è sbagliata. Questo sposta la sfida dal "vedere" la risposta al "costruire" la risposta.

Il problema: l'IA sa descrivere, ma non sa fare

I ricercatori hanno scoperto che anche i modelli di IA più intelligenti incontrano difficoltà. Hanno testato un enorme benchmark chiamato CwI-Bench (Code-with-Image Bench), che contiene 30 diversi tipi di enigmi visivi. Questi enigmi sono progettati in modo tale che non sia possibile limitarsi a "guardarli" per ottenere la risposta; è necessario eseguire un calcolo multi-step sui pixel.

Quando l'IA cercava di risolvere questi enigmi usando solo le parole (anche con la sua modalità di "pensiero" attiva), falliva miseramente. Ad esempio, il modello di punta, GPT-5.6-luna, otteneva meno del 30% di risposte corrette. Poteva descrivere perfettamente i passaggi ("Devo ruotare l'immagine e contare i pixel"), ma non riusciva a fare materialmente i calcoli. Era come uno chef che sa descrivere una ricetta nei minimi dettagli ma non sa cucinare il piatto.

Tuttavia, quando i ricercatori hanno fornito all'IA un interprete Python e le hanno detto di scrivere il codice per risolvere il problema, i punteggi sono saliti. L'accuratezza di GPT-5.6-luna è salita al 43%. Il modello open-source Qwen3.5-27B è passato dal 12,6% al 32,6%. Il codice ha permesso all'IA di elaborare effettivamente i dati dell'immagine, trasformando un gioco d'azzardo in un calcolo.

Il segreto: insegnare a se stessi a fare il debug

Ma ecco il colpo di scena: anche con la capacità di scrivere codice, l'IA commetteva ancora errori. Scriveva un programma che sembrava corretto ma che conteneva un errore minuscolo e invisibile — come contare un pixel in più o usare il numero sbagliato per una rotazione. L'IA eseguiva il codice, otteneva la risposta errata e poi provava semplicemente a scrivere un nuovo programma, spesso commettendo lo stesso errore.

Per risolvere questo problema, gli autori hanno creato un ciclo di "auto-evoluzione" chiamato Self-Reflection over Executed Reasoning (Riflessione su Ragionamento Eseguito). Questa è la parte più giocosa della storia. Immaginate l'IA come uno studente che sostiene un esame. Quando sbaglia una domanda, invece di passare oltre, è costretta a:

1. Esaminare il test fallito: Leggere il codice che ha scritto e la risposta errata ottenuta.
2. Eseguire una simulazione: Rieseguire il codice in un ambiente sicuro ("sandbox") per vedere esattamente dove si è interrotto.
3. Correggere il bug: Modificare il codice per correggere l'errore.
4. Salvare la lezione: Se la correzione funziona, salva il codice corretto come una "abilità" (un pezzo di testo) in una libreria.

Tutto questo avviene senza che l'IA debba essere riaddestrata o che il suo "cervello" venga riprogrammato. Impara semplicemente dai propri fallimenti. L'articolo mostra che questo ciclo di "auto-insegnamento" è incredibilmente potente.

• Per il modello GPT-5.6-luna, l'uso di queste abilità auto-evolute ha aumentato l'accuratezza dal 43% al 67%.
• Per il modello Qwen3.5-27B, è passata dal 32,6% al 55,9%.

Perché questo è importante: abilità che puoi copiare e incollare

Uno dei risultati più interessanti è che queste "abilità" sono semplice testo. Non sono bloccate dentro il cervello dell'IA. I ricercatori hanno dimostrato che potevano prendere le abilità apprese da un modello enorme e potente (come il modello da 27 miliardi di parametri) e incollarle in un modello molto più piccolo e debole (da 9 miliardi di parametri).

Il modello più piccolo, che da solo non era in grado di risolvere i problemi, è diventato improvvisamente molto più bravo solo leggendo la "guida di riferimento" scritta dal modello più grande.

• Il modello da 9B è passato da un'accuratezza dell'11,1% al 34,5% solo utilizzando le abilità evolute dal modello da 27B.
• Ancora più sorprendente, queste abilità funzionavano su diversi tipi di modelli IA. Un'abilità appresa da una famiglia di modelli aiutava una famiglia di modelli completamente diversa a migliorare.

Cosa esclude questo paper

L'articolo è molto chiaro su ciò che non funziona. Sostiene che fornire semplicemente a un'IA una lista di strumenti (come "ingrandisci", "ritaglia" o "cerca") non sia sufficiente per questi specifici tipi di problemi. L'IA deve scrivere il proprio algoritmo da zero. Mostra anche che il semplice "pensare" più intensamente a parole non aiuta; il collo di bottiglia non è la mancanza di idee, ma la mancanza di esecuzione. L'IA può descrivere l'algoritmo, ma senza eseguire il codice, non può risolvere l'enigma.

In sintesi

Questo articolo suggerisce che per i problemi visivi che richiedono calcoli precisi, il modo migliore per un'IA di pensare è scrivere codice. Ma la vera svolta è che questi modelli di IA possono insegnare a se stessi a diventare più bravi a scrivere quel codice, facendo il debug dei propri errori. Non hanno bisogno di un insegnante umano che corregga il loro codice; hanno solo bisogno di una sandbox in cui eseguirlo, di uno specchio per vedere dove hanno fallito e di un po' di pazienza per riprovarci.

I risultati sono misurati e specifici: su un benchmark di 30 famiglie di compiti, le abilità auto-evolute hanno elevato le prestazioni dei modelli top dai bassi 40 ai alti 60 (percentuale di accuratezza). Sebbene l'articolo non sostenga che questo risolva ogni problema visivo, dimostra che per i compiti in cui la risposta risiede nella matematica dei pixel piuttosto che nell'ispezione oculare, la programmazione è la chiave, e la riflessione è la chiave maestra.