From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning

Titolo: Dalle Pixel alla BFS: L'Alta Accuratezza nei Labirinti Visivi Non Implica la Pianificazione Visiva

1. Il Problema

I modelli linguistici multimodali (MLLM) hanno mostrato prestazioni impressionanti in compiti di ragionamento visivo. Tuttavia, sorge una domanda fondamentale: quando un modello risolve correttamente un compito spaziale complesso (come un labirinto), lo fa grazie a una comprensione spaziale genuina (simile a quella umana) o sta semplicemente eseguendo una ricerca esaustiva (brute-force) nello spazio dei token?
Il paper evidenzia che le metriche di accuratezza standard possono essere fuorvianti: un modello potrebbe ottenere un punteggio elevato utilizzando strategie computazionalmente costose e inefficienti, che non riflettono una vera intelligenza spaziale.

2. Metodologia: MAZEBENCH

Per indagare questo fenomeno, l'autore introduce MAZEBENCH, un benchmark progettato specificamente per isolare il ragionamento spaziale visivo.

• Dataset: 110 immagini di labirinti generati proceduralmente, organizzati in 9 gruppi sperimentali controllati.
  • Variabili controllate: Dimensione della griglia (da 5×5 a 20×20), densità dei muri (0-55%), numero di trappole, presenza di muri di confine e palette visive diverse.
  • Compito: Dato un'immagine di un labirinto, il modello deve restituire un oggetto JSON contenente la dimensione della griglia, la raggiungibilità della destinazione, la lunghezza del percorso più breve e la sequenza esatta di mosse (U/D/L/R).
• Valutazione:
  • Vengono testati 16 configurazioni di modelli da quattro provider principali: OpenAI (GPT-5.4), Anthropic (Claude Opus/Sonnet/Haiku), Google (Gemini 3.1 Pro/Flash) e Alibaba (Qwen 3.5).
  • Variabile chiave: Il "budget di ragionamento" (es. reasoning_effort di OpenAI, adaptive thinking di Anthropic) viene variato sistematicamente per osservare l'impatto sul numero di token consumati e sulla risoluzione.
  • Metriche: Tasso di risoluzione, accuratezza nella rilevazione della raggiungibilità, latenza e, soprattutto, efficienza dei token (token totali consumati per soluzione corretta).

3. Contributi Chiave e Risultati

A. L'Alta Accuratezza Nasconde Strategie di Brute-Force

• I modelli top (es. GPT-5.4 con ragionamento "medium") raggiungono un tasso di risoluzione del 91% e Gemini 3.1 Pro del 79%.
• Tuttavia, l'analisi qualitativa rivela che questi modelli non "vedono" il percorso. Seguono una strategia a due stadi:
  1. Traduzione Immagine-Griglia: Convertono l'immagine visiva in una rappresentazione testuale (matrice di righe/colonne).
  2. Enumerazione Seriale: Eseguono una ricerca in ampiezza (BFS) o una backtracking passo-passo direttamente nel testo, generando migliaia di token per trovare la soluzione.
• Evidenza: Quando i percorsi diventano troppo lunghi per essere enumerati entro il limite di token (es. labirinti 20×20), l'accuratezza crolla drasticamente (da 91% a 30%), non perché il modello non "veda" il labirinto, ma perché esaurisce lo spazio di pensiero.

B. Il Collo di Bottiglia è Visivo, non Logico (Caso Claude)

• I modelli Claude (Opus, Sonnet, Haiku) ottengono risultati molto bassi (2-6%), indipendentemente dalla dimensione del modello o dal budget di ragionamento.
• Ablazione con Griglia di Testo: Quando a Claude Sonnet 4.6 viene fornita direttamente la griglia testuale corretta (saltando la fase di estrazione visiva), il suo tasso di risoluzione schizza dal 6% all'80%.
• Conclusione: Il fallimento di Claude non è nel ragionamento, ma nella estrazione visiva. I modelli spesso identificano erroneamente le dimensioni della griglia o la posizione dei muri, portando a una ricerca esaustiva su una "griglia allucinata".

C. Inefficienza e Scalabilità

• Esiste una differenza di 9 volte nell'efficienza dei token tra i provider.
  • GPT-5.4 (basso sforzo): ~1.710 token per soluzione.
  • Gemini 3 Flash: ~15.171 token per soluzione (anche se esegue ragionamenti interni nascosti).
  • Claude: ~22.000+ token per soluzioni spesso errate.
• Dimensione del Modello: Aumentare le dimensioni del modello (es. da Haiku a Opus in Anthropic) non migliora il ragionamento spaziale; entrambi risolvono circa il 4% dei labirinti. La pianificazione spaziale non sembra essere una proprietà emergente della scala.

D. Fallimento sui Labirinti "Ultra-Hard"

• Su labirinti 20×20 con percorsi di 28-42 passi, i modelli falliscono sistematicamente quando il percorso supera il budget di token. GPT-5.4, ad esempio, dichiara falsamente che 4 su 7 labirinti raggiungibili sono "irraggiungibili" semplicemente perché non riesce a completare l'enumerazione del percorso.

4. Significato e Implicazioni

1. Le Metriche di Benchmarking sono Ingannevoli: Un alto punteggio di accuratezza su compiti visivi non garantisce una comprensione spaziale umana. I modelli possono ottenere risultati corretti attraverso strategie computazionalmente costose e fragili (enumerazione token-per-token) invece che attraverso una percezione olistica.
2. Natura della "Pianificazione" negli LLM: Attualmente, la "pianificazione" visiva negli MLLM è spesso una simulazione di algoritmi di ricerca (come BFS) eseguita nel linguaggio naturale, piuttosto che un ragionamento spaziale diretto.
3. Importanza dell'Efficienza: La capacità di un modello di risolvere un compito non dovrebbe essere misurata solo dalla correttezza, ma anche dall'efficienza dei token e dalla robustezza della strategia. I modelli che falliscono quando il budget di token è limitato non possiedono una vera intelligenza spaziale.
4. Compliance agli Istruzioni: Anche quando esplicitamente istruiti a non convertire l'immagine in una griglia testale o a non usare algoritmi di ricerca, i modelli tendono a violare queste istruzioni e a ricadere nella strategia di enumerazione, suggerendo una mancanza di capacità intrinseca di ragionamento visivo alternativo.

In sintesi, il paper dimostra che l'accuratezza nei compiti di pianificazione visiva è spesso un artefatto della potenza di calcolo e della capacità di enumerazione testuale, piuttosto che una prova di comprensione spaziale profonda. Per valutare il vero progresso dei modelli multimodali, è necessario analizzare le strategie interne, l'efficienza e i modi di fallimento, non solo il risultato finale.