TraversalBench: Challenging Paths to Follow for Vision Language Models

1. Il Problema

I modelli Vision-Language (VLM) hanno mostrato progressi rapidi su molti benchmark multimodali, ma la loro capacità di seguire percorsi visivi complessi rimane scarsamente testata e sorprendentemente fragile. Mentre per gli osservatori umani tracciare un singolo percorso continuo è un compito intuitivo, i modelli attuali faticano a mantenere un "grounding" visivo (ancoraggio all'immagine) fedele e sequenziale.

Le valutazioni esistenti spesso confondono diverse fonti di difficoltà (OCR, interpretazione semantica, conoscenza del dominio, pianificazione di rotte), rendendo difficile isolare le specifiche cause di fallimento nel ragionamento spaziale. Il paper identifica la necessità di un benchmark controllato per testare la capacità dei modelli di tracciare percorsi visivi esatti senza dipendere da conoscenze esterne o capacità di lettura del testo (OCR).

2. Metodologia: TraversalBench

Gli autori introducono TRAVERSALBENCH, un benchmark controllato progettato per isolare il ragionamento visivo fedele al percorso.

• Compito: Ogni istanza presenta una singola polilinea continua, un marcatore di inizio unico e marcatori posizionati ai vertici del percorso. Il compito del modello è recuperare la sequenza ordinata esatta dei marcatori incontrati percorrendo il percorso dall'inizio alla fine.
• Fattori Controllati: Il dataset bilancia sistematicamente quattro fattori strutturali chiave per determinare la difficoltà:
  1. Tortuosità: Quanto il percorso è sinuoso (discretizzato in 6 bin).
  2. Numero di Autointersezioni: Quanti volte il percorso si incrocia con se stesso (il fattore più critico).
  3. Numero di Vertici: La lunghezza e complessità topologica del percorso.
  4. Linee Confondenti: Segmenti non-target vicini che agiscono come distrattori visivi senza modificare il percorso target.
• Generazione dei Dati: I percorsi sono generati proceduralmente come "backbone" di polilinee, con vincoli geometrici rigorosi (lunghezza segmenti, spaziatura, evitare artefatti di rendering) per garantire che la difficoltà derivi dalla struttura del percorso e non da errori di rendering.
• Valutazione: Sono stati testati sei modelli VLM (inclusi Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.6, Qwen3-VL). Le metriche principali sono l'accuratezza di corrispondenza esatta (Exact Match - EM) e l'accuratezza a livello di token (Token-Level Accuracy).

3. Risultati Chiave

L'analisi dei risultati rivela diverse scoperte fondamentali sulle modalità di fallimento dei VLM:

• Le Autointersezioni sono il Fattore Dominante: Le intersezioni del percorso sono la fonte principale di difficoltà. L'accuratezza crolla drasticamente quando il numero di incroci aumenta, molto più velocemente rispetto all'aumento della tortuosità o del numero di vertici.
• Collo di Bottiglia Locale (First-Crossing Analysis): L'analisi mostra che gli errori non sono distribuiti uniformemente. I modelli spesso tracciano correttamente il percorso fino al primo incrocio, ma subiscono un crollo improvviso di prestazioni proprio nel momento in cui devono scegliere la continuazione corretta all'incrocio. Questo suggerisce un'instabilità nel mantenimento dello stato visivo quando l'ambiguità locale aumenta.
• Effetto delle Linee Confondenti: Le linee vicine non-target causano un degrado delle prestazioni più persistente e cumulativo rispetto alle intersezioni. Man mano che il modello incontra più distrattori, l'accuratezza diminuisce gradualmente, indicando un carico cognitivo di distrazione che si accumula lungo la sequenza.
• Limiti del "Reasoning" (Ragionamento): L'aumento del budget di ragionamento (es. modelli con capacità di pensiero profondo) non risolve sistematicamente il problema. Sebbene alcuni modelli migliorino sulla precisione quando forniscono una risposta, il loro tasso di risposta (answer rate) crolla sui casi più difficili, suggerendo che il ragionamento interno non compensa la mancanza di un ancoraggio visivo stabile.
• Bias di Lettura: Un'analisi ausiliaria mostra una preferenza per layout compatibili con la scansione da sinistra a destra, ma questo non spiega i principali effetti di complessità del percorso.

4. Contributi Principali

1. Introduzione di TraversalBench: Un nuovo benchmark controllato che richiede attenzione visiva sostenuta e ragionamento spaziale fedele, minimizzando la dipendenza da OCR e conoscenza del mondo.
2. Decomposizione della Complessità: Il lavoro isola e bilancia quattro assi di difficoltà interpretabili, permettendo di distinguere tra fallimenti dovuti a ambiguità locale (incroci) e distrazione globale (linee confondenti).
3. Diagnosi delle Modalità di Fallimento: Dimostrazione che i modelli non falliscono per incapacità totale di tracciare, ma per un'instabilità localizzata nei punti critici (incroci) e un degrado cumulativo dovuto ai distrattori.
4. Implicazioni per l'Architettura: I risultati suggeriscono che i modelli attuali non riescono a mantenere uno stato "grounded" nell'immagine durante la generazione sequenziale, specialmente quando l'ambiguità visiva richiede un nuovo ancoraggio.

5. Significato e Impatto

Questo studio posiziona TRAVERSALBENCH come uno strumento diagnostico essenziale per la comunità VLM.

• Oltre i Punteggi Aggregati: Mostra che le prestazioni aggregate possono sovrastimare le capacità di ragionamento fedele su input strutturati.
• Grounding Visivo Sostenuto: Evidenzia un "punto cieco" fondamentale: i modelli faticano a mantenere l'attenzione visiva su percorsi continui in presenza di ambiguità e clutter, un requisito fondamentale per compiti del mondo reale come la lettura di mappe, diagrammi di transito o schemi tecnici.
• Direzione Futura: I risultati indicano che semplicemente aumentare il ragionamento inferenziale non è una soluzione completa. Potrebbero essere necessari più dati di addestramento specifici per il tracciamento visivo o procedure di addestramento che incoraggino un ancoraggio all'immagine più robusto e continuo durante la generazione.

In sintesi, il paper dimostra che la capacità di seguire percorsi visivi è un test fondamentale per la robustezza spaziale dei VLM, rivelando che le attuali architetture soffrono di un'instabilità critica quando devono risolvere ambiguità locali in contesti visivamente complessi.