Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

Sintesi Tecnica: I Token di Ragionamento come Analogo del Tempo di Reazione nei Modelli Vision-Language

Definizione del Problema
I modelli vision-language (VLM) hanno raggiunto una fluidità nel descrivere e ragionare su immagini, eppure rimane poco chiaro se i loro meccanismi interni per la localizzazione di oggetti in scene affollate somiglino all'attenzione visiva umana o se producano semplicemente output simili a quelli umani tramite processi non umani. Un secolo di ricerca sull'attenzione visiva umana utilizza la relazione tra il tempo di reazione (RT) e il numero di elementi in un display (pendenza della ricerca) per diagnosticare i meccanismi sottostanti: le pendenze piatte indicano una ricerca parallela e pre-attentiva di tipo "pop-out", mentre le pendenze positive indicano una ricerca seriale che richiede attenzione. L'ostacolo metodologico centrale nell'applicare questo paradigma ai VLM è l'assenza di una metrica naturale del tempo di reazione per un singolo passaggio in avanti (forward pass) del modello. Questo articolo si chiede se i VLM esibiscano le stesse firme comportamentali (pendenze di ricerca) degli esseri umani e se il numero di token di ragionamento generati possa servire come valido analogo dello sforzo di ricerca.

Metodologia
Lo studio adatta quattro classici paradigmi di ricerca visiva e li presenta a una suite di VLM di fascia media e d'avanguardia (inclusi configurazioni di Claude Sonnet 4.6, GPT-4o, o4-mini, Claude Opus 4.8 e GPT-5.5).

• Stimoli: I display sono stati renderizzati programmaticamente con variabili dimensioni di set (4, 8, 16, 32 elementi). Gli esperimenti includevano:
  1. Ricerca di Caratteristiche vs. Congiunzione: Distinguere una 'T' rossa tra 'T' nere (caratteristica) rispetto a una 'T' rossa tra 'L' rosse e 'T' nere (congiunzione).
  2. Controllo della Risoluzione: Sfocare i display di congiunzione per isolare il costo della ricerca dal costo della risoluzione di forme piccole.
  3. Ricerca di Configurazione Spaziale: Una ricerca 'T' vs. 'L' senza indizi cromatici.
  4. Enumerazione: Contare il numero di 'T' tra le 'L'.
  5. Asimmetria di Ricerca: Rilevare una barra inclinata tra barre verticali rispetto a una barra verticale tra barre inclinate.
• Misura dello Sforzo: Poiché i modelli non dispongono di un tempo di reazione, lo studio utilizza il numero di token di "ragionamento" o di "pensiero" intermedi emessi prima della risposta finale come un proxy all'interno del modello per lo sforzo di ricerca. Questa misura viene confrontata con un ampio benchmark umano pubblico (Wolfe et al., 2010) per il compito di caratteristica/congiunzione e con previsioni umane qualitative per gli altri compiti.
• Analisi: Lo studio analizza la pendenza dello sforzo (token per elemento) attraverso le dimensioni dei set e correla le funzioni di sforzo del modello con le funzioni di RT umane. Esamina inoltre i pattern di accuratezza, in particolare riguardo alla presenza/assenza del target e agli errori di enumerazione.

Risultati Chiave
I modelli riproducono diverse firme simili a quelle umane, ma divergono in modi specifici e informativi:

• Accordi (Firme Umane):
  • Piatto vs. Pendente: La ricerca di caratteristiche ha richiesto uno sforzo piatto (pendenza vicina allo zero) in tutti i modelli, mentre la ricerca di congiunzione ha richiesto uno sforzo che aumentava con la dimensione del set per i modelli capaci di deliberazione.
  • Frontier vs. Mid-tier: I modelli d'avanguardia (frontier) hanno mantenuto un'alta accuratezza all'aumentare della dimensione del set, mentre i modelli di fascia media (es. GPT-4o, o4-mini) hanno visto l'accuratezza crollare verso il caso, rispecchiando i limiti delle prestazioni umane sotto alto carico.
  • Controllo della Risoluzione: L'aumento dello sforzo per la ricerca di congiunzione non era dovuto meramente alla difficoltà di risolvere forme piccole, poiché lo sforzo rimaneva elevato anche quando le immagini erano nitide, crescendo solo leggermente a livelli di sfocatura estrema.
• Divergenze:
  • Inversione Target-Presente/Assente: Nella ricerca umana, la pendenza per i trial con target assente è tipicamente più ripida di quella per i trial con target presente (ricerca esaustiva). I VLM hanno invertito questa tendenza: la pendenza dello sforzo per i trial con target presente era più ripida, suggerendo che i modelli dedichino più sforzo a confermare e localizzare un target trovato piuttosto che a verificare l'assenza.
  • Enumerazione: A differenza degli umani, che perdono il conto e commettono errori all'aumentare della dimensione del set (limiti di subitizzazione), i VLM hanno mantenuto un'accuratezza di conteggio quasi perfetta. Hanno pagato questa accuratezza con un aumento dello sforzo computazionale (token) anziché con una perdita di accuratezza.
  • Divergenza Specifica del Modello (Deliberazione Adattiva): Un modello con pensiero adattivo (Claude Opus 4.8) spesso ha declinato la deliberazione sui compiti di rilevamento, risultando in curve di sforzo piatte. Di conseguenza, la stessa asimmetria di ricerca che si manifestava come un gradiente di sforzo in GPT-5.5 è apparsa come un precipizio di accuratezza (prestazioni a livello del caso) nel modello adattivo.

Contributi

1. Protocollo Comportamentale: Il paper stabilisce un protocollo in stile psicofisico per sondare la ricerca visiva dei VLM che non richiede l'accesso agli interni del modello (test black-box).
2. Metrica dello Sforzo: Valida l'uso del conteggio dei token di ragionamento come un analogo all'interno del modello per lo sforzo di ricerca, dimostrando che la forma della funzione di sforzo (pendenza) si allinea con le firme del tempo di reazione umano nonostante la differenza nella valuta (token vs. millisecondi).
3. Catalogo Diagnostico: Fornisce un catalogo di accordi e divergenze tra ricerca macchina e umana, sostenendo che i punti di divergenza sono tanto informativi quanto i punti di accordo per comprendere la cognizione visiva delle macchine.

Significatività e Rivendicazioni
Il paper sostiene che i paradigmi psicofisici, quando applicati comportamentalmente ai VLM, fungano da sonda acuta ed economica della cognizione visiva delle macchine. Le scoperte suggeriscono che i VLM d'avanguardia organizzano la loro computazione interna lungo un asse di difficoltà che si allinea con la richiesta attentiva umana, riproducendo l' "impronta digitale" della ricerca visiva umana nella forma grossolana del loro sforzo e della loro accuratezza. Tuttavia, i meccanismi specifici differiscono: i modelli non eseguono le scansioni pazienti ed esaustive caratteristiche della ricerca umana del target assente, e scambiano la computazione con l'accuratezza nell'enumerazione invece di soccombere ai limiti della memoria di lavoro. Il paper conclude che il breakdown dell'analogia uomo-macchina in questi dettagli specifici (verifica dell'assenza, conteggio e deliberazione adattiva) segna l'inizio di domande interessanti sulla natura della percezione delle macchine. Lo studio rimane modesto, osservando che i conteggi dei token sono un analogo, non un sostituto, del tempo di reazione, e che i risultati sono limitati dai modelli specifici e dagli stimoli sintetici utilizzati.