Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

Technische Samenvatting: Redeneringstokens als een Analoog voor Reactietijd in Visie-Taalmodellen

Probleemstelling
Visie-taalmodellen (VLM's) hebben een vloeiendheid bereikt in het beschrijven en redeneren over afbeeldingen, maar het blijft onduidelijk of hun interne mechanismen voor het lokaliseren van objecten in rommelige scènes lijken op menselijke visuele aandacht, of slechts menselijke output produceren via niet-menselijke processen. Een eeuw aan onderzoek naar menselijke visuele aandacht maakt gebruik van de relatie tussen reactietijd (RT) en het aantal items in een display (zoekhelling) om onderliggende mechanismen te diagnosticeren: vlakke hellingen duiden op parallelle, pre-attentieve "pop-out"-zoekacties, terwijl positieve hellingen wijzen op seriële, aandacht vereisende zoekacties. Het centrale methodologische obstakel bij het toepassen van dit paradigma op VLM's is de afwezigheid van een natuurlijke reactietijdmetriek voor een enkele forward pass van een model. Dit artikel vraagt zich af of VLM's dezelfde gedragssignaturen (zoekhellingen) vertonen als mensen en of het aantal gegenereerde redeneringstokens kan dienen als een geldige analogie voor zoekinspanning.

Methodologie
De studie past vier klassieke visuele zoekparadigma's toe en presenteert deze aan een suite van middenklasse en frontier VLM's (waaronder configuraties van Claude Sonnet 4.6, GPT-4o, o4-mini, Claude Opus 4.8 en GPT-5.5).

• Stimuli: Displays werden programmatisch gerenderd met variërende setgroottes (4, 8, 16, 32 items). De experimenten omvatten:
  1. Kenmerk- versus Conjunctiezoekactie: Het onderscheiden van een rode 'T' tussen zwarte 'T's (kenmerk) versus een rode 'T' tussen rode 'L's en zwarte 'T's (conjunctie).
  2. Resolutiecontrole: Het vervagen van conjunctie-displays om de kosten van zoeken te isoleren van de kosten van het oplossen van kleine vormen.
  3. Ruimtelijke Configuratiezoekactie: Een 'T' versus 'L' zoekactie zonder kleurkenmerken.
  4. Enumeratie: Het tellen van het aantal 'T's tussen de 'L's.
  5. Zoekasymmetrie: Het detecteren van een gekantelde staaf tussen verticale staven versus een verticale staaf tussen gekantelde staven.
• Inspanningsmaat: Omdat modellen geen reactietijd hebben, gebruikt de studie het aantal tussenliggende "redenerings-" of "denk"-tokens dat wordt uitgebracht vóór het uiteindelijke antwoord als een binnen-model proxy voor zoekinspanning. Deze maatstaf wordt vergeleken met een grote publieke menselijke benchmark (Wolfe et al., 2010) voor de kenmerk/conjunctie-taak en tegen kwalitatieve menselijke voorspellingen voor de overige taken.
• Analyse: De studie analyseert de helling van inspanning (tokens per item) over setgroottes en correleert de inspanningsfuncties van modellen met menselijke RT-functies. Het onderzoekt ook accuratieritmes, met name met betrekking tot de aanwezigheid/afwezigheid van een doelwit en enumeratiefouten.

Belangrijkste Resultaten
De modellen reproduceren verschillende menselijke signaturen, maar wijken op specifieke, informatieve manieren af:

• Overeenkomsten (Menselijke Signaturen):
  • Vlak versus Gevormd: Kenmerkzoekacties vereisten een vlakke inspanning (bijna nul helling) over alle modellen, terwijl conjunctiezoekacties inspanning vereisten die toenam met de setgrootte voor modellen die in staat zijn tot deliberatie.
  • Frontier versus Middenklasse: Frontier-modellen behielden een hoge accuratesse naarmate de setgrootte toenam, terwijl de accuratesse van middenklasse-modellen (bijv. GPT-4o, o4-mini) instortte richting kansniveau, wat de menselijke prestatiegrenzen onder hoge belasting weerspiegelt.
  • Resolutiecontrole: De verhoogde inspanning voor conjunctiezoekacties kwam niet louter door de moeilijkheid van het oplossen van kleine vormen, aangezien de inspanning hoog bleef zelfs wanneer afbeeldingen scherp waren, en slechts licht steeg bij extreme vervaging.
• Afwijkingen:
  • Target-Present/Absent Omkering: In menselijk zoeken is de helling voor target-absent trials doorgaans steiler dan voor target-present trials (uitputtend zoeken). VLM's vertoonden dit omgekeerd: de inspanningshelling voor target-present trials was steiler, wat suggereert dat modellen meer inspanning besteden aan het bevestigen en lokaliseren van een gevonden doelwit dan aan het verifiëren van afwezigheid.
  • Enumeratie: In tegen tegenstelling tot mensen, die het tellen verliezen en fouten maken naarmate de setgrootte toeneemt (subitizing-limieten), behielden VLM's een bijna perfecte tel-accuratesse. Zij betaalden voor deze accuratesse met verhoogde computationele inspanning (tokens) in plaats van verlies van accuratesse.
  • Modelspecifieke Afwijking (Adaptieve Deliberatie): Een model met adaptief denken (Claude Opus 4.8) weigerde vaak te delibereren op detectietaken, wat resulteerde in vlakke inspanningscurves. Bijgevolg verscheen dezelfde zoekasymmetrie die in GPT-5.5 als een inspanningsgradiënt manifest de, als een accuratesse-klif (prestatie op kansniveau) in het adaptieve model.

Bijdragen

1. Gedragsprotocol: Het artikel vestigt een psychofysisch-stijl protocol voor het bevragen van visuele zoekacties in VLM's die geen toegang vereist tot de interne mechanismen van het model (black-box testen).
2. Inspanningsmetriek: Het valideert het gebruik van het aantal redeneringstokens als een binnen-model analogie voor zoekinspanning, waarbij wordt aangetoond dat de vorm van de inspanningsfunctie (helling) overeenkomt met menselijke reactietijd-signaturen, ondanks het verschil in valuta (tokens versus milliseconden).
3. Diagnostische Catalogus: Het biedt een catalogus van overeenkomsten en afwijkingen tussen machine- en menselijke zoekacties, en betoogt dat de punten van afwijking even informatief zijn als de punten van overeenkomst voor het begrijpen van machine visuele cognitie.

Betekenis en Claims
Het artikel voert aan dat psychofysische paradigma's, wanneer ze gedragsmatig op VLM's worden toegepast, dienen als een scherpe en goedkope sonde voor machine visuele cognitie. De bevindingen suggereren dat frontier VLM's hun interne computationele organisatie langs een moeilijkheidsas organiseren die overeenkomt met de menselijke aandachtseis, waardoor de "vingerafdruk" van menselijke visuele zoekacties wordt gereproduceerd in de grove vorm van hun inspanning en accuratesse. De mechanismen verschillen echter: modellen voeren niet de geduldige, uitputtende sweeps uit die kenmerkend zijn voor menselijk target-absent zoeken, en zij ruilen rekenkracht in voor accuratesse bij enumeratie in plaats van te bezwijken onder werkgeheugenlimieten. Het artikel concludeert dat de breuk in de mens-machine analogie in deze specifieke details (verificatie van afwezigheid, tellen en adaptieve deliberatie) het begin markeert van interessante vragen over de aard van machine perceptie. De studie blijft bescheiden en merkt op dat token-aantallen een analogie zijn, geen vervanging voor reactietijd, en dat de resultaten begrensd zijn door de specifieke modellen en synthetische stimuli die zijn gebruikt.