Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

Resumo Técnico: Tokens de Raciocínio como um Análogo do Tempo de Reação em Modelos de Visão-Linguagem

Definição do Problema
Modelos de visão-linguagem (VLMs) alcançaram fluência ao descrever e raciocinar sobre imagens, mas permanece incerto se seus mecanismos internos para localizar objetos em cenas complexas se assemelham à atenção visual humana ou se apenas produzem saídas semelhantes às humanas via processos não humanos. Um século de pesquisa em atenção visual humana utiliza a relação entre o tempo de reação (RT) e o número de itens em uma exibição (inclinação de busca) para diagnosticar mecanismos subjacentes: inclinações planas indicam uma busca paralela e pré-atencional de "pop-out", enquanto inclinações positivas indicam uma busca serial que demanda atenção. O obstáculo metodológico central para aplicar este paradigma a VLMs é a ausência de uma métrica natural de tempo de reação para uma única passagem direta (forward pass) do modelo. Este artigo questiona se os VLMs exibem as mesmas assinaturas comportamentais (inclinações de busca) que os humanos e se o número de tokens de raciocínio gerados pode servir como um válido análogo para o esforço de busca.

Metodologia
O estudo adapta quatro paradigmas clássicos de busca visual e os apresenta a um conjunto de VLMs de nível médio e de fronteira (incluindo configurações de Claude Sonnet 4.6, GPT-4o, o4-mini, Claude Opus 4.8 e GPT-5.5).

• Estímulos: As exibições foram renderizadas programaticamente com variados tamanhos de conjunto (4, 8, 16, 32 itens). Os experimentos incluíram:
  1. Busca de Característica vs. Conjunção: Distinguir um 'T' vermelho entre 'T's pretos (característica) versus um 'T' vermelho entre 'L's vermelhos e 'T's pretos (conjunção).
  2. Controle de Resolução: Desfocar exibições de conjunção para isolar o custo da busca do custo de resolver formas pequenas.
  3. Busca de Configuração Espacial: Uma busca de 'T' vs. 'L' sem pistas de cor.
  4. Enumeração: Contar o número de 'T's entre 'L's.
  5. Assimetria de Busca: Detectar uma barra inclinada entre barras verticais versus uma barra vertical entre barras inclinadas.
• Medida de Esforço: Como os modelos carecem de tempo de reação, o estudo utiliza o número de tokens de "raciocínio" ou "pensamento" intermediários emitidos antes da resposta final como um proxy dentro do modelo para o esforço de busca. Esta medida é comparada contra um grande benchmark humano público (Wolfe et al., 2010) para a tarefa de característica/conjunção e contra previsões humanas qualitativas para as outras tarefas.
• Análise: O estudo analisa a inclinação do esforço (tokens por item) através dos tamanhos de conjunto e correlaciona as funções de esforço do modelo com as funções de RT humano. Também examina padrões de precisão, particularmente em relação à presença/ausência de alvo e erros de enumeração.

Principais Resultados
Os modelos reproduzem várias assinaturas humanas, mas divergem de formas específicas e informativas:

• Acordos (Assinaturas Humanas):
  • Plano vs. Inclinado: A busca de característica exigiu esforço plano (inclinação próxima de zero) em todos os modelos, enquanto a busca de conjunção exigiu esforço que aumentou com o tamanho do conjunto para modelos capazes de deliberação.
  • Fronteira vs. Nível Médio: Modelos de fronteira mantiveram alta precisão conforme o tamanho do conjunto aumentava, enquanto modelos de nível médio (ex: GPT-4o, o4-mini) viram a precisão colapsar em direção ao acaso, espelhando os limites de desempenho humano sob alta carga.
  • Controle de Resolução: O aumento do esforço para a busca de conjunção não se deveu meramente à dificuldade de resolver formas pequenas, pois o esforço permaneceu alto mesmo quando as imagens estavam nítidas, aumentando apenas ligeiramente em níveis extremos de desfoque.
• Divergências:
  • Reversão Alvo-Presente/Ausente: Na busca humana, a inclinação para tentativas de alvo-ausente é tipicamente mais íngreme do que para tentativas de alvo-presente (busca exaustiva). Os VLMs inverteram isso: a inclinação de esforço para tentativas de alvo-presente foi mais íngreme, sugerindo que os modelos gastam mais esforço confirmando e localizando um alvo encontrado do que verificando a ausência.
  • Enumeração: Diferente dos humanos, que perdem a contagem e cometem erros conforme o tamanho do conjunto aumenta (limites de subitização), os VLMs mantiveram precisão de contagem quase perfeita. Eles pagaram por essa precisão com aumento de esforço computacional (tokens) em vez de perda de precisão.
  • Divergência Específica do Modelo (Deliberação Adaptativa): Um modelo com pensamento adaptativo (Claude Opus 4.8) frequentemente declinou de deliberar em tarefas de detecção, resultando em curvas de esforço planas. Consequentemente, a mesma assimetria de busca que se manifestou como um gradiente de esforço no GPT-5.5 apareceu como um abismo de precisão (desempenho ao nível do acaso) no modelo adaptativo.

Contribuições

1. Protocolo Comportamental: O artigo estabelece um protocolo de estilo psicofísico para sondar a busca visual de VLMs que não requer acesso aos internos do modelo (teste de caixa preta).
2. Métrica de Esforço: Valida o uso da contagem de tokens de raciocínio como um análogo dentro do modelo para o esforço de busca, demonstrando que a forma da função de esforço (inclinação) se alinha com as assinaturas de tempo de reação humano, apesar da diferença na moeda (tokens vs. milissegundos).
3. Catálogo Diagnóstico: Fornece um catálogo de acordos e divergências entre a busca de máquinas e humanos, argumentando que os pontos de divergência são tão informativos quanto os pontos de acordo para entender a cognição visual de máquinas.

Significância e Alegações
O artigo argumenta que paradigmas psicofísicos, quando aplicados comportamentalmente a VLMs, servem como uma sonda aguda e de baixo custo da cognição visual de máquinas. Os achados sugerem que os VLMs de fronteira organizam sua computação interna ao longo de um eixo de dificuldade que se alinha com a demanda de atenção humana, reproduzindo a "impressão digital" da busca visual humana na forma bruta de seu esforço e precisão. No entanto, os mecanismos específicos diferem: os modelos não realizam as varreduras pacientes e exaustivas características da busca humana por alvo-ausente, e trocam computação por precisão na enumeração em vez de sucumbir a limites de memória de trabalho. O artigo conclui que a quebra da analogia humano-máquina nesses detalhes específicos (verificação de ausência, contagem e deliberação adaptativa) marca o início de questões interessantes sobre a natureza da percepção de máquina. O estudo permanece modesto, observando que as contagens de tokens são um análogo, não um substituto, para o tempo de reação, e que os resultados são limitados pelos modelos específicos e estímulos sintéticos utilizados.