Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

Resumen Técnico: Los tokens de razonamiento como un análogo del tiempo de reacción en modelos de visión y lenguaje

Planteamiento del problema
Los modelos de visión y lenguaje (VLM) han logrado fluidez al describir y razonar sobre imágenes, pero sigue sin estar claro si sus mecanismos internos para localizar objetos en escenas congestionadas se asemejan a la atención visual humana o si simplemente producen resultados similares a los humanos mediante procesos no humanos. Un siglo de investigación en la atención visual humana utiliza la relación entre el tiempo de reacción (RT) y el número de elementos en una muestra (pendiente de búsqueda) para diagnosticar los mecanismos subyacentes: las pendientes planas indican una búsqueda paralela y preatentiva de "aparición instantánea" (pop-out), mientras que las pendientes positivas indican una búsqueda serial que demanda atención. El obstáculo metodológico central para aplicar este paradigma a los VLM es la ausencia de una métrica natural de tiempo de reacción para una única pasada hacia adelante (forward pass) del modelo. Este artículo se pregunta si los VLM exhiben las mismas firmas conductuales (pendientes de búsqueda) que los humanos y si el número de tokens de razonamiento generados puede servir como un análogo válido para el esfuerzo de búsqueda.

Metodología
El estudio adapta cuatro paradigmas clásicos de búsqueda visual y los presenta a una serie de VLM de nivel medio y de vanguardia (incluyendo configuraciones de Claude Sonnet 4.6, GPT-4o, o4-mini, Claude Opus 4.8 y GPT-5.5).

• Estímulos: Las muestras fueron renderizadas programáticamente con diversos tamaños de conjunto (4, 8, 16, 32 elementos). Los experimentos incluyeron:
  1. Búsqueda de rasgos vs. conjunción: Distinguir una 'T' roja entre 'T's negras (rasgo) frente a una 'T' roja entre 'L's rojas y 'T's negras (conjunción).
  2. Control de resolución: Desenfocar las muestras de conjunción para aislar el costo de la búsqueda del costo de resolver formas pequeñas.
  3. Búsqueda de configuración espacial: Una búsqueda de 'T' vs. 'L' sin pistas de color.
  4. Enumeración: Contar el número de 'T's entre 'L's.
  5. Asimetría de búsqueda: Detectar una barra inclinada entre barras verticales frente a una barra vertical entre barras inclinadas.
• Medida de esfuerzo: Dado que los modelos carecen de tiempo de reacción, el estudio utiliza el número de tokens de "razonamiento" o "pensamiento" intermedios emitidos antes de la respuesta final como un proxy dentro del modelo para el esfuerzo de búsqueda. Esta medida se compara con un amplio referente humano público (Wolfe et al., 2010) para la tarea de rasgos/conjunción y contra predicciones humanas cualitativas para las otras tareas.
• Análisis: El estudio analiza la pendiente del esfuerzo (tokens por elemento) a través de los tamaños de conjunto y correlaciona las funciones de esfuerzo de los modelos con las funciones de RT humanas. También examina los patrones de precisión, particularmente respecto a la presencia/ausencia de objetivos y los errores de enumeración.

Resultos clave
Los modelos reproducen varias firmas similares a las humanas, pero divergen de formas específicas e informativas:

• Acuerdos (Firmas humanas):
  • Plano vs. Pendiente: La búsqueda de rasgos requirió un esfuerzo plano (pendiente cercana a cero) en todos los modelos, mientras que la búsqueda de conjunción requirió un esfuerzo que aumentó con el tamaño del conjunto para los modelos capaces de deliberar.
  • Vanguardia vs. Nivel medio: Los modelos de vanguardia mantuvieron una alta precisión a medida que aumentaba el tamaño del conjunto, mientras que los modelos de nivel medio (p. ej., GPT-4o, o4-mini) vieron cómo su precisión colapsaba hacia el azar, reflejando los límites del rendimiento humano bajo alta carga.
  • Control de resolución: El aumento del esfuerzo en la búsqueda de conjunción no se debió simplemente a la dificultad de resolver formas pequeñas, ya que el esfuerzo se mantuvo alto incluso cuando las imágenes eran nítidas, aumentando solo ligeramente en niveles extremos de desenfoque.
• Divergencias:
  • Reversión Presencia/Ausencia de objetivo: En la búsqueda humana, la pendiente para los ensayos con objetivo presente es típicamente más pronunciada que para los de objetivo ausente (búsqueda exhaustiva). Los VLM invirtieron esto: la pendiente de esfuerzo para los ensayos con objetivo presente fue más pronunciada, lo que sugiere que los modelos dedican más esfuerzo a confirmar y localizar un objetivo encontrado que a verificar la ausencia.
  • Enumeración: A diferencia de los humanos, que pierden la cuenta y cometen errores a medida que aumenta el tamaño del conjunto (límites de subitización), los VLM mantuvieron una precisión de conteo casi perfecta. Pagaron esta precisión con un mayor esfuerzo computacional (tokens) en lugar de una pérdida de precisión.
  • Divergencia específica del modelo (Deliberación adaptativa): Un modelo con pensamiento adaptativo (Claude Opus 4.8) a menudo declinó deliberar en tareas de detección, resultando en curvas de esfuerzo planas. Consecuentemente, la misma asimetría de búsqueda que se manifestó como un gradiente de esfuerzo en GPT-5.5 apareció como un precipicio de precisión (rendimiento a nivel de azar) en el modelo adaptativo.

Contribuciones

1. Protocolo conductual: El artículo establece un protocolo de estilo psicofísico para sondear la búsqueda visual de los VLM que no requiere acceso a los componentes internos del modelo (pruebas de caja negra).
2. Métrica de esfuerzo: Valida el uso del recuento de tokens de razonamiento como un análogo dentro del modelo para el esfuerzo de búsqueda, demostando que la forma de la función de esfuerzo (pendiente) se alinea con las firmas de tiempo de reacción humanas a pesar de la diferencia en la unidad de medida (tokens vs. milisegundos).
3. Catálogo diagnóstico: Proporciona un catálogo de acuerdos y divergencias entre la búsqueda de máquinas y humanos, argumentando que los puntos de divergencia son tan informativos como los de acuerdo para comprender la cognición visual de las máquinas.

Significancia y afirmaciones
El artículo sostiene que los paradigmas psicofísicos, cuando se aplican conductualmente a los VLM, sirven como una sonda aguda y económica de la cognición visual de las máquinas. Los hallazgos sugieren que los VLM de vanguardia organizan su computación interna a lo largo de un eje de dificultad que se alinea con la demanda de atención humana, reproduciendo la "huella digital" de la búsqueda visual humana en la forma bruta de su esfuerzo y precisión. Sin embargo, los mecanismos específicos difieren: los modelos no realizan los barridos pacientes y exhaustivos característicos de la búsqueda humana de objetivos ausentes, y cambian computación por precisión en la enumeración en lugar de sucumbir a los límites de la memoria de trabajo. El estudio concluye que la ruptura de la analogía humano-máquina en estos detalles específicos (verificación de ausencia, conteo y deliberación adaptativa) marca el inicio de preguntas interesantes sobre la naturaleza de la percepción de las máquinas. El estudio se mantiene modesto, señalando que los recuentos de tokens son un análogo, no un sustituto, del tiempo de reacción, y que los resultados están limitados por los modelos específicos y los estímulos sintéticos utilizados.