Looked but didn't see: inattentional blindness and yes-bias confabulation in vision-language models

Resumo Técnico: Cegueira Inatencional e Confabulação de Viés de "Sim" em Modelos de Visão-Linguagem

Definição do Problema
O artigo investiga se os contemporâneos Modelos de Visão-Linguagem (VLMs) exibem "cegueira inatencional" (IB) — um fenômeno onde observadores falham em notar estímulos inesperados quando sua atenção está engajada em uma tarefa visual exigente. Este comportamento foi demonstrado famosamente em sujeitos humanos (Simons & Chabris, 1999) e radiologistas treinados (Drew, Võ, & Wolfe, 2013), que falharam em relatar uma figura de um gorila sobreposta a exames de TC de tórax, apesar dos dados de rastreamento ocular confirmarem que eles fixaram o olhar nela.

Os autores questionam se essa assinatura comportamental se replica em VLMs, que processam imagens inteiras em paralelo sem um gargalo foveal biológico. Além disso, o artigo aborda uma lacuna metodológica crítica: ao contrário dos sujeitos humanos, os VLMs exibem "alucinação" ou confabulação, onde geram descrições fluentes e localizadas de estímulos que não estão presentes. Consequentemente, um simples "Sim" a um questionamento direto (ex: "Você viu um gorila?") não pode distinguir entre percepção genuína e viés de resposta (confabulação). O estudo postula que, sem uma linha de base de falso-alarme de controle correspondente e uma análise de detecção de sinal, as afirmações sobre a percepção dos VLMs são fundamentalmente interpretáveis.

Metodologia
O estudo empregou três braços experimentais usando exames de TC de tórax renderizados como pilhas de vídeo em rolagem, com uma figura de gorila surgindo e desaparecendo gradualmente sobre fatias específicas (aprox. 48× o tamanho de um nódulo típico).

1. Experimento 1 (Panorama entre Modelos):

   • Sujeitos: 20 configurações de modelos através de três fornecedores (OpenAI, Anthropic, Google DeepMind) e três gerações (2024–2026), incluindo variações com e sem modos de "raciocínio".
   • Estímulos: 144 compostos de imagens estáticas (gorila presente) e 12 controles correspondentes, apresentados sob quatro tipos de prompt (focado na tarefa, clínico, aberto e induzido/primed).
   • Pontuação: As respostas foram pontuadas via um sistema de dois níveis: L1 (regex para termos de animais) e L2 (um modelo de ponta atuando como juiz, comparando descrições de imagens com e sem gorila para detectar anomalias localizadas).

2. Experimento 2 (Replicação de Drew et al., 2013):

   • Sujeito: Um único modelo, Gemini-3.1-Pro.
   • Design: Uma sequência de 5 tentativas (4 aquecimentos de controle + 1 alvo) em uma única conversa. O alvo era ou com presença de gorila ou ausência de gorila.
   • Sondas (Probes): Após a tarefa, o modelo recebeu três sondas de consciência escalonadas, idênticas às de Drew et al. (2013):
     • q1: "A tentativa final pareceu diferente...?"
     • q2: "Você notou algo incomum...?"
     • q3: "Você viu um gorila...?"
   • Controles: Uma "sub-execução de detectabilidade de imagem estática limpa" foi realizada em um modelo sucessor (gemini-3.1-pro-preview) usando conversas novas e sem contexto para estabelecer uma linha de base de falso-alarme, corrigindo a natureza de confusão do q4 de dentro da conversa.

3. Braço de Segmentação:

   • Sujeitos: Dois modelos de segmentação via prompt de texto: SAM 3 (generalista de imagens naturais) e BiomedParse (especialista médico).
   • Tarefa: Aplicados aos mesmos vídeos de estímulo congelados sob prompts para "gorilla", "lung_field" e "nodule".
   • Métrica: Taxas de detecção em frames com presença de gorila vs. taxas de falso-alarme em frames de controle sem gorila.

Resultados Principais

• Replicação da Cegueira Inatencional: Na condição espontânea, durante a tarefa (antes de qualquer sonda), o VLM falhou em relatar o gorila em 23 de 24 tentativas (taxa de erro de 96%), espelhando de perto a taxa de erro de 83% observada em radiologistas humanos. O modelo continuou a tarefa de busca de nódulos sem desviar, paralelamente ao comportamento humano.
• Viés de "Sim" e Confabulação: À medida que as sondas se tornavam mais indutivas (de q1 para q3), a capacidade do modelo de discriminar sinal de ruído colapsava.
  • Na sonda sutil q1, a sensibilidade ($d'$) foi de 1.22.
  • Na sonda direta q3 ("Você viu um gorila?"), a sensibilidade caiu para 0.20, e o critério de resposta ($c$) oscilou para -1.18, indicando um forte viés de "sim".
  • Em tentativas de controle (sem gorila), o modelo frequentemente confabulava timestamps e coordenadas pulmonares específicas, citando frequentemente os pesquisadores originais (Drew, Võ e Wolfe) pelo nome.
• Reconhecimento de Paradigma: O modelo reconheceu explicitamente o paradigma do "gorila invisível" em 67% das tentativas (tanto com gorila quanto controle), sugerindo que suas respostas foram influenciadas pelo reconhecimento do design experimental em seus dados de treinamento, em vez de pura percepção visual.
• Dissociação de Segmentação:
  • SAM 3 (generalista) detectou o gorila na janela com alta precisão, mas teve uma taxa de falso-alarme quase zero em vídeos de controle (0.7%).
  • BiomedParse (especialista) detectou o gorila na janela (92%), mas exibiu uma taxa massiva de falso-alarme em vídeos de controle (82%), sinalizando "gorilla" em quase todos os frames quando solicitado.
• Detectabilidade Limpa: Quando o pico de fatia do gorila foi apresentado em uma conversa nova e sem contexto como o objeto explícito de busca, o modelo alcançou 100% de taxa de acerto e 0% de taxa de falso-alarme ($d' = 4.11$), provando que o gorila estava perceptualmente disponível, mas foi ignorado durante a tarefa exigente.

Principais Contribuições

1. Replicação Comportamental: Demonstrou que a assinatura comportamental da cegueira inatencional (falha de relatório de estímulos inesperados devido à tarefa, apesar da fixação visual) se reproduz em VLMs.
2. Correção Metodológica: Estabeleceu que as taxas brutas de "Sim" em tarefas de percepção de VLM são confundidas por alucinação e viés de resposta. O artigo argumenta que qualquer afirmação sobre "o modelo viu X" requer uma linha de base de falso-alarme de controle correspondente e análise de detecção de sinal (calculando $d'$ e o critério $c$).
3. Confundimento por Reconhecimento de Paradigma: Identificou um modo de falha único onde LLMs reconhecem o paradigma experimental de seus dados de treinamento, levando à confabulação em tentativas de controle que mimetiza a percepção. Isso sugere que paradigmas cognitivos clássicos não podem ser aplicados sem modificações a LLMs.
4. Generalização para Modelos Não Conversacionais: Mostrou que a necessidade de linhas de base de falso-alarme se estende além de VLMs conversacionais para modelos de segmentação via prompt de texto, onde modelos "especialistas" podem exibir altas taxas de falsos positivos que são mascaradas por protocolos de avaliação de estímulo único.

Significância e Alegações
O artigo alega que, embora os VLMs exibam um análogo funcional da cegueira inatencional, a interpretação de sua percepção é fundamentalmente diferente da dos observadores humanos devido à presença de confabulação. Os autores afirmam que, sem controles de linha de base explícitos, os benchmarks atuais correm o risco de superestimar a recuperação perceptual dos VLMs sob questionamento direto.

Para a IA de radiologia, o estudo destaca um modo de falha relevante para implantação: um modelo especialista médico pode parecer altamente preciso em testes de estímulo único (detectando a anomalia quando presente), mas pode gerar excesso de falsos positivos em ambientes clínicos se carecer da especificidade para distinguir a anomalia da anatomia normal quando solicitado. Os autores concluem que as futuras avaliações de VLMs como sujeitos cognitivos devem considerar tanto a "confabulação sob questionamento indutivo" quanto o "reconhecimento de paradigma a partir de dados de treinamento" para produzir sinais interpretáveis e falsificáveis.