Resumo Técnico: Hearsay: Diagnósticos Médicos de Visão-Linguagem Sem uma Imagem

Declaração do Problema

Este artigo investiga um modo de falha crítico em modelos de fronteira de Visão-Linguagem (VLMs) dentro de pipelines clínicos: o "efeito miragem" (mirage effect). Este fenômeno ocorre quando um VLM gera descrições visuais e diagnósticos médicos apesar da ausência de uma imagem anexada. Embora o trabalho anterior de Asadi et al. [1] tenha estabelecido que os VLMs frequentemente falham em se abster nessas condições, este estudo aborda uma lacuna na compreensão da estrutura dessas alucinações. Especificamente, o artigo questiona se os diagnósticos fabricados são aleatórios ou sistematicamente influenciados pelos descritores demográficos fornecidos no prompt (ex: idade, sexo, raça) quando não há uma imagem presente. Os autores postulam que os pipelines clínicos podem enfrentar cenários onde as imagens falham ao serem recuperadas ou agentes passam apenas descritores de pacientes, criando um ambiente de alto risco para o viés demográfico em saídas alucinadas.

Metodologia

O estudo emprega um design experimental controlado em três VLMs de fronteira: Claude Opus 4.7, GPT-5.4 e Gemini 3.1 Pro.

• Design de Prompt: Os autores utilizam um modelo de prompt de modo miragem modificado, derivado de Asadi et al. [1]. O prompt inclui um preâmbulo demográfico em primeira pessoa (ex: "Eu sou um(a) {raça} de {idade} anos, {sexo}") seguido por um pedido para descrever uma imagem e fornecer um diagnóstico. As modalidades testadas são radiografia de tórax, ressonância magnética cerebral e dermatologia (especificamente "sinal de pele/pinta").
• Condições Experimentais: Foi utilizado um design fatorial $2 \times 2 \times 3$, variando idade (32, 65), sexo (homem, mulher) e raça (branco, negro, pardo), resultando em 12 células demográficas mais uma linha de base neutra (D0) sem texto demográfico.
• Esquema de Saída: As respostas foram forçadas em um esquema JSON estrito contendo campos para presença de imagem, capacidade diagnóstica, diagnóstico primário, diferenciais, confiança e raciocínio. Isso permitiu a separação de "prosa" (raciocínio) de saídas "estruturadas" (campo de diagnóstico).
• Métricas: A métrica primária é a Divergência de Jensen-Shannon (JSD) entre a distribuição de diagnósticos nas células demográficas versus a linha de base neutra. As análises secundárias incluíram a detecção de "miragem com hesitação" (hedged mirage) (onde a prosa reconhece a ausência de imagens, mas o campo estruturado é populado) e a robustez do substantivo de sonda (probe-noun robustness) (trocando "sinal de pele" por "lesão de pele").
• Escala: O experimento principal (E1) envolveu 11.700 chamadas de API ($3 \text{ modelos} \times 3 \text{ domínios} \times 13 \text{ condições} \times 100 \text{ sementes}$).

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Viés Demográfico Estruturado: Evidência de que as saídas em modo miragem não são aleatórias, mas são sistematicamente estruturadas pelo texto demográfico. As JSDs por célula atingiram até 0,83, com os principais diagnósticos alinhando-se com padrões de viés clínico documentados (ex: Sarcoidose para pacientes negros, Melanoma para homens brancos mais velhos).
2. O Regime de Miragem com Hesitação (Hedged Mirage Regime): A identificação de uma dissociação onde o raciocínio em prosa do modelo reconhece a ausência da imagem (sugerindo uma recusa), mas o campo de diagnóstico estruturado é populado com uma doença específica. Este estado de "hesitação" (hedged) representa 66% das fabricações do Claude em células de alto JSD e permanece invisível para auditorias baseadas apenas em prosa.
3. Diversos Modos de Falha: Uma análise de robustez de substantivo de sonda revelando que a miragem é uma família de modos de falha distintos. O efeito dermatológico do Claude foi gatilhado por palavra (trocar "sinal de pele" por "lesão de pele" causou uma queda de 94% nos diagnósticos de Melanoma para 100% de recusa), enquanto o efeito do GPT-5.4 foi preservador de categoria (os diagnósticos permaneceram estáveis apesar da troca do substantivo).
4. Medição de Canal Duplo: Um pipeline que extrai esquemas JSON nativos junto com a análise de prosa, tornando o "regime de hesitação" diretamente observável e quantificável.

Resultados

• Estruturação Demográfica: Todos os três modelos exibiram viés demográfico, embora com magnitudes variadas.
  • O GPT-5.4 fabricou diagnósticos em 36/36 células fatoriais. Seu viés foi amplo, com um forte deslocamento para Sarcoidose para pacientes negros jovens em radiografias de tórax e deslocamentos de doenças específicas para RM baseados em idade e sexo (ex: Meningioma para mulheres mais velhas, Glioma para homens mais velhos).
  • O Claude Opus 4.7 mostrou uma transição "recusa-para-fabricação". Ele recusou a maioria dos prompts neutros, mas fabricou intensamente em células específicas (ex: 94% Melanoma para um homem branco de 65 anos com um "sinal de pele"). A JSD foi impulsionada quase inteiramente por essa transição da recusa para a fabricação.
  • O Gemini 3.1 Pro mostrou as menores magnitudes (mediana JSD 0,010), com a maioria das células apresentando 0% de fabricação.
• O Regime de Hesitação (Hedged Regime): Nos modelos em condição de "hesitação", eles escreveram raciocínios como "suspeito, baseado em demografia e padrão clássico", enquanto ainda populavam o campo de diagnóstico estruturado. Uma auditoria baseada apenas em prosa sinalizaria esses como recusas ou seguros, enquanto um pipeline de dados estruturados receberia um diagnóstico enviesado.
• Robustez: A troca "sinal de pele" por "lesão de pele" demonstrou que o viés do Claude era frágil e dependente de palavras-gatilho específicas, enquanto o viés do GPT-5.4 era robusto a mudanças de fraseologia.
• Sinal vs. Ruído: O sinal demográfico (JSD) excedeu significativamente o nível de ruído de paráfrase (razões de 10,5x a 13,9x), confirmando que o viés é impulsionado pelos descritores demográficos e não por variações superficiais de fraseologia.

Significância e Alegações

O artigo argumenta que o implante confiável de VLMs em ambientes clínicos requer uma mudança fundamental nas práticas de auditoria.

• Limitações de Auditoria: Confiar apenas em auditorias de linguagem natural (prosa) é insuficiente porque ignora o "regime de hesitação", onde campos estruturados são populados apesar de avisos textuais.
• Dimensões de Avaliação: A sensibilidade da palavra de sonda deve ser tratada como uma "dimensão de avaliação de primeira classe". Os modelos podem parecer robustos se testados com uma única palavra de sonda, enquanto falham catastroficamente com pequenas variações (como visto no Claude), ou vice-versa.
• Natureza do Erro: Os autores distinguem entre dois erros: (1) Descalibração epistêmica (emitir um diagnóstico sem evidência) e (2) Deslocamento demográfico (o diagnóstico específico emitido com base na demografia). Embora o artigo não desmembre se esses deslocamentos decorrem de viés de pré-treinamento ou de priors de prevalência calibrados (ex: maior incidência de melanoma em homens brancos mais velhos), ele afirma que a dissociação entre a prosa e a saída estruturada é um modo de falha crítico, independentemente da origem do prior.

O estudo conclui que mitigar esses riscos requer restrições ao nível de esquema (ex: forçar diagnósticos nulos quando image_present=false), sondagem em tempo de inferência e ajuste fino (fine-tuning) para recusar quando imagens estão ausentes. Os achados sugerem que a miragem não é um fenômeno monolítico, mas uma família de modos de falha que exigem estratégias de mitigação distintas.