CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs

Resumo Técnico: CXR-ContraBench

Definição do Problema: Atração pela Opção Negada
Este artigo identifica um modo de falha específico e clinicamente crítico em Modelos Visuais-Linguísticos Médicos (MVLMs), denominado atração pela opção negada. Embora os MVLMs frequentemente demonstrem alta acurácia agregada em benchmarks de radiologia, eles exibem uma "reversão de polaridade" sistemática quando apresentados a perguntas de múltipla escolha que contêm tanto um achado (por exemplo, "Consolidação") quanto sua contraparte explicitamente negada (por exemplo, "Sem consolidação").

A falha central ocorre quando o modelo seleciona a opção negada, apesar de evidências visuais que suportam o achado positivo. Isso não é meramente um erro de classificação, mas uma reversão semântica do lado da presença, onde o modelo emite uma afirmação clínica que contradiz diretamente a imagem (por exemplo, afirmar "Sem consolidação" quando a consolidação é visível). Os autores argumentam que as métricas padrão de acurácia agregada mascaram essa falha, pois o modelo pode ainda identificar o conceito correto em outros contextos, mas falha especificamente quando o espaço de respostas inclui uma forma superficial negada. Além disso, o artigo observa que a técnica de Prompting de Cadeia de Pensamento (CoT), frequentemente assumida como capaz de melhorar a confiabilidade do raciocínio, falha em resolver consistentemente esse problema e, às vezes, pode amplificar contradições, particularmente em tarefas diagnósticas do lado da ausência.

Metodologia: CXR-ContraBench e QCCV-Neg
Para diagnosticar e quantificar essa falha, os autores introduzem o CXR-ContraBench (Benchmark de Contradição de Radiografia de Tórax). Diferentemente de benchmarks gerais de VQA médica, o CXR-ContraBench é um instrumento de diagnóstico projetado com espaços de resposta controlados para isolar a confusão de polaridade.

• Construção do Benchmark: O benchmark abrange três famílias de protocolos:

  1. Fatias Internas ReXVQA: Dados em distribuição de grande escala (até 30 mil amostras) para testar esparsidade e escala.
  2. Auditorias Retrospectivas OpenI: Derivadas de relatórios OpenI e anotações CheXStruct, incluindo um subconjunto de "presença" (onde o achado é visível, mas uma opção negada existe) e um subconjunto de "ausência".
  3. Protocolos Diretos Externos: Testes dedicados usando divisões de validação e treinamento do CheXpert. Estes incluem uma Sonda Direta de Presença (perguntando "Qual achado está presente?") e Protocolos de Estilo de Relatório de Ausência (perguntando "Qual achado está ausente?").
  • Design: Cada pergunta emparelha um conceito-alvo com sua forma negada e pelo menos um distrator positivo. Essa estrutura torna as previsões "confusas quanto à polaridade" (selecionar a opção negada quando o positivo é o padrão-ouro) diretamente contáveis.

• QCCV-Neg (Verificador de Consistência Condicionada à Pergunta para Negação): Os autores propõem um verificador determinístico, post-hoc, que opera sem retreinamento. Ele é acionado apenas quando quatro condições estritas são atendidas:

  1. O conjunto de respostas contém exatamente uma opção explicitamente negada.
  2. O modelo de base prevê essa opção negada.
  3. A polaridade da pergunta (presença vs. ausência) é identificável com segurança.
  4. Uma contraparte positiva única para o conceito existe nas opções restantes.
     Se acionado, o verificador remapeia deterministicamente a previsão para a contraparte positiva. Essa abordagem visa auditar e reparar o subconjunto específico de erros confusos quanto à polaridade, sem alterar o raciocínio geral do modelo.

Principais Resultados
A avaliação abrange múltiplos backbones, incluindo MedGemma (4B e 27B), Qwen2.5-VL, variantes LLaVA, CheXagent e GPT-4o.

• Falha Sistemática: Na sonda direta de presença do CheXpert, modelos robustos exibem taxas de falha severas. MedGemma-4B e Qwen2.5-VL alcançam apenas 31,49% e 30,21% de acurácia, respectivamente, com mais de 153 reversões perigosas "Sem X" cada. Mesmo o MedGemma-27B cai para 51,91% de acurácia com 105 reversões.
• Confirmação de Escala: A falha não é um artefato de conjuntos de validação pequenos. Em um protocolo correspondente da divisão de treinamento do CheXpert com 135.754 registros, MedGemma e Qwen2.5-VL ainda emitem seleções de opção negada em mais de 62% das perguntas de presença.
• Ineficácia do CoT: O prompting de Cadeia de Pensamento reduz ligeiramente a frequência de reversões para alguns modelos em sondas de presença, mas não as elimina. Crucialmente, o CoT amplifica erros em protocolos do lado da ausência; por exemplo, as contradições do LLaVA-Med no CheXpert aumentaram de 42 para 446 com CoT.
• Reparo Determinístico: O verificador QCCV-Neg repara com sucesso o subconjunto medido de confusão de polaridade sem retreinamento.
  • Para MedGemma-4B na sonda direta de presença, a acurácia salta de 31,49% para 96,60% (reparando todas as 153 reversões).
  • Para Qwen2.5-VL, a acurácia sobe de 30,21% para 95,32%.
  • Na divisão de treinamento de grande escala, o QCCV-Neg remove todas as contradições medidas, elevando a acurácia para ~95,6% para ambos os modelos.
• Robustez: A falha persiste através de paráfrases de negação não canônicas (por exemplo, "Ausência de X", "Sem evidência de X"). Enquanto o verificador original de superfície literal perde cobertura nessas variantes, uma extensão do verificador consciente de paráfrases restaura a cobertura e elimina contradições sem piorar o desempenho.

Significado e Alegações
O artigo alega que o CXR-ContraBench expõe um "erro silencioso" onde a acurácia agregada esconde falhas de polaridade clinicamente significativas durante a inferência. A contribuição principal é o isolamento da atração pela opção negada como um modo de falha distinto e sistemático em MVLMs generativos que não é confiavelmente corrigido por escalonamento ou prompting CoT.

Os autores enfatizam que suas descobertas são modestas em escopo, mas de alta relevância clínica:

1. Mensurabilidade: Eles demonstram que essa falha específica é contável e auditável através de espaços de resposta controlados.
2. Reparabilidade: Eles mostram que uma parte significativa desses erros pode ser reparada deterministicamente no momento da inferência sem retreinamento do modelo, sugerindo que o erro reside no manuseio da polaridade do espaço de respostas, e não em uma falta fundamental de compreensão visual.
3. Limitações: Os autores afirmam explicitamente que o QCCV-Neg é uma mitigação diagnóstica, não uma garantia de implantação. Ele visa um conflito específico de espaço de respostas e não implica que o modelo adquiriu raciocínio robusto e transferível sobre negação clínica. O artigo conclui que trabalhos futuros devem investigar a geometria da representação cross-modal da polaridade, mas, atualmente, o benchmark serve para tornar visíveis esses erros específicos e perigosos.