An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

Resumo Técnico: Um Benchmark de VQA Automatizado e com Controle de Contaminação para Avaliação de Modelos de Visão-Linguagem em Imagens Oncológicas 3D

Problema
Modelos de visão-linguagem (VLMs) são cada vez mais aplicados à imagem médica, mas sua confiabilidade em ambientes clínicos permanece mal caracterizada. Os benchmarks públicos existentes para o questionamento visual de medicina (VQA) sofrem de duas falhas críticas:

1. Contaminação de Dados: Grandes conjuntos de dados frequentemente entram nos corpora de pré-treinamento dos VLMs, o que significa que pontuações altas podem refletir a memorização de pares imagem-pergunta em vez de uma percepção visual genuína.
2. Resolubilidade Baseada Apenas em Texto: Muitos itens de benchmark podem ser respondidos corretamente usando apenas o texto da pergunta e os vieses linguísticos (language priors), ignorando a necessidade de analisar a imagem.

Além disso, a imagem oncológica apresenta desafios únicos: os estudos são volumétricos (3D), exigindo interpretação através de múltiplas fatias e sequências, enquanto a maioria dos VLMs atuais aceita apenas entradas 2D. Os benchmarks existentes falham em distinguir o desempenho dependente da imagem do desempenho impulsionado pela familiaridade com o conjunto de dados ou por pistas do texto da pergunta.

Metodologia
Os autores apresentam um pipeline automatizado, orientado por agentes, projetado para gerar benchmarks de VQA de múltipla escolha com controle de contaminação diretamente de relatórios radiológicos privados pareados e imagens oncológicas 3D.

• Fonte de Dados: O pipeline utiliza relatórios radiológicos privados de instituição única e imagens 3D (CT e MRI) de quatro coortes oncológicas: CT de fígado, MRI de fígado, CT de pulmão e MRI de cérebro (2.509 casos no total para o benchmark principal). Uma quinta coorte de MRI de cérebro totalmente privada e interna foi gerada identicamente, mas reservada especificamente para o estudo de ablação de contaminação público/privado (Tabela 3) e excluída dos totais do benchmark principal. Como esses relatórios de origem são privados e não fazem parte dos dados de pré-treinamento públicos, as perguntas geradas são garantidas como livres de contaminação ao nível de instância.
• Geração de Perguntas: O sistema produz dois tipos complementares de perguntas:
  1. Baseada em Esquema (estilo RADS): As perguntas são populadas deterministicamente a partir de esquemas revisados por clínicos, fundamentados em estruturas de relatório estabelecidas (LI-RADS, Lung-RADS e um esquema de cérebro alinhado ao RANO). Isso garante perguntas padronizadas e visualmente respondíveis.
  2. Derivada de Relatório: As perguntas são geradas por um modelo de linguagem com base nos achados e impressões do radiologista, sendo então filtradas por uma "verificação fundamentada no relatório" para garantir que a resposta seja explicitamente suportada pelo texto de origem.
• Processamento de Imagem: Para modelos de entrada 2D, os volumes 3D são renderizados como montagens compostas de 12×12 de 144 fatias axiais (aprox. 128×128 pixels por fatia).
• Protocolo de Avaliação: Cinco VLMs contemporâneos foram avaliados em um cenário de zero-shot: dois modelos de fronteira fechados (Claude Opus 4.6, GPT-5.2), um modelo de fronteira de pesos abertos (Qwen3-VL-30B) e dois especialistas médicos (MedGemma1.0-27B, MedGemma1.5-4B).
• Estudos de Ablação: Para isolar a dependência visual, os modelos foram reavaliados com a imagem substituída por uma entrada em branco ("condição cega"). Além disso, uma coorte de cérebro pública (PDGM) foi comparada com uma coorte de cérebro privada interna correspondente para testar a familiaridade com a distribuição de imagens.
• Rigor Estatístico: O estudo emprega bootstrapping agrupado por caso para intervalos de confiança e testes de multiplicidade controlados (correção FDR de Benjamini-Hochberg e testes de equivalência de um lado só [TOST] para distinguir efeitos genuínos de ruído).

Resultos Principais

• Desempenho Variável: Nenhum modelo único foi confiável em todas as coortes. As acurácias variaram de próximo ao nível basal aleatório (0,28) até 0,81. As classificações dos modelos variaram significamente conforme a coorte e o tipo de pergunta.
• Independência de Imagem: Para várias configurações de alto desempenho, remover a imagem teve pouco efeito na acurácia.
  • Em MRI de Cérebro (público e privado) e CT de Pulmão, modelos de fronteira (ex: Claude Opus 4.6) mostraram quedas mínimas de acurácia quando as imagens foram removidas, sugerindo que seu desempenho depende fortemente de vieses linguísticos ou sinais do texto da pergunta.
  • Por outro lado, o MedGemma1.0-27B apresentou quedas significativas em CT e MRI de fígado quando cegado, indicando uma dependência visual mais forte nesses contextos específicos.
• Imagem Cerebral Pública vs. Privada: Em perguntas do tipo RADS, os modelos de fronteira pontuaram 0,17–0,19 mais alto em imagens cerebrais públicas (PDGM) do que em imagens privadas correspondentes, sugerindo potencial familiaridade com conjuntos de dados públicos. No entanto, em perguntas derivadas de relatório, o desempenho foi indistinguível entre as coortes pública e privada.
• Dificuldade da Tarefa: Os modelos tiveram dificuldades significativas com julgamentos quantitativos ou graduados (ex: tamanho da lesão, categoria Lung-RADS, graduação de efeito de massa), onde as acurácias mal excederam o acaso. Em contraste, tarefas de reconhecimento qualitativo (ex: presença/ausência de achados) foram realizadas com acurácia muito maior.
• Achados Estatísticos: Após a correção FDR, 37 de 40 medições de acurácia excederam os níveis de acaso. No entanto, o teste de equivalência revelou que, para muitos modelos de alto desempenho em tarefas específicas (ex: relatório de MRI de cérebro), a diferença entre o desempenho com e sem visão foi estatisticamente equivalente a zero dentro de uma margem de ±0,05.

Significância e Alegações
O artigo não pretende fornecer um ranking definitivo de modelos, mas sim demonstrar que um benchmark renovável, gerado privadamente, pode separar efetivamente o desempenho dependente da imagem dos efeitos do texto da pergunta e da familiaridade com o conjunto de dados.

• Implicações Clínicas: Os atuais VLMs, incluindo especialistas médicos, ainda não são leitores confiáveis de estudos oncológicos volumétricos quando apresentados em formatos 2D reduzidos. As acurácias de destaque podem superestimar a competência visual, particularmente para tarefas solucionáveis via vieses linguísticos (ex: CT de pulmão, MRI de cérebro).
• Limitações de Tarefa: A incapacidade dos modelos de lidar com medições espaciais (tamanho, graduação de severidade) em comparação com o reconhecimento simples sugere que os sistemas atuais de entrada 2D são inadequados para tarefas que direcionam o manejo clínico e que dependem de quantificação precisa.
• Contribuição Metodológica: Os autores disponibilizam o pipeline como uma habilidade de agente aberta, permitindo que instituições regenerem benchmarks controlados de contaminação em seus próprios dados privados. Isso desloca a avaliação de artefatos públicos estáticos para testes internos privados e renováveis, abordando o problema crítico de vazamento de dados na avaliação de IA médica.

O estudo conclui que, embora os VLMs mostrem promessa, suas capacidades de raciocínio visual em configurações oncológicas volumétricas complexas permanecem limitadas e altamente dependentes da modalidade de imagem específica e do tipo de pergunta. O benchmark proposto oferece um framework rigoroso para identificar essas limitações e evitar a implantação de modelos que dependem de memorização em vez de percepção.