RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering

Resumo Técnico: RadImageNet-VQA

1. Problema e Motivação

A interpretação de exames de radiologia exige a integração de padrões visuais complexos com raciocínio clínico. Embora os Modelos de Linguagem e Visão (VLMs) tenham avançado em benchmarks gerais, sua aplicação na medicina enfrenta desafios significativos:

• Limitação de Dados Existentes: Conjuntos de dados médicos atuais para Visual Question Answering (VQA) são frequentemente pequenos, dominados por radiografias (raio-X) ou ilustrações biomédicas, e carecem de cobertura em modalidades críticas como Tomografia Computadorizada (CT) e Ressonância Magnética (MRI).
• Atalhos Linguísticos: Muitos benchmarks permitem que os modelos adivinhem as respostas baseando-se apenas em regularidades textuais ou viéses de distribuição, sem realmente analisar a imagem.
• Dificuldade de Avaliação: A geração de relatórios radiológicos é difícil de avaliar automaticamente devido à falta de métricas que capturem a correção clínica. O VQA oferece uma alternativa estruturada, mas carece de dados robustos para CT/MRI.

O objetivo deste trabalho é preencher essa lacuna introduzindo o RadImageNet-VQA, um dataset de grande escala focado em CT e MRI, projetado para treinar e avaliar VLMs em tarefas radiológicas reais, minimizando atalhos linguísticos.

2. Metodologia e Construção do Dataset

O RadImageNet-VQA é construído a partir do subconjunto de CT e MRI do dataset RadImageNet, que já possui anotações de especialistas. O processo de construção envolve:

• Escala e Cobertura: O dataset contém 750.000 imagens e 7,5 milhões de amostras (incluindo legendas e pares de perguntas-respostas).
• Tarefas Principais: O dataset cobre três famílias de tarefas radiológicas:
  1. Reconhecimento de Anatomia: Identificar a região corporal imageada.
  2. Detecção de Anormalidades: Determinar se há achados anormais na imagem.
  3. Identificação de Patologias (Fine-grained): Distinguir entre doenças específicas dentro de um contexto anatômico (a tarefa mais desafiadora).
• Diversidade: Abrange 8 regiões anatômicas e 97 categorias de patologias.
• Formatos de Pergunta: Inclui perguntas de resposta aberta (open-ended), fechada (sim/não) e múltipla escolha.
• Mitigação de Atalhos:
  • As perguntas são geradas programaticamente usando templates variados para evitar viés de linguagem.
  • Para perguntas de múltipla escolha, os distratores (opções incorretas) são cuidadosamente selecionados para serem clinicamente plausíveis na mesma região anatômica, impedindo que o modelo resolva a questão apenas pela anatomia.
  • Inclui a opção "nenhuma patologia observada" em todas as questões de múltipla escolha de patologia para forçar o modelo a confirmar visualmente a ausência de doença, em vez de assumir sua presença.
• Benchmark: Um conjunto de avaliação estratificado com 1.000 imagens e 9.000 pares de perguntas-respostas, equilibrado entre tarefas, tipos de perguntas e casos normais/anormais.

3. Contribuições Principais

1. Lançamento do RadImageNet-VQA: A disponibilização de um corpus de treinamento massivo e um benchmark curado, focado especificamente em CT e MRI, com cobertura anatômica e patológica extensa.
2. Avaliação Abrangente de VLMs: Análise detalhada do estado da arte (incluindo modelos gerais como LLaVA, Qwen, InternVL e modelos médicos como MedGemma e Lingshu) em cenários zero-shot e fine-tuning.
3. Análise de Atalhos Linguísticos: Demonstração empírica de que o dataset elimina a maioria dos atalhos textuais presentes em benchmarks anteriores.
4. Insights sobre Pré-treinamento Médico: Descoberta de que inicializar modelos com codificadores de visão pré-treinados especificamente para medicina (ex: MedSigLIP) não oferece vantagem sobre codificadores gerais (ex: SigLIP) quando combinados com o fine-tuning no RadImageNet-VQA.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos zero-shot e após fine-tuning no dataset proposto.

• Desempenho Zero-shot:
  • Reconhecimento de Anatomia: Os modelos performam bem (acima de 90% em alguns casos), indicando que a localização anatômica básica é resolvida.
  • Identificação de Patologias: Permanece um gargalo crítico. A maioria dos modelos obtém menos de 20% de precisão em perguntas abertas sobre patologias. Mesmo os melhores modelos médicos atingem apenas ~30% nesta tarefa.
  • Detecção de Anormalidades: Modelos gerais e médicos mostram desempenho variável, com alguns modelos de ponta (como GPT-5 e Gemini 2.5 Pro) performando abaixo do acaso, possivelmente devido a alinhamentos de segurança excessivos que os levam a negar anormalidades.
• Análise de Atalhos (Text-only):
  • Ao remover as imagens e fornecer apenas o texto, a precisão dos modelos no RadImageNet-VQA cai para níveis próximos do acaso (2-10% para perguntas abertas e ~25% para múltipla escolha).
  • Em contraste, em datasets antigos (como VQA-RAD e SLAKE), os modelos mantêm alta precisão apenas com texto, confirmando que o RadImageNet-VQA força o raciocínio baseado em imagem.
• Fine-tuning:
  • O ajuste fino no RadImageNet-VQA trouxe ganhos substanciais em todos os modelos (aumento médio de +19,5% a +22,5%).
  • A detecção de anormalidades melhorou drasticamente (chegando a ~86-87%).
  • A identificação de patologias finas melhorou, mas continua sendo o principal limitador, mesmo após o treinamento.
  • Modelos com pré-treinamento médico específico não superaram os modelos de propósito geral inicializados com encoders de visão padrão, sugerindo que a supervisão radiológica durante o fine-tuning é mais crucial do que a inicialização médica.

5. Significado e Conclusão

O RadImageNet-VQA representa um marco para o desenvolvimento de IA em radiologia, oferecendo o primeiro dataset de grande escala focado em CT e MRI para VQA.

• Validação de Raciocínio: O dataset prova que os modelos atuais ainda não dominam a identificação fina de patologias, um requisito essencial para a aplicação clínica real.
• Qualidade de Dados: A eliminação de atalhos linguísticos torna o benchmark uma ferramenta confiável para avaliar o verdadeiro entendimento visual dos modelos.
• Direção Futura: Os resultados indicam que o progresso futuro dependerá menos de apenas aumentar o tamanho dos modelos e mais de melhorar o "grounding" visual (ancoragem na imagem) para achados sutis e a diversidade dos dados de treinamento, em vez de depender de pré-treinamentos médicos específicos que podem não se traduzir em ganhos de generalização.

O dataset e o benchmark estão disponíveis publicamente, servindo como um recurso fundamental para a comunidade de pesquisa em visão computacional médica.