RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering

Resumen Técnico: RadImageNet-VQA

1. El Problema

La interpretación de exámenes radiológicos requiere integrar patrones visuales complejos con razonamiento clínico. Aunque los Modelos de Lenguaje y Visión (VLMs) han avanzado en benchmarks generales, su aplicación en radiología enfrenta desafíos significativos:

• Limitaciones de los datasets existentes: Los conjuntos de datos actuales para Pregunta-Respuesta Visual Médica (VQA) son de escala reducida, están dominados por radiografías (X-ray) o ilustraciones biomédicas, y carecen de cobertura en modalidades críticas como Tomografía Computarizada (CT) y Resonancia Magnética (MRI).
• Atajos lingüísticos (Shortcuts): Muchos datasets permiten que los modelos adivinen la respuesta basándose únicamente en el texto de la pregunta o en sesgos de distribución, sin necesidad de analizar la imagen.
• Evaluación deficiente: La generación automática de informes radiológicos es difícil de evaluar con métricas estándar, mientras que el VQA ofrece un marco más estructurado, pero carece de benchmarks rigurosos que prueben el razonamiento visual real.

2. Metodología

Los autores presentan RadImageNet-VQA, un dataset a gran escala diseñado específicamente para CT y MRI, construido sobre la base del dataset RadImageNet.

• Construcción del Dataset:

  • Origen de datos: Se utilizaron subconjuntos de CT y MRI de RadImageNet, que ya poseen anotaciones expertas de anatomía y patología.
  • Generación de muestras: Se empleó un pipeline basado en plantillas para generar:
    • 750,000 imágenes de CT/MRI.
    • 7.5 millones de muestras en total (750k pares imagen-descripción y 6.75M pares pregunta-respuesta).
  • Tareas cubiertas: El dataset aborda tres tareas principales:
    1. Reconocimiento anatómico: Identificar la región del cuerpo.
    2. Detección de anomalías: Determinar si existe alguna anomalía.
    3. Identificación de patología (de alta granularidad): Distinguir entre enfermedades específicas dentro de un contexto anatómico.
  • Formatos de preguntas: Incluye preguntas abiertas, cerradas (sí/no) y de opción múltiple.
  • Mitigación de atajos: Se diseñaron distractores cuidadosos (especialmente en opción múltiple) y se incluyó la opción "no se observa patología" para evitar que los modelos asuman erróneamente la presencia de enfermedades.

• Benchmark y Evaluación:

  • Se creó un conjunto de prueba estratificado con 1,000 imágenes y 9,000 pares QA.
  • Se evaluaron modelos de vanguardia (VLMs generales como InternVL, Qwen, LLaVA y modelos médicos como MedGemma, Lingshu) en configuración zero-shot y fine-tuning.
  • Análisis de atajos: Se realizó una evaluación "solo texto" (sin imágenes) para cuantificar la dependencia de pistas lingüísticas.

3. Contribuciones Clave

1. Lanzamiento de RadImageNet-VQA: El primer dataset a gran escala centrado en CT/MRI para VQA, que incluye tanto un corpus de entrenamiento masivo como un benchmark curado. Cubre 8 regiones anatómicas y 97 categorías de patologías.
2. Evaluación Exhaustiva: Demostración de que, aunque los modelos actuales funcionan bien en reconocimiento anatómico y detección básica de anomalías, fallan estrepitosamente en la identificación de patologías finas, especialmente en respuestas abiertas.
3. Validación de Robustez: Pruebas que confirman que RadImageNet-VQA elimina casi por completo los atajos lingüísticos; sin imágenes, la precisión de los modelos cae a niveles aleatorios (2-10%), a diferencia de otros datasets donde los modelos mantienen precisión significativa solo con texto.
4. Análisis de Entrenamiento: Demostración de que el fine-tuning en este dataset produce ganancias sustanciales, pero que los codificadores visuales pre-entrenados específicamente en medicina (como MedSigLIP) no ofrecen ventajas sobre los codificadores de propósito general (SigLIP) para esta tarea.

4. Resultados Principales

• Rendimiento Zero-Shot:
  • Anatomía: Los modelos alcanzan altos niveles de precisión (ej. >90% en opción múltiple).
  • Patología: Es el cuello de botella principal. La mayoría de los modelos obtienen menos del 20% de precisión en preguntas abiertas de patología. Incluso los mejores modelos médicos (MedGemma-4b) solo alcanzan ~30.6%.
  • Detección de Anomalías: Modelos como GPT-5 y Gemini 2.5 Pro performaron peor que el azar, sugiriendo que sus alineaciones de seguridad les impiden identificar anomalías sin evidencia visual clara.
• Análisis de Atajos (Text-Only):
  • En datasets anteriores (VQA-RAD, SLAKE), los modelos lograban 11-33% de precisión solo con texto.
  • En RadImageNet-VQA, la precisión solo texto cae al rango aleatorio, confirmando que las respuestas requieren interpretación visual genuina.
• Fine-Tuning:
  • El ajuste fino en el corpus radiológico generó mejoras consistentes de +19.5% a +22.5% en precisión promedio.
  • La identificación de patología sigue siendo un desafío incluso después del entrenamiento, indicando que la supervisión a nivel de clase es insuficiente para la discriminación de enfermedades finas.
  • No se observó ventaja en usar codificadores visuales pre-entrenados en medicina frente a los generales.

5. Significado e Impacto

• Avance en VLMs Médicos: RadImageNet-VQA establece un nuevo estándar para evaluar y entrenar modelos de visión y lenguaje en radiología, moviéndose más allá de las radiografías simples hacia modalidades 3D/2D complejas (CT/MRI).
• Herramienta Diagnóstica: El dataset sirve como una herramienta para diagnosticar las debilidades de los modelos actuales, revelando que la "identificación de patología fina" es el obstáculo principal para la adopción clínica real.
• Recursos para la Comunidad: Al hacer público el dataset y el benchmark, se facilita el desarrollo de modelos más robustos que dependan de la evidencia visual en lugar de sesgos textuales, un paso crucial hacia la asistencia clínica confiable.
• Limitaciones: El dataset hereda la limitación de una sola etiqueta de patología por imagen (no captura casos con múltiples hallazgos simultáneos) y se basa en imágenes 2D (sin contexto volumétrico completo), aunque sienta las bases para futuros estudios de multimodalidad.

En conclusión, el trabajo demuestra que, aunque los VLMs han madurado, la radiología de precisión requiere un salto cualitativo en la capacidad de los modelos para entender hallazgos sutiles y específicos, y RadImageNet-VQA proporciona la infraestructura necesaria para lograrlo.