An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

Resumen Técnico: Un Benchmark de VQA Automatizado y con Control de Contaminación para Evaluar Modelos de Lenguaje-Visión en Imágenes Oncológicas 3D

Planteamiento del Problema
Los modelos de lenguaje-visión (VLM) se están aplicando cada vez más a la imagenología médica, pero su fiabilidad en entornos clínicos sigue estando mal caracterizada. Los benchmarks públicos existentes para el VQA (Visual Question Answering) médico sufren dos fallos críticos:

1. Contaminación de Datos: Los conjuntos de datos a gran escala suelen entrar en los corpus de preentrenamiento de los VLM, lo que significa que las puntuaciones altas pueden reflejar la memorización de pares imagen-pregunta en lugar de una percepción visual genuina.
2. Resolubilidad Basada Solo en Texto: Muchos ítems del benchmark pueden responderse correctamente utilizando únicamente el texto de la pregunta y los sesgos lingüísticos (language priors), omitiendo la necesidad de analizar la imagen.

Además, la imagenología oncológica presenta desafíos únicos: los estudios son volumétricos (3D), lo que requiere la interpretación a través de múltiples cortes y secuencias, mientras que la mayoría de los VLM actuales solo aceptan entradas 2D. Los benchmarks existentes no logran distinguir entre el rendimiento dependiente de la imagen y el rendimiento impulsado por la familiaridad con el conjunto de datos o las señales del texto de la pregunta.

Metodología
Los autores presentan un pipeline automatizado, impulsado por agentes, diseñado para generar benchmarks de VQA de opción múltiple con control de contaminación directamente a partir de informes radiológicos privados emparejados con imágenes oncológicas 3D.

• Fuente de Datos: El pipeline utiliza informes radiológicos privados de una sola institución e imágenes 3D (CT y RM) de cuatro cohortes oncológicas: CT de hígado, RM de hígado, CT de pulmón y RM de cerebro (2,509 casos en total para el benchmark principal). Una quinta cohorte de RM cerebral totalmente privada e interna fue generada de forma idéntica y reservada específicamente para el estudio de ablación de contaminación público/privado (Tabla 3) y excluida de los totales del benchmark principal. Debido a que estos informes de origen son privados y no forman parte de los datos de preentrenamiento públicos, se garantiza que las preguntas generadas estén libres de contaminación a nivel de instancia.
• Generación de Preguntas: El sistema produce dos tipos de preguntas complementarios:
  1. Basadas en Esquemas (estilo RADS): Las preguntas se completan de forma determinista a partir de esquemas revisados por clínicos y fundamentados en marcos de reporte establecidos (LI-RADS, Lung-RADS y un esquema cerebral alineado con RANO). Esto asegura preguntas estandarizadas y visualmente contestables.
  2. Derivadas de Informes: Las preguntas son generadas por un modelo de lenguaje basado en los hallazgos y la impresión del radiólogo, y luego filtradas mediante un "control de fundamentación en el informe" para asegurar que la respuesta esté explícitamente respaldada por el texto de origen.
• Procesamiento de Imágenes: Para los modelos de entrada 2D, los volúmenes 3D se renderizan como montajes compuestos de 12×12 de 144 cortes axiales (aprox. 128×128 píxeles por corte).
• Protocolo de Evaluación: Se evaluaron cinco VLM contemporáneos en un entorno zero-shot: dos modelos de frontera cerrados (Claude Opus 4.6, GPT-5.2), un modelo de frontera de pesos abiertos (Qwen3-VL-30B) y dos especialistas médicos (MedGemma1.0-27B, MedGemma1.5-4B).
• Estudios de Ablación: Para aislar la dependencia visual, los modelos fueron reevaluados reemplazando la imagen por una entrada en blanco ("condición ciega"). Adicionalmente, se comparó una cohorte de cerebro pública (PDGM) contra una cohorte de cerebro interna privada emparejada para probar la familiaridad con la distribución de imágenes.
• Rigor Estadístico: El estudio emplea bootstrapping agrupado por casos para los intervalos de confianza y pruebas de control de multiplicidad (corrección de FDR de Benjamini-Hochberg y pruebas de equivalencia de un solo lado [TOST] para distinguir efectos genuinos del ruido).

Resultados Clave

• Desempeño Variable: Ningún modelo fue fiable en todas las cohortes. Las precisiones oscilaron desde el nivel base cercano al azar (0.28) hasta el 0.81. Los rankings de los modelos variaron significamente según la cohorte y el tipo de pregunta.
• Independencia de la Imagen: Para varias configuraciones de alto rendimiento, eliminar la imagen tuvo poco efecto en la precisión.
  • En RM de Cerebro (tanto pública como privada) y CT de Pulmón, los modelos de frontera (ej. Claude Opus 4.6) mostraron caídas mínimas de precisión cuando se eliminaron las imágenes, sugiriendo que su desempeño depende fuertemente de los sesgos lingüísticos o las señales del texto de la pregunta en lugar de la evidencia visual.
  • Por el contrario, MedGemma1.0-27B mostró caídas significativas en CT y RM de Hígado al ser cegado, indicando una mayor dependencia visual en esos contextos específicos.
• Imagen Pública vs. Privada de Cerebro: En preguntas de estilo RADS, los modelos de frontera puntuaron entre 0.17 y 0.19 más alto en imágenes de cerebro públicas (PDGM) en comparación con las imágenes privadas emparejadas, lo que sugiere una posible familiaridad con los conjuntos de datos públicos. Sin embargo, en preguntas derivadas de informes, el desempeño fue indistinguible entre las cohortes pública y privada.
• Dificultad de la Tarea: Los modelos tuvieron dificultades significativas con juicios cuantitativos o graduados (ej. tamaño de la lesión, categoría Lung-RADS, gradación del efecto de masa), donde las precisiones apenas superaron el azar. En contraste, las tareas de reconocimiento cualitativo (ej. presencia/ausencia de hallazgos) se realizaron con una precisión mucho mayor.
• Hallazgos Estadísticos: Tras la corrección de FDR, 37 de 40 mediciones de precisión superaron los niveles del azar. Sin embargo, las pruebas de equivalencia revelaron que, para muchos modelos de alto rendimiento en tareas específicas (ej. reportes de RM de Cerebro), la diferencia entre el desempeño con y sin imagen era estadísticamente equivalente a cero dentro de un margen de ±0.05.

Significación y Reivindicaciones
El artículo no pretende proporcionar una tabla de clasificación definitiva de modelos, sino demostrar que un benchmark renovable generado privadamente puede separar eficazmente el desempeño dependiente de la imagen de los efectos del texto de la pregunta y la familiaridad con el conjunto de datos.

• Implicaciones Clínicas: Los VLM actuales, incluidos los especialistas médicos, aún no son lectores fiables de estudios oncológicos volumétricos cuando se presentan en formatos 2D reducidos. Las precisiones de alto nivel pueden sobreestimar la competencia visual, particularmente para tareas resolubles mediante sesgos lingüísticos (ej. CT de pulmón, RM de cerebro).
• Limitaciones de la Tarea: La incapacidad de los modelos para manejar mediciones espaciales (tamaño, gradación de severidad) en comparación con el reconocimiento simple sugiere que los sistemas actuales de entrada 2D no son adecuados para tareas que impulsan el manejo clínico y que dependen de la cuantificación precisa.
• Contribución Metodológica: Los autores lanzan el pipeline como una habilidad de agente abierta, permitiendo a las instituciones regenerar benchmarks controlados de contaminación con sus propios datos privados. Esto desplaza la evaluación de artefactos públicos estáticos hacia pruebas internas privadas y renovables, abordando el problema crítico de la fuga de datos en la evaluación de la IA médica.

El estudio concluye que, si bien los VLM muestran promesa, sus capacidades de razonamiento visual en entornos oncológicos complejos y volumétricos siguen siendo limitadas y dependen altamente de la modalidad de imagen específica y el tipo de pregunta. El benchmark propuesto ofrece un marco riguroso para identificar estas limitaciones y prevenir el despliegue de modelos que dependen de la memorización en lugar de la percepción.