LoMeVQA: A Comprehensive Benchmark for Longitudinal Medical VQA

Resumen Técnico: LoMeVQA: Un Benchmark Exhaustivo para el VQA Médico Longitudinal

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han avanzado significativamente en tareas generales de visión y lenguaje y en el análisis médico de imágenes individuales, siguen estando ampliamente inexplorados en el contexto del razonamiento visual médico longitudinal. En la práctica clínica, la evaluación del paciente depende en gran medida de la comparación de estudios de imagen secuenciales a lo largo del tiempo para evaluar la progresión de la enfermedad, la respuesta al tratamiento y el pronóstico. Los conjuntos de datos actuales de Pregunta-Respuesta Visual (VQA) médica y generación de informes se limitan predominantemente a escenarios de una sola visita y una sola imagen. Además, los conjuntos de datos multi-imagen actuales suelen agregar imágenes de diferentes pacientes o modalidades en lugar de capturar la evolución temporal de la condición de un mismo paciente. En consecuencia, existe una falta de un benchmark sistemático para evaluar la capacidad de los modelos para razonar a través de secuencias temporales en imágenes médicas.

Metodología
Para abordar esta brecha, los autores presentan LoMeVQA, un benchmark exhaustivo que comprende 206,000 pares de VQA longitudinales. La construcción del conjunto de datos sigue un pipeline automatizado diseñado para garantizar el fundamento clínico y reducir las alucinaciones:

1. Construcción de Datos Longitudinales: El pipeline organiza los registros de los pacientes del conjunto de datos MIMIC-CXR cronológicamente. Utilizando RadGraph, extrae entidades médicas estructuradas y sus descripciones a nivel de oración de los informes de radiología. Estas entidades se agregan a través de las visitas para construir "trayectorias de nivel de entidad" que reflejan la evolución temporal de hallazgos clínicos específicos.
2. Síntesis de VQA con Control de Dificultad: El sistema emplea un enfoque de ventana deslizante para muestrear estudios consecutivos. Identifica entidades clínicas compartidas a través de estos pasos temporales y utiliza un Modelo de Lenguaje de Gran Escalla (LLM) para generar preguntas y respuestas basadas en las trayectorias de las entidades. Este proceso permite controlar la dificultad variando la extensión temporal y el número de entidades involucradas.
3. Filtrado y Validación: Para asegurar la fiabilidad, se aplica un proceso de filtrado de dos etapas. Primero, una verificación de consistencia automatizada utiliza un LLM para verificar que los pares de Pregunta-Respuesta generados se alineen con los informes clínicos de origen, etiquetándolos como consistentes, contradictorios o inciertos. Segundo, se realiza una revisión humana por parte de tres clínicos con distintos niveles de experiencia para seleccionar muestras de alta calidad para el conjunto de prueba.
4. Definición de Tareas: LoMeVQA define cinco tareas distintas:
   • Clasificación de Progreso (PC): Clasificar la progresión de la enfermedad como mejoría, estabilidad o empeoramiento.
   • Descripción de Progreso (PD): Generar explicaciones descriptivas de los cambios de la enfermedad.
   • Generación de Informes de Progreso (PRG): Sintetizar informes integrados que resuman la progresión a través de múltiples puntos temporales y regiones.
   • Localización de Regiones Diferenciales (DRG): Localizar regiones con cambios notables mediante cuadros delimitadores (bounding boxes).
   • Descripción de Regiones Diferenciales (DRD): Describir diferencias específicas dentro de una región predefinida.

Contribuciones Clave

• Benchmark LoMeVQA: El primer benchmark a gran escala y multitarea diseñado específicamente para el análisis de imágenes médicas longitudinales, que cubre 206K muestras a través de cinco diversas tareas de razonamiento.
• Pipeline de Construcción Automatizado: Un método novedoso que integra grafos de conocimiento médico (vía RadGraph) con LLMs para sintetizar pares de VQA con fundamento clínico, mitigando las alucinaciones mediante el modelado de trayectorias y el filtrado de consistencia.
• MedLong-8B: Un modelo especializado ajustado (fine-tuned) a partir de Qwen3-VL-8B en el conjunto LoMeVQA-dev, diseñado para abordar los desafíos específicos del razonamiento médico temporal.
• Evaluación Sistemática: Una evaluación exhaustiva de MLLMs de propósito general y de dominio médico, que revela brechas significativas en el razonamiento longitudinal.

Resultados
Las evaluaciones extensas en el conjunto de prueba de LoMeVQA (2,500 muestras de alta calidad) y en benchmarks fuera de distribución (MMXU-test y MIMIC-CXR-T) arrojan los siguientes hallazgos:

• Limitaciones Actuales: Los MLLMs existentes, incluyendo modelos médicos de vanguardia como Lingshu y MedGemma, tienen un desempeño pobre en LoMeVQA. Por ejemplo, los mejores modelos logran solo un ~55% de precisión en tareas de clasificación y aproximadamente un 25% de Intersección sobre Unión (IoU) en tareas de localización. Los modelos de propósito general a menudo fallan al detectar cambios temporales sutiles o dependen excesivamente de los sesgos textuales (textual priors) en lugar de la evidencia visual.
• Desempeño de MedLong-8B: El modelo ajustado MedLong-8B logra un desempeño de vanguardia en las cinco tareas in-distribución, superando significativamente tanto a los modelos base generales como a los médicos. También demuestra capacidades de generalización sólidas en conjuntos de datos fuera de distribución, mejorando el desempeño en más de un 10-20% en comparación con su modelo base.
• Dinámica de Ajuste Fino (Fine-tuning): Los experimentos indican que mayores capacidades de modelo (8B vs. 4B) conducen a una mejor adaptación. Además, el ajuste fino multitarea (entrenamiento en todas las tareas conjuntamente) tiene un desempeño comparable al ajuste fino de tarea única, lo que sugiere que los modelos suficientemente grandes pueden aprender múltiples patrones específicos de tareas sin interferencia sustancial.
• Análisis Cualitativo: Las visualizaciones de los mapas de atención revelan que, mientras que los modelos base a menudo atienden mínimamente a los inputs visuales durante la generación, MedLong-8B exhibe una alineación fortalecida entre la evidencia visual y el razonamiento lingüístico, enfocándose progresivamente en las regiones de la imagen relevantes a medida que genera las respuestas.

Significado
El artículo postula que LoMeVQA llena un vacío crítico en la investigación de IA médica al proporcionar el primer marco sistemático para evaluar el razonamiento visual longitudinal. Los resultados resaltan que los MLLMs actuales carecen de las capacidades de razonamiento temporal necesarias para aplicaciones clínicas del mundo real donde el seguimiento de la evolución de la enfermedad es primordial. Al establecer a MedLong-8B como un sólido baseline y proporcionar un conjunto de datos riguroso, los autores pretenden facilitar la investigación futura en el desarrollo de MLLMs médicos más capaces que puedan interpretar con precisión secuencias temporales, apoyando así una toma de decisiones clínicas más precisa y personalizada. Los autores enfatizan que su trabajo es un paso hacia el cierre de la brecha entre el análisis de imágenes estáticas y la evaluación clínica dinámica y longitudinal.