CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation

Resumen Técnico: CURE

Declaración del Problema

Los Modelos de Visión y Lenguaje (VLM) médicos han demostrado potencial para automatizar la generación de informes radiológicos, pero enfrentan limitaciones críticas en cuanto al anclaje visual (visual grounding) y la consistencia fáctica. Los modelos actuales de vanguardia, como MAIRA-2, a menudo desalinean los hallazgos textuales con la evidencia visual, lo que conduce a "alucinaciones" donde el modelo genera descripciones clínicamente incorrectas o detecta patologías que no están presentes en la imagen. Esta falta de fiabilidad obstaculiza la adopción clínica, ya que los modelos deben producir salidas fácticamente precisas fundamentadas en regiones específicas de la imagen para garantizar la confianza en los flujos de trabajo del mundo real. Además, las estrategias de ajuste fino (fine-tuning) estándar a menudo no logran transferir las capacidades de anclaje visual a modelos que carecen de ellas de forma nativa, y los enfoques de aprendizaje multitarea existentes luchan contra las distribuciones de datos desequilibradas, lo que provoca que los modelos se sobreajusten a patrones frecuentes mientras descuidan hallazgos raros pero clínicamente significativos.

Metodología

Los autores proponen CURE (CUrrriculum-guided Multi-task Training for REliable Anatomy Grounded Report Generation), un marco diseñado para mejorar la fiabilidad y el anclaje visual de los VLM médicos sin requerir datos de entrenamiento adicionales. CURE opera sobre un modelo base (MedGemma-4B-IT) y reformula el flujo de entrenamiento a través de tres componentes principales:

1. Formulación de Tareas de Grano Fino

CURE unifica diversas señales de supervisión (cajas delimitadoras, frases, etiquetas anatómicas y oraciones descriptivas) de conjuntos de datos públicos (MIMIC-CXR/Chest ImaGenome, MS-CXR, PadChest-GR) en un formato instructivo multitarea consistente. El marco descompone las tareas en:

• Anclaje de Frases (Phrase Grounding - PG): Vincular frases del informe con cajas delimitadoras (bounding boxes).
• Generación de Informes Anclados (Grounded Report Generation - GRG): Generar informes completos con enlaces de coordenadas explícitos.
• Generación de Informes Anclados a la Anatomía (Anatomy-Grounded Report Generation - AGRG): Una tarea novedosa y detallada derivada de los grafos de escena de Chest ImaGenome. Divide el proceso de generación en tres subtareas para ubicaciones anatómicas específicas: Localizar (localización espacial), Describir (descripción contextual) y Localizar y Describir (ejecución simultánea). Esta descomposición permite que el modelo aprenda la alineación espacial y semántica de forma independiente y conjunta.

2. Aprendizaje por Currículo Consciente del Error

Para abordar el desequilibrio de datos (tanto inter-dataset como intra-dataset) y evitar que el modelo se sobreajuste a muestras fáciles, CURE emplea una estrategia de aprendizaje por currículo dinámico.

• Muestreo Dinámico: En lugar de un muestreo estático proporcional al tamaño del conjunto de datos, CURE ajusta las probabilidades de muestreo basadas en el rendimiento actual del modelo.
• Granularidad de Dos Niveles:
  • Inter-Dataset: Re-pondera la contribución de diferentes fuentes de datos (por ejemplo, MS-CXR vs. Chest ImaGenome) basándose en puntuaciones de rendimiento agregadas.
  • Intra-Dataset: Re-pondera regiones anatómicas específicas o clases semánticas dentro de un conjunto de datos basándose en sus tasas de error por clase.
• Métrica de Rendimiento: Los pesos de muestreo se actualizan iterativamente utilizando una puntuación compuesta ($s_i$) que combina la Intersección sobre Unión (IoU) para la localización y la CXRFEScore para la fidelidad textual. La tasa de error ($e_i = 1 - s_i$) dicta la probabilidad de muestreo para la siguiente etapa, obligando al modelo a enfocarse en muestras "difíciles" y categorías con bajo rendimiento.

3. Flujo de Entrenamiento

El proceso de entrenamiento implica una etapa de pre-entrenamiento en Chest ImaGenome para establecer una base de anclaje, seguida de una fase de ajuste fino multitarea donde el mecanismo de aprendizaje por currículo está activo. El marco utiliza LoRA (Low-Rank Adaptation) para un ajuste de parámetros eficiente y emplea aumentos de datos conscientes de las cajas delimitadoras (por ejemplo, transformaciones espaciales, CLAHE) para mejorar la robustez.

Contribuciones Clave

1. Marco CURE: La introducción de un marco de aprendizaje por currículo consciente del error que ajusta dinámicamente las distribuciones de muestreo basadas en el rendimiento del modelo, mejorando el anclaje visual sin requerir datos adicionales.
2. Transferencia Efectiva: Demostrar que la estrategia de entrenamiento propuesta transfiere con éxito las capacidades de anclaje a los VLM médicos (específicamente MedGemma-4B-IT) que originalmente carecen de mecanismos de anclaje visual, permitiéndoles superar a los modelos actuales de vanguardia a pesar de haber sido entrenados con menos datos.
3. Rendimiento de Vanguardia (State-of-the-Art): Lograr un nuevo estado del arte en la generación de informes anclados visualmente, reduciendo específicamente las alucinaciones y mejorando la precisión espacial en múltiples evaluaciones.

Resultados

El artículo evalúa CURE frente a bases sólidas, incluyendo MAIRA-2 y el modelo base MedGemma-4B-IT, a través de varias tareas y conjuntos de datos:

• Anclaje Visual: CURE mejora la precisión del anclaje de frases en +0.35 IoU en el conjunto de datos Chest ImaGenome en comparación con MAIRA-2, duplicando efectivamente el rendimiento de localización. También logra puntuaciones de Micro y Macro IoU más altas en MS-CXR, PadChest-GR y el conjunto de datos zero-shot VinDr-CXR.
• Calidad del Informe: El marco potencia la calidad del informe en +0.192 CXRFEScore y alcanza las puntuaciones más altas en CheXbert F1-Micro, similitud de coseno y CXRFEScore en la tarea de Generación de Informes Anclados a la Anatomía.
• Reducción de Alucinaciones: CURE reduce las alucinaciones de hallazgos anormales en un 18.6% en seis regiones anatómicas clave. Específicamente, reduce a la mitad la tasa de contradicciones (17.44% vs. 33.22% para MAIRA-2) y más que duplica las tasas de implicación (39.50% vs. 15.94%). La reducción es particularmente significativa para estructuras óseas como las clavículas, donde la tasa de alucinación de CURE cae al 1.00% frente al >59% de MAIRA-2.
• Generalización Zero-Shot: El modelo demuestra fuertes capacidades de generalización, superando a MAIRA-2 en métricas de anclaje en el conjunto de datos no visto VinDr-CXR, a pesar de que MAIRA-2 fue entrenado con datos propietarios.

Significado y Reivindicaciones

El artículo afirma que CURE representa un paso significativo hacia la creación de VLM médicos fiables y dignos de confianza para el despliegue clínico. Al priorizar las muestras y las regiones anatómicas con bajo rendimiento mediante un currículo consciente del error, el marco aborda el problema fundamental de la alucinación y la desalineación que afecta a los modelos actuales. Los autores enfatizan que CURE logra estas mejoras sin requerir datos o parámetros de modelo adicionales, apoyándose en su lugar en un uso más eficiente y adaptativo de los conjuntos de datos públicos existentes. El trabajo sugiere que el aprendizaje por currículo dinámico y basado en el rendimiento es una estrategia viable y necesaria para cerrar la brecha entre los modelos multimodales de propósito general y las rigurosas demandas de la imagen médica, fomentando en última instancia una mayor transparencia y confianza en el diagnóstico asistido por IA.