Improving Automatic Summarization of Radiology Reports through Mid-Training of Large Language Models

Resumen Técnico: Mejora de la Sumarización Automática de Informes Radiológicos mediante Entrenamiento Intermedio de Modelos de Lenguaje Grandes

1. El Problema

La generación automática de resúmenes de informes radiológicos (convertir la sección detallada de "Hallazgos" en una conclusión concisa de "Impresión") es una herramienta crucial para reducir la carga de trabajo de los radiólogos y prevenir el agotamiento profesional. Sin embargo, los enfoques actuales basados en Modelos de Lenguaje Grandes (LLM) suelen seguir una estrategia de "Pre-entrenamiento seguido de Ajuste Fino" (Fine-tuning).

El problema central identificado es que los modelos pre-entrenados en corpus médicos generales (como notas de alta, historiales clínicos o resúmenes de PubMed) no capturan óptimamente las particularidades del dominio de la radiología. Los informes radiológicos poseen un estilo lingüístico único:

• Omisión de palabras funcionales.
• Jerga anatómica densa.
• Patrones frecuentes de negación y estructuras sintácticas específicas.
• Jerarquías documentales distintas a otras especialidades médicas.

Esta brecha entre el conocimiento médico general y el subdominio específico de la radiología limita el rendimiento de los modelos, especialmente en escenarios con pocos datos de entrenamiento ("cold start").

2. Metodología

Los autores proponen una estrategia de adaptación de subdominio que introduce una fase intermedia de entrenamiento, denominada "Mid-training" (Entrenamiento Intermedio), situada entre el pre-entrenamiento general y el ajuste fino supervisado.

• Arquitectura: Se basa en el modelo T5 (Text-to-Text Transfer Transformer).

• Estrategia de Entrenamiento Jerárquica:

  1. Pre-entrenamiento Clínico: Se utiliza un modelo base (GatorTronT5) pre-entrenado con más de 90 mil millones de tokens de texto clínico general (notas de UF Health, PubMed, Wikipedia, MIMIC-III).
  2. Mid-training (Subdominio Radiológico): El modelo pre-entrenado se adapta específicamente al dominio de la radiología utilizando el conjunto de datos MIMIC-CXR (13 millones de tokens). Esta fase es no supervisada y utiliza el objetivo de "corrupción de intervalos" (span corruption) para que el modelo internalice la sintaxis, terminología y patrones de negación específicos de la radiología.
  3. Ajuste Fino (Fine-tuning): Los modelos resultantes se ajustan supervisadamente para la tarea de resumen utilizando el conjunto de datos OpenI (Informes de rayos X de la Universidad de Indiana), que sirve como datos de prueba fuera de distribución (OOD) para evaluar la generalización.

• Escalas de Modelos: Se evaluaron tres tamaños de modelo: 0.2B, 0.7B y 3.0B de parámetros.

• Comparativa: Se compararon tres estrategias:

  1. Pre-entrenamiento en dominio general (T5 base).
  2. Pre-entrenamiento en dominio clínico (GatorTronT5).
  3. Pre-entrenamiento clínico + Mid-training en radiología (GatorTronT5-Radio).

3. Contribuciones Clave

• Propuesta de "Pre-entrenamiento, Mid-training, Ajuste Fino": Validan que añadir una fase intermedia de adaptación de subdominio es superior al ajuste fino directo sobre modelos médicos generales.
• Solución al problema de "Cold Start": Demuestran que el mid-training mitiga significativamente las dificultades de aprendizaje en escenarios de pocos ejemplos (few-shot learning), permitiendo que los modelos aprendan eficientemente con muy pocos datos etiquetados.
• Mejora en Coherencia Clínica: No solo mejoran la similitud léxica, sino también la consistencia factual clínica, un aspecto crítico en medicina.

4. Resultados

Los experimentos se realizaron en el conjunto de datos OpenI, evaluando métricas léxicas (ROUGE-L, METEOR, BERTScore) y métricas de consistencia factual clínica (RadGraph-F1).

• Rendimiento Superior: El modelo GatorTronT5-Radio (con mid-training) superó consistentemente a los modelos sin esta fase intermedia en todas las escalas y métricas.
  • Ejemplo (Modelo de 3B): El modelo con mid-training alcanzó un ROUGE-L de 0.6362 y un RadGraph-F1 de 0.5655, superando al modelo clínico sin mid-training (0.6157 y 0.5428 respectivamente).
• Aprendizaje con Pocos Datos (Few-Shot):
  • Los modelos sin mid-training mostraron un comportamiento de "arranque en frío", con un rendimiento muy bajo (ej. ROUGE-L ~0.09) con solo 5 muestras de entrenamiento.
  • Los modelos con mid-training lograron un rendimiento robusto (ROUGE-L ~0.47) con las mismas 5 muestras, demostrando una capacidad de "arranque en caliente" (warm-start).
  • Se observó que el mid-training reduce el umbral de datos necesarios para que el modelo comience a aprender significativamente.
• Generalización: El modelo entrenado en UF Health y MIMIC-CXR generalizó bien al conjunto de datos OpenI (de otra institución), confirmando la robustez del método.

5. Significado e Impacto

Este estudio tiene implicaciones importantes para la implementación de IA en entornos clínicos reales:

• Eficiencia de Recursos: Permite que modelos más pequeños, pero con mid-training, igualen o superen el rendimiento de modelos mucho más grandes sin esta adaptación, lo cual es vital para despliegues con recursos limitados.
• Adaptabilidad de Subdominio: Establece que la especialización médica requiere una adaptación específica del lenguaje (subdominio) que el pre-entrenamiento general no puede capturar por sí solo.
• Viabilidad Clínica: Al mejorar la consistencia factual (RadGraph-F1) y reducir la necesidad de grandes volúmenes de datos etiquetados, el método facilita la creación de herramientas de asistencia para radiólogos que son más precisas y requieren menos tiempo de entrenamiento, abordando directamente el problema del agotamiento profesional.

En conclusión, el artículo aboga por un cambio de paradigma en el desarrollo de LLMs para medicina: pasar de una estrategia binaria (pre-entrenar -> ajustar) a una estrategia tripartita (pre-entrenar -> mid-training de subdominio -> ajustar), demostrando que esta fase intermedia es esencial para maximizar el rendimiento en tareas clínicas especializadas.