RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings

Resumen Técnico: RadTimeline

1. El Problema

El seguimiento de hallazgos en informes radiológicos longitudinales es fundamental para identificar la progresión de enfermedades, la respuesta al tratamiento y la evaluación de riesgos. Sin embargo, leer y sintetizar manualmente una serie temporal de informes de un paciente es un proceso lento, propenso al error humano y que genera una sobrecarga cognitiva.

Aunque existen herramientas de IA para la resumen de documentos, la mayoría genera resúmenes no estructurados. Esto dificulta la verificación de hechos (fact-checking) y el rastreo de cambios temporales específicos de un hallazgo clínico. Además, los enfoques existentes que utilizan temas predefinidos (como en historiales de insuficiencia cardíaca) no son prácticos para hallazgos radiológicos pulmonares, donde los grupos de hallazgos relacionados varían significativamente entre pacientes (ej. múltiples nódulos en diferentes regiones del pulmón que evolucionan de manera independiente).

2. Metodología

El artículo propone un nuevo enfoque estructurado para la síntesis de informes longitudinales, transformándolos en una línea de tiempo bidimensional.

A. Formato de Salida (RadTimeline)

• Columnas: Representan exámenes radiológicos con marca de tiempo (ej. TC de tórax de mayo). Cada celda contiene un "hecho" de hallazgo extraído del informe (ej. "nódulo pulmonar subsólido estable en el lóbulo superior derecho").
• Filas: Agrupan hallazgos temporalmente relacionados que evolucionan juntos. Cada fila tiene un encabezado (nombre del grupo) que describe las características distintivas de ese grupo (ej. "nódulo de vidrio esmerilado en el lóbulo superior derecho").
• Objetivo: Facilitar la comparación directa de hallazgos a lo largo del tiempo y permitir la verificación de hechos contra los informes originales.

B. Proceso de Generación en 3 Pasos (Basado en LLM)
El sistema utiliza Grandes Modelos de Lenguaje (LLM) en una tubería secuencial:

1. Extracción de Hallazgos: Se extraen hechos atomizados relacionados con el pulmón de cada informe individual. Se filtran hallazgos ausentes (ej. "sin nuevos nódulos") y hallazgos irrelevantes (otros órganos).
2. Generación de Nombres de Grupos: En lugar de agrupar directamente, el modelo genera primero nombres de grupos interpretables en lenguaje natural basados en el contexto longitudinal. Estos nombres sirven como etiquetas para la siguiente etapa.
3. Asignación de Grupos: Cada hallazgo extraído se asigna a uno de los nombres de grupo generados (o se crea uno nuevo), agrupando así los hallazgos relacionados temporalmente.

C. Configuraciones Evaluadas

• Modelos: Se compararon Llama 3.1 8B y GPT-4o.
• Estrategias de Prompting: Se probaron enfoques Zero-shot (ZS) y Few-shot (FS), con un solo hallazgo o múltiples hallazgos por ejecución, y con o sin contexto longitudinal completo.
• Métodos Alternativos: Se evaluaron enfoques basados en embeddings (E5-Mistral) para la asignación de grupos como una alternativa más eficiente a los LLMs.

3. Contribuciones Clave

1. Nuevo Formato de Resumen Estructurado: Introducción de la línea de tiempo bidimensional para radiología, que supera las limitaciones de los resúmenes de texto plano al organizar datos temporalmente y por origen.
2. Conjunto de Datos RadTimeline: Creación de un dataset de evaluación con 10 pacientes (65 informes) y hallazgos pulmonares, anotado manualmente por expertos médicos (estudiantes de medicina y un doctor) para servir como referencia "Gold Standard".
3. Metodología de Evaluación Integral: Propuesta de métricas para evaluar no solo la extracción de hechos, sino también la calidad de los nombres de los grupos y el rendimiento de la agrupación (usando CoNLL F1).
4. Análisis de la Importancia de los Nombres Intermedios: Demostración de que la generación de nombres de grupos como paso intermedio es crítica para el éxito de la agrupación, especialmente para modelos más pequeños o estrategias basadas en embeddings.

4. Resultados Principales

• Extracción de Hallazgos: GPT-4o superó a Llama 3.1 en precisión (ROUGE-L de 67 vs 62 a nivel de hallazgo) y tuvo una tasa significativamente menor de predicciones innecesarias (25% vs 40%). Ambos modelos tuvieron bajas tasas de hallazgos omitidos.
• Generación de Nombres de Grupos: El uso de contextos completos (informes completos) mejoró la calidad de los nombres generados por GPT-4o en comparación con el uso de solo la lista de hallazgos. Llama 3.1 tendió a generar más nombres duplicados o irrelevantes.
• Asignación de Grupos (Agrupación):
  • La configuración óptima (GPT-4o con Multiple Zero-shot y nombres de grupos generados por GPT-4o) alcanzó un CoNLL F1 de 84, un rendimiento comparable al acuerdo entre anotadores humanos (82).
  • Los métodos basados en embeddings mejoraron drásticamente cuando se utilizaron nombres de grupos de alta calidad (Oracle), alcanzando un F1 de 84, lo que sugiere que son viables como sustitutos eficientes de los LLMs si la etapa de generación de nombres se optimiza.
  • La inclusión de nombres de grupos generados en el paso 2 fue crucial; eliminarlos causó una caída significativa en el rendimiento.
• Contexto: El uso de contextos longitudinales completos no siempre mejoró el rendimiento de la asignación de grupos en comparación con el uso de solo los hallazgos extraídos, dependiendo del modelo y del anotador de referencia.

5. Significado e Impacto

• Aplicabilidad Clínica: RadTimeline ofrece una herramienta para reducir la carga cognitiva de los radiólogos y clínicos, permitiendo una visualización rápida de la evolución de enfermedades pulmonares (como el cáncer de pulmón) y facilitando la toma de decisiones basada en evidencia.
• Verificabilidad: A diferencia de los resúmenes generativos tradicionales, este formato estructurado vincula cada hecho a su fuente original, un requisito crítico para escenarios clínicos de alto riesgo.
• Avance en NLP Médico: El trabajo demuestra que los LLMs pueden manejar tareas complejas de resolución de coreferencia y agrupación en documentos médicos longitudinales sin necesidad de etiquetas supervisadas masivas, utilizando una estrategia de tres pasos que separa la extracción, la conceptualización (nombres) y la clasificación.
• Escalabilidad: Aunque el dataset actual es pequeño (10 pacientes) debido a la complejidad de la anotación manual, el marco propuesto es extensible a otros registros longitudinales clínicos (historial de medicamentos, progresión de síntomas).

En conclusión, el artículo presenta un marco robusto para la síntesis estructurada de radiología, demostrando que una combinación de extracción precisa, generación de etiquetas semánticas y asignación guiada puede lograr un rendimiento cercano al humano en el seguimiento de enfermedades a lo largo del tiempo.