Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models

Este estudio presenta un pipeline de código abierto y localmente desplegable basado en el modelo LLM Qwen2.5-72B que logra una alta precisión en la extracción longitudinal de datos oncológicos de informes de radiología, demostrando la viabilidad de modelos abiertos para el análisis clínico privado y reproducible.

Lo esencial

Imagina que los informes de radiología (como los de un TAC del tórax o el abdomen) son como diarios de viaje escritos por un médico. En estos diarios, el radiólogo describe cómo está viajando el "enemigo" (el cáncer) a través del cuerpo del paciente: si ha crecido, si ha desaparecido o si han aparecido nuevos bichos.

El problema es que estos diarios están escritos en un lenguaje muy técnico, desordenado y en prosa (frases largas), lo que hace que sea casi imposible para una computadora leerlos y sacar conclusiones rápidas. Además, la información más valiosa no está en un solo diario, sino en comparar varios diarios a lo largo del tiempo para ver la evolución de la enfermedad.

Aquí es donde entra este estudio, que podemos resumir con una analogía sencilla:

🕵️‍♂️ La Misión: El Detective de Papel y Tinta

Los investigadores (Luc y Alessa) querían crear un detective digital capaz de leer estos informes médicos en holandés, encontrar las "pistas" (las lesiones o tumores) y conectar los puntos entre diferentes visitas del paciente.

Su objetivo era responder preguntas como:

• "¿El tumor que vimos en enero sigue ahí en marzo?"
• "¿Ha crecido o ha encogido?"
• "¿Apareció algo nuevo?"

🛠️ La Herramienta: Un Robot de Código Abierto (y Privado)

Antes, para hacer esto, necesitabas usar "cajas negras" de empresas gigantes (modelos de Inteligencia Artificial propietarios). El problema es que esas cajas no dejan que veas cómo funcionan y, lo más importante, te obligan a enviar los datos del paciente a la nube, lo cual es un riesgo de privacidad.

En su lugar, estos investigadores construyeron su propio robot usando código abierto (como si fueran a ensamblar un coche con piezas que cualquiera puede comprar y ver).

• El cerebro: Usaron un modelo llamado Qwen2.5-72b. Imagina que es un bibliotecario superinteligente que ha leído millones de libros y entiende el lenguaje humano perfectamente.
• El método: Lo instalaron en sus propios servidores (en su hospital). Esto significa que los datos de los pacientes nunca salieron del edificio. Es como tener un traductor en tu propia casa en lugar de enviar tus cartas a una oficina central en otro país.

🧩 El Truco: Conectar los Puntos en el Tiempo

Lo genial de este sistema es que no lee un informe y lo olvida. Lee dos informes a la vez (por ejemplo, el de hace 6 meses y el de hoy) y actúa como un detective que une las pistas:

1. Identifica: "¡Este nódulo en el pulmón izquierdo es el mismo que vimos antes!"
2. Mide: "Antes medía 10mm, ahora mide 8mm. ¡Ha mejorado!"
3. Etiqueta: Le pone una etiqueta estable (como un nombre de usuario) para que, aunque el radiólogo lo describa de forma diferente en el segundo informe, el robot sepa que es el mismo objeto.

📊 Los Resultados: ¡Funciona increíblemente bien!

Probaron su sistema con 50 pares de informes reales. Los resultados fueron sorprendentes:

• El robot acertó en el 93-95% de los detalles importantes (tamaño, ubicación, tipo de tumor).
• Fue tan bueno que, en la mayoría de los casos, sus lecturas coincidían casi perfectamente con las de dos radiólogos humanos expertos.

💡 ¿Por qué es importante esto?

Imagina que quieres estudiar cómo funciona un nuevo tratamiento contra el cáncer para 10.000 pacientes. Antes, tendrías que contratar a un ejército de personas para leer miles de informes a mano, lo cual tardaría años y costaría una fortuna.

Con este sistema:

1. Es rápido: La computadora hace el trabajo en minutos.
2. Es privado: Los datos nunca salen del hospital.
3. Es libre: Cualquier hospital en el mundo puede copiar el código y usarlo sin pagar licencias costosas.

En resumen

Este estudio nos dice que ya no necesitamos depender de empresas privadas para analizar datos médicos sensibles. Podemos construir nuestros propios "super-lectores" de inteligencia artificial, instalarlos en nuestros propios ordenadores y extraer información vital del cáncer de forma rápida, segura y precisa. Es como pasar de leer los informes a mano con una lupa, a tener un escáner láser que conecta todas las historias del paciente en un solo mapa de la verdad.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models", presentado en español:

Resumen Técnico: Extracción Longitudinal de Información de Cáncer mediante LLMs de Código Abierto

1. Planteamiento del Problema

Los informes de radiología contienen información longitudinal crítica sobre la carga tumoral, la respuesta al tratamiento y la progresión de la enfermedad, esencial para la oncología. Sin embargo, su formato narrativo no estructurado y heterogéneo dificulta el análisis automatizado a gran escala.

• Limitaciones actuales: Los enfoques anteriores basados en reglas o modelos de aprendizaje profundo supervisado carecían de generalización y requerían grandes recursos de anotación.
• Barreras de privacidad: Aunque los Modelos de Lenguaje Grande (LLMs) han avanzado en el procesamiento de texto clínico, la mayoría de los sistemas de vanguardia son propietarios. Esto plantea preocupaciones sobre privacidad, seguridad y reproducibilidad, ya que los datos sensibles de los pacientes no pueden salir de las instituciones sanitarias.
• Desafío longitudinal: La interpretación oncológica (según criterios RECIST) requiere vincular hallazgos a través de múltiples puntos temporales en el mismo paciente, algo que los métodos actuales suelen tratar como documentos independientes.

2. Metodología

El estudio propone una tubería (pipeline) completamente de código abierto y desplegable localmente para la extracción de información longitudinal de informes de TC de tórax/abdomen en neerlandés.

• Marco de Trabajo: Se utilizó el framework de código abierto llm_extractinator, que permite definir tareas de extracción mediante archivos JSON, especificar el modelo y validar la salida estructurada (usando modelos Pydantic).
• Modelo de Lenguaje: Se seleccionó qwen2.5-72b-instruct (cuantizado a q4_K_M) tras una evaluación comparativa en un conjunto de datos de depuración. El modelo se ejecutó localmente en dos GPUs NVIDIA A100 (40 GB cada una) con temperatura 0 para garantizar consistencia.
• Conjuntos de Datos:
  • Se recuperaron informes de pacientes del Radboudumc (2021-2025).
  • Se filtraron pacientes con múltiples informes y menciones de "objetivo" (target).
  • Tras revisión manual, se creó un conjunto de prueba final de 50 pares de informes (100 informes individuales).
• Ingeniería de Prompts:
  • Los informes se procesaron en pares concatenados para permitir que el modelo razonara sobre la continuidad temporal.
  • Se diseñaron reglas estrictas basadas en RECIST: identificar lesiones objetivo (TL), no objetivo (NTL) y nuevas (NL); extraer medidas en milímetros enteros; y asignar etiquetas estables (TL_, NTL_, NL_) basadas en la descripción anatómica para el seguimiento.
  • Se incluyeron ejemplos in-context del formato de tablas RECIST en neerlandés.
• Análisis de Salida: Un analizador basado en Pydantic v2 convierte la salida del LLM en JSON estructurado, agrupando lesiones por UID de estudio.
• Evaluación: Se compararon las salidas del LLM con anotaciones manuales de dos lectores independientes. Se evaluaron tres atributos por lesión: consistencia de la etiqueta, precisión del tamaño y precisión del identificador de serie/imagen (SE-IMA).

3. Contribuciones Clave

1. Pipeline Reproducible: Presentación de un sistema totalmente de código abierto y desplegable localmente para la extracción de texto clínico, garantizando que los datos de los pacientes nunca salgan de la institución.
2. Nueva Formulación de Tarea: Definición de una tarea de extracción longitudinal que vincula lesiones a través de múltiples puntos temporales bajo los criterios RECIST, superando el enfoque de documentos aislados.
3. Evaluación Cuantitativa Rigurosa: Demostración de alta precisión (>93% a nivel de atributo) en un entorno clínico real, validando la viabilidad de los LLMs de código abierto para tareas oncológicas complejas.

4. Resultados

La evaluación en 50 pares de informes mostró un rendimiento excepcional:

• Precisión a Nivel de Atributo:
  • Lesiones Objetivo (TL): 93.7%
  • Lesiones No Objetivo (NTL): 94.9%
  • Lesiones Nuevas (NL): 94.0%
• Precisión Global: El 62.0% de los pares de informes tuvieron todos sus atributos extraídos sin errores.
• Consistencia: La concordancia entre los dos lectores humanos fue alta (93.3%), y las diferencias entre el LLM y los lectores no fueron estadísticamente significativas.
• Desempeño por Tipo de Lesión: La extracción de TL fue muy robusta en la consistencia de etiquetas. Las NTL mostraron ligeramente más variabilidad debido a la redacción variable de los radiólogos (ej. agrupación de ganglios linfáticos), no a fallos del modelo.

5. Significado y Discusión

• Privacidad y Escalabilidad: El estudio demuestra que los LLMs de código abierto pueden alcanzar un rendimiento clínicamente significativo sin comprometer la privacidad de los datos, permitiendo su uso en entornos sanitarios sensibles.
• Viabilidad Longitudinal: El enfoque de procesar pares de informes concatenados permite una vinculación coherente de lesiones a lo largo del tiempo, esencial para evaluar la respuesta al tratamiento.
• Limitaciones y Futuro: Se identificaron desafíos menores relacionados con el formato de tablas (cuando se dividen en varias líneas) y la ambigüedad en lesiones "no medibles" (marcadas con asteriscos o "nm"). Sin embargo, el modelo mostró una capacidad razonable para interpretar estas variaciones clínicas.
• Impacto: Este trabajo sienta las bases para la extracción escalable de datos longitudinales estructurados a partir de texto clínico rutinario, facilitando la investigación oncológica retrospectiva y el desarrollo de modelos de IA más robustos.

En conclusión, el sistema propuesto valida que es posible automatizar la extracción de datos oncológicos longitudinales complejos utilizando infraestructura local y modelos abiertos, superando las barreras de privacidad y reproducibilidad de las soluciones propietarias.