Merlin: A Computed Tomography Vision-Language Foundation Model and Dataset

El artículo presenta a Merlin, un modelo fundacional de visión-idioma tridimensional entrenado sin anotaciones manuales en un vasto conjunto de datos de tomografías computarizadas abdominales, que supera a los modelos existentes en una amplia gama de tareas diagnósticas, pronósticas y de generación de informes, demostrando una alta generalización en múltiples instituciones.

Lo esencial

¡Hola! Imagina que los médicos radiólogos son como detectives muy expertos que tienen que revisar miles de fotos de rayos X y escáneres (tomografías computarizadas o CT) cada día para encontrar enfermedades. El problema es que hay demasiados escáneres, muy pocos detectives (radiólogos) y están muy cansados. Además, estos escáneres no son fotos planas como las de un móvil; son como pastelitos de 300 capas (cortes) que forman un bloque tridimensional, lo cual es muy difícil de analizar rápido.

Aquí es donde entra Merlin.

¿Qué es Merlin?

Piensa en Merlin como un super-asistente de inteligencia artificial que ha sido entrenado para ser un "detective de escáneres" experto. No es un simple programa que mira una foto y dice "aquí hay algo malo". Merlin es un modelo de visión-lingüística, lo que significa que es como un bibliotecario que sabe leer y ver al mismo tiempo.

• Lo que ve: Mira todo el bloque 3D del escáner de una sola vez (como si pudiera ver el pastel entero, no solo una rebanada).
• Lo que lee: Lee los informes médicos escritos por los doctores y los registros electrónicos de los pacientes (como su historial de enfermedades).
• Lo que hace: Aprende a conectar lo que ve en la imagen con lo que dicen las palabras en el informe.

¿Cómo aprendió Merlin? (La analogía del estudiante brillante)

Imagina que quieres entrenar a un estudiante para que sea el mejor radiólogo del mundo.

1. El material de estudio: En lugar de darle solo un libro de texto, le dimos 15,000 escáneres reales de pacientes, junto con millones de palabras de informes médicos y códigos de enfermedades.
2. El método de estudio: Merlin no tuvo que memorizar cada caso uno por uno con un profesor humano (lo cual sería muy lento y caro). En su lugar, aprendió solo leyendo los informes que ya existían en los hospitales.
   • La magia: Si el informe decía "hígado normal", Merlin aprendió a reconocer un hígado sano en la imagen. Si decía "tumor", aprendió a buscar tumores.
   • Ventaja clave: Merlin aprendió todo esto usando una sola tarjeta gráfica (un componente de computadora). Esto es como si un estudiante pudiera aprender todo el contenido de una biblioteca gigante usando solo una laptop básica, en lugar de necesitar un superordenador. Esto hace que cualquier hospital pueda crear su propio Merlin.

¿Qué puede hacer Merlin? (Sus superpoderes)

Los autores probaron a Merlin en 752 tareas diferentes. Aquí te explico las más importantes con ejemplos sencillos:

1. Detectar cosas sin ser enseñado (Zero-shot):

   • Analogía: Imagina que le das a Merlin una foto de un perro y le preguntas: "¿Es un gato?". Merlin nunca vio un gato en su entrenamiento, pero como sabe lo que es un perro y lo que es un gato por los informes, puede decirte: "No, esto es un perro".
   • En la vida real: Merlin puede identificar 31 tipos de problemas (como líquido en los pulmones o cálculos biliares) simplemente leyendo una descripción en texto, sin haber sido programado específicamente para esa enfermedad. ¡Y lo hace mejor que los programas actuales!

2. Predecir el futuro (Detección temprana):

   • Analogía: Es como un oráculo médico. Merlin puede mirar un escáner de un paciente que hoy está sano y decirte: "Es muy probable que en los próximos 5 años esta persona desarrolle diabetes o problemas cardíacos".
   • Esto permite a los médicos prevenir la enfermedad antes de que sea grave.

3. Escribir informes (Generación de texto):

   • Analogía: Es como un secretario médico. Merlin puede mirar el escáner y redactar el primer borrador del informe médico, describiendo qué órganos están bien y cuáles tienen problemas. El radiólogo humano solo tendría que revisar y firmar.

4. Encontrar casos similares (Búsqueda):

   • Analogía: Es como usar Google Imágenes, pero para medicina. Si un doctor ve un escáner raro, puede preguntarle a Merlin: "¿Quién más ha tenido un escáner así?". Merlin busca en su memoria millones de casos pasados y encuentra los más parecidos para ayudar al doctor a tomar una decisión.

5. Pintar el mapa (Segmentación 3D):

   • Analogía: Es como un pintor de precisión. Merlin puede colorear automáticamente cada órgano (hígado, riñones, bazo) en el escáner 3D, separándolos del resto. Esto es vital para medir tumores o planificar cirugías.

¿Por qué es tan especial?

La mayoría de los programas de IA actuales son como gafas de realidad aumentada que solo ven en 2D. Tienen que mirar rebanada por rebanada de un pastel y luego intentar unir las piezas mentalmente. Merlin, en cambio, ve el pastel entero en 3D.

Además, mientras que otros programas necesitan que un humano les diga "esto es un tumor" miles de veces para aprender, Merlin aprendió leyendo los informes que los doctores ya escribían. Esto lo hace más inteligente, más rápido de entrenar y capaz de entender el contexto médico completo.

En resumen

Merlin es un nuevo tipo de cerebro artificial diseñado para ayudar a los radiólogos. No viene a reemplazarlos, sino a quitarles el trabajo pesado y aburrido, permitiéndoles enfocarse en los casos difíciles y en cuidar a los pacientes. Es como tener un asistente incansable que ha leído todos los libros de medicina y visto millones de escáneres, listo para ayudar a salvar vidas con menos errores y más rapidez.

Lo mejor de todo es que los creadores han regalado el código, los datos y el modelo al mundo, para que cualquier hospital pueda usarlo y mejorar la salud de sus pacientes.

Resumen técnico

Resumen Técnico: Merlin, un Modelo Fundacional de Visión-Lenguaje para Tomografía Computarizada 3D

1. El Problema

La Tomografía Computarizada (TC) abdominal es una de las modalidades de imagen más utilizadas a nivel mundial, representando aproximadamente una cuarta parte de todos los estudios de TC. Sin embargo, enfrenta dos desafíos críticos:

• Escasez de Radiólogos: Existe una brecha creciente entre la demanda de interpretación de imágenes y la disponibilidad de radiólogos, agravada por un aumento anual del 6% en el uso de imágenes médicas.
• Limitaciones de los Modelos Actuales: Los enfoques de IA existentes para la interpretación médica suelen ser:
  • Bimodales 2D: La mayoría de los Modelos Fundacionales de Visión-Lenguaje (VLM) actuales se entrenan en imágenes 2D (como radiografías) o procesan la TC 3D de manera ineficiente (slice-by-slice), perdiendo la correlación volumétrica tridimensional.
  • Dependencia de Etiquetas Manuales: Requieren anotaciones manuales costosas y limitadas por expertos clínicos.
  • Falta de Supervisión Multimodal: Rara vez aprovechan la riqueza de los datos clínicos no estructurados (informes de radiología) y estructurados (códigos de diagnóstico EHR/ICD) de manera conjunta para el preentrenamiento.

2. Metodología

Los autores presentan Merlin, un modelo fundacional de visión-lenguaje diseñado específicamente para procesar volúmenes completos de TC 3D (abdomen) sin necesidad de anotaciones manuales adicionales.

• Estrategia de Entrenamiento:
  • Datos: Se utilizó un conjunto de datos clínico de alta calidad que incluye 15,331 estudios de TC (más de 6 millones de imágenes 2D), 1.8 millones de códigos de diagnóstico de EHR (ICD-9/10) y 6 millones de tokens de informes de radiología.
  • Arquitectura:
    • Codificador de Imagen: Utiliza una red ResNet152 inflada a 3D (I3D), lo que permite procesar todo el volumen 3D simultáneamente, capturando características espaciales en las tres dimensiones.
    • Codificador de Texto: Emplea Clinical Longformer, capaz de manejar secuencias de texto largas (hasta 4096 tokens), crucial para los extensos informes de radiología.
  • Objetivo de Aprendizaje: Se utiliza un enfoque de aprendizaje multimodal contrastivo (InfoNCE Loss) combinado con supervisión de clasificación binaria (Cross-Entropy) para los códigos de diagnóstico.
  • Técnicas Clave:
    • División de Informes: Los informes se dividen en secciones anatómicas (ej. hígado, riñones) para alinear mejor el texto con las regiones de la imagen durante el aprendizaje contrastivo.
    • Aprendizaje Multi-tarea: Se entrena simultáneamente con códigos de EHR y textos de informes, o de manera escalonada, demostrando que el enfoque multi-tarea es superior.
  • Eficiencia Computacional: El modelo fue entrenado en una sola GPU NVIDIA A6000, demostrando que instituciones con recursos limitados pueden desarrollar modelos fundacionales propios.

3. Contribuciones Clave

1. Primer VLM 3D para TC Abdominal: Merlin es capaz de procesar volúmenes 3D completos de una sola vez, a diferencia de los métodos que agregan predicciones de cortes 2D.
2. Dataset y Código Abiertos: Se libera el "Merlin Abdominal CT Dataset" (revisado manualmente para eliminar PHI), el código y los modelos entrenados.
3. Evaluación Exhaustiva: Se evalúa en 6 tipos de tareas y 752 tareas individuales, cubriendo escenarios zero-shot (sin adaptación) y adaptados (con fine-tuning).
4. Leyes de Escalado de Datos: Se derivan leyes empíricas que guían la cantidad de datos necesarios para alcanzar niveles específicos de rendimiento en tareas posteriores.
5. Validación Externa Robusta: Validación en más de 44,000 estudios de TC de tres sitios externos y dos conjuntos de datos públicos, abarcando tanto anatomía abdominal como torácica.

4. Resultados Principales

Merlin superó consistentemente a las líneas base (baselines) de arquitecturas alternativas en todas las tareas evaluadas:

• Clasificación Zero-Shot de Hallazgos:
  • Logró un puntaje F1 promedio de 0.741 en validación interna y 0.647 en externa.
  • Superó significativamente a modelos 2D (OpenCLIP, BioMedCLIP) y modelos 2D-a-3D, incluso sin fine-tuning.
• Clasificación de Fenotipos (EHR):
  • Predijo 692 fenotipos con un AUROC macro-promedio de 0.812.
  • Superó a modelos puramente visuales y a modelos 2D, demostrando la utilidad de la supervisión de EHR.
• Recuperación Cross-Modal (Zero-Shot):
  • Capacidad superior para recuperar el informe de radiología correcto a partir de una imagen (y viceversa), incluso con textos fuera de distribución (secciones de "impressions").
• Predicción de Enfermedades a 5 Años:
  • Predijo la aparición de 6 enfermedades crónicas (ej. diabetes, enfermedad renal) en pacientes sanos en el momento del escaneo.
  • Superó a modelos entrenados solo con imágenes (ImageNet) en un 7% de AUROC, incluso usando solo el 10% de los datos etiquetados.
• Generación de Informes y Segmentación 3D:
  • Generación: Superó a RadFM en métricas de calidad de texto (RadGraph-F1, BERT Score), generando informes estructurados por órganos.
  • Segmentación: En escenarios con escasez de etiquetas (10% de datos), Merlin superó a nnUNet en un 4.7% en puntuación Dice promedio sobre 20 órganos.

5. Significado e Impacto

• Cambio de Paradigma: Merlin demuestra que los modelos fundacionales de visión-lenguaje pueden ser entrenados eficazmente en datos 3D médicos complejos utilizando recursos computacionales modestos (una sola GPU).
• Utilización de Datos Existentes: El enfoque aprovecha datos clínicos rutinarios (informes y códigos EHR) sin necesidad de anotación manual costosa, resolviendo el cuello de botella de los datos etiquetados.
• Generalización: La capacidad del modelo para generalizar a anatomías no vistas durante el entrenamiento (TC torácica) y a diferentes instituciones sugiere que ha aprendido representaciones fundamentales de la fisiología humana y la patología.
• Aplicaciones Clínicas: El modelo tiene el potencial de asistir a los radiólogos en la generación de borradores de informes, detección de hallazgos omitidos, recuperación de casos similares y estratificación de riesgo de enfermedades futuras, aliviando la carga de trabajo y mejorando la eficiencia clínica.

En conclusión, Merlin establece un nuevo estándar para los modelos fundacionales en radiología 3D, demostrando que la combinación de arquitecturas 3D nativas, supervisión multimodal (EHR + Texto) y estrategias de entrenamiento eficientes puede superar a los enfoques tradicionales específicos de tareas.