AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

El artículo presenta AnatomiX, un modelo multimodal de lenguaje grande consciente de la anatomía que utiliza un enfoque de dos etapas para mejorar significativamente la interpretación de radiografías de tórax mediante un razonamiento anatómico preciso y una comprensión espacial superior.

Lo esencial

¡Claro que sí! Imagina que la inteligencia artificial (IA) en medicina es como un estudiante muy inteligente que ha leído millones de libros de texto, pero que a veces se confunde cuando tiene que mirar un mapa real.

Aquí te explico el paper de AnatomiX como si le contáramos la historia a un amigo en una cafetería:

🏥 El Problema: El Estudiante que Confunde Izquierda y Derecha

Imagina que tienes un médico robot (una IA) que es genial para escribir informes y responder preguntas sobre radiografías de tórax. Pero tiene un defecto grave: es como un niño pequeño que aún no sabe diferenciar su mano izquierda de la derecha.

Si le muestras una radiografía normal, dice: "¡Ahí hay un problema en el pulmón izquierdo!". Pero si le das la misma radiografía pero dándole la vuelta (como si la miraras en un espejo), el robot se vuelve loco. Sigue señalando el "pulmón izquierdo" en el mismo lado de la imagen, aunque ahora ese lado corresponde al pulmón derecho real.

¿Por qué pasa esto? Porque la mayoría de las IAs actuales aprenden a adivinar basándose en patrones visuales (como "si veo una mancha oscura aquí, suele ser un problema") en lugar de entender realmente qué es cada órgano. Es como si aprendieran a jugar al ajedrez memorizando los movimientos, pero sin entender las reglas del juego.

🚀 La Solución: AnatomiX, el "Anatomista"

Los autores crearon AnatomiX, un nuevo modelo que funciona de manera diferente. En lugar de saltar directamente a la respuesta, AnatomiX sigue el mismo proceso que un radiólogo humano experto.

Imagina que AnatomiX tiene un asistente interno (llamado Módulo de Percepción Anatómica) que actúa como un detective antes de que el "jefe" (el modelo de lenguaje) escriba el informe.

La Analogía del Restaurante 🍽️

Piensa en un restaurante muy concurrido:

1. El Modelo Antiguo (RadVLM, CheXagent): Es como un camarero que grita "¡Pediré la mesa 5!" sin mirar bien. Si la mesa 5 está a la izquierda, pero el cliente se sienta a la derecha, el camarero sigue gritando "Mesa 5" porque memorizó que la mesa 5 suele estar a la izquierda. Se confunde si el restaurante cambia de decoración.
2. AnatomiX: Es como un camarero que primero identifica cada mesa individualmente.
   • Primero, escanea la sala y dice: "Aquí está la mesa del corazón, aquí la del pulmón derecho, aquí la del pulmón izquierdo".
   • Luego, toma una foto mental de cada una de esas mesas.
   • Finalmente, cuando el cliente pide algo, el camarero sabe exactamente a qué mesa se refiere porque ya la ha identificado y etiquetado.

🔍 ¿Cómo funciona AnatomiX? (El Proceso de Dos Pasos)

El modelo tiene una estrategia de "dos tiempos" inspirada en cómo piensan los doctores:

1. Paso 1: El Reconocimiento (El Detective):
   Antes de responder a la pregunta, AnatomiX busca y localiza 36 partes específicas del cuerpo en la radiografía (el corazón, la clavícula, los pulmones, etc.). No solo las ve, sino que las "toca" con un lápiz virtual para saber exactamente dónde están.

   • Metáfora: Es como si el modelo tuviera 36 pegatinas de colores y las colocara una por una en la radiografía: "¡Aquí está el hígado!", "¡Aquí está el pulmón derecho!".

2. Paso 2: La Interpretación (El Doctor):
   Una vez que tiene esas "pegatinas" y sabe dónde está cada cosa, le pasa esa información al cerebro principal (el modelo de lenguaje). Ahora, cuando le preguntas "¿Hay algo malo en el pulmón izquierdo?", el modelo ya no tiene que adivinar. Ya sabe exactamente dónde está el pulmón izquierdo porque lo localizó en el paso 1.

🌟 ¿Por qué es tan especial?

• No se confunde con espejos: Si giras la imagen, AnatomiX sigue sabiendo cuál es el lado izquierdo y cuál es el derecho porque entiende la anatomía, no solo la imagen. Es como saber que el corazón siempre está a la izquierda, sin importar cómo mires la foto.
• Es un "Grounded" (Anclado): La palabra "Grounded" significa que sus palabras están "ancladas" a la realidad de la imagen. Cuando dice "hay una infección aquí", puede señalar exactamente dónde está con un recuadro.
• Resultados: En las pruebas, AnatomiX superó a los mejores modelos actuales en más de un 25% en tareas que requieren entender la anatomía. ¡Es como pasar de un estudiante que aprueba por suerte a un médico con honores!

🎓 En Resumen

AnatomiX es una inteligencia artificial que deja de adivinar y empieza a entender. En lugar de mirar la radiografía como un dibujo borroso, la descompone en sus partes reales (corazón, pulmones, huesos), las localiza con precisión quirúrgica y luego usa esa información para dar diagnósticos y reportes que son mucho más fiables y seguros.

Es un gran paso para que la IA no sea solo un "generador de texto", sino un verdadero asistente médico que entiende el cuerpo humano tal como lo entendemos nosotros.

Resumen técnico

Resumen Técnico: AnatomiX

1. El Problema

Los Modelos de Lenguaje Multimodales (MLLMs) han avanzado significativamente en la interpretación de radiografías de tórax (CXR), pero enfrentan desafíos críticos en el razonamiento espacial y la comprensión anatómica.

• Limitaciones actuales: Las técnicas de "grounding" (anclaje) existentes, que alinean conceptos textuales con objetos en la imagen, a menudo fallan en establecer una correspondencia anatómica real.
• Fallo en la lateralidad: Los modelos de última generación (SOTA) suelen depender de correlaciones espaciales superficiales en lugar de reconocer estructuras anatómicas. Esto se evidencia cuando las imágenes se invierten horizontalmente (izquierda $\leftrightarrow$ derecha); los modelos existentes confunden las estructuras laterales (ej. confundir el pulmón izquierdo con el derecho) o fallan al localizar lesiones, indicando una falta de comprensión anatómica profunda.
• Proceso de un solo paso: Los modelos actuales intentan detectar objetos y realizar la tarea de inferencia en un solo paso implícito, lo cual difiere del flujo de trabajo iterativo de los radiólogos, quienes identifican, localizan y evalúan estructuras anatómicas antes de diagnosticar.

2. Metodología: AnatomiX

AnatomiX es un modelo MLLM diseñado específicamente para la interpretación de CXR, inspirado en el flujo de trabajo radiológico mediante un enfoque de dos etapas.

A. Módulo de Percepción Anatómica (APM - Anatomy Perception Module)
Esta es la primera etapa, diseñada para extraer representaciones globales y características finas de 36 objetos anatómicos torácicos antes de pasar a la generación de texto.

• Arquitectura: Utiliza un codificador de imágenes ($E$), un decodificador ($D$) inspirado en DETR, un módulo de extracción de características ($M$) y un codificador de oraciones ($S$).
• Detección y Localización: El decodificador procesa tokens de objetos aprendibles ($\tilde{O}$) junto con las imágenes para predecir cajas delimitadoras ($\hat{y}_{box}$) para cada una de las $N$ estructuras anatómicas. Se utilizan pérdidas de $L1$ e IoU (Intersection over Union).
• Extracción de Características: El módulo $M$ utiliza mecanismos de atención cruzada para extraer representaciones visuales finas ($\hat{O}_A$) de las regiones específicas definidas por las cajas predichas.
• Alineación Contrastiva (Entrenamiento): Durante el entrenamiento, se alinea cada token de característica anatómica con descripciones textuales correspondientes (hallazgos radiológicos) utilizando un codificador de oraciones congelado (BiomedBERT).
  • Pérdida de Auto-similitud: Se introduce una matriz de auto-similitud y una pérdida de divergencia KL (Kullback-Leibler) para manejar la co-ocurrencia natural de hallazgos en múltiples regiones, evitando los falsos negativos de las pérdidas contrastivas estándar (tipo CLIP) que asumen un solo par positivo.
• Recuperación Contrastiva (Inferencia): En la fase de inferencia, el codificador de oraciones se reemplaza por una Base de Datos Vectorial (VDB) que almacena las descripciones textuales precomputadas. El modelo recupera la descripción textual más semánticamente similar para cada objeto anatómico detectado.

B. Modelo de Lenguaje Grande (LLM)
La segunda etapa utiliza un LLM (basado en MedGemma-4b-it) que recibe la información procesada por el APM.

• Prompt Multimodal: Se construye una plantilla que integra:
  1. Embeddings de la imagen global ($I_p$).
  2. Tokens de objetos anatómicos ($\hat{O}_A$).
  3. Cajas delimitadoras predichas ($\hat{y}_{box}$).
  4. Descripciones textuales recuperadas ($\hat{S}_t$).
• Tokens Especiales: Se introducen tokens especiales en el vocabulario del LLM (ej. <obj_i>, <box>, <ref>) para permitir que el modelo razone directamente sobre objetos anatómicos específicos en lugar de inferirlos implícitamente de la imagen global.
• Entrenamiento: Se utiliza adaptación de bajo rango (LoRA) para el ajuste fino en múltiples tareas.

3. Contribuciones Clave

1. Arquitectura Consciente de la Anatomía: Introducción de AnatomiX, un modelo que separa explícitamente la identificación y localización anatómica de la tarea de inferencia, imitando el proceso cognitivo de los radiólogos.
2. Superioridad en Tareas de Anclaje (Grounding): Logra un rendimiento SOTA en tareas de anclaje de frases, anclaje anatómico, diagnóstico basado en regiones y descripción de regiones, superando a modelos como RadVLM, CheXagent y MAIRA-2.
3. Robustez ante Inversiones: Demostró una capacidad única para mantener la precisión en imágenes horizontalmente invertidas (donde se eliminan marcadores radiológicos), validando que el modelo aprende la anatomía real y no solo correlaciones espaciales o marcadores de texto.
4. Eficiencia: Alcanza un rendimiento superior o comparable en generación de informes y VQA, a pesar de tener una arquitectura más eficiente que modelos competidores más grandes.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples conjuntos de datos (MIMIC-CXR, Chest-ImaGenome, VinDr-CXR, etc.) cubriendo 9 tareas radiológicas.

• Anclaje y Localización:
  • Mejora de >25% en tareas de anclaje anatómico y diagnóstico basado en regiones en comparación con el estado del arte.
  • En imágenes invertidas, RadVLM (el mejor baseline) cayó a un IoU promedio de 0.108, mientras que AnatomiX mantuvo un 0.712, demostrando una comprensión anatómica robusta.
• Generación de Informes:
  • Obtuvo el puntaje más alto en métricas de generación de lenguaje natural (ROUGE, BERTScore) y métricas clínicas (RadGraph-F1), superando a modelos con 1.5x más parámetros.
• Preguntas y Respuestas Visuales (VQA) y Clasificación:
  • Superó a todos los modelos comparados en clasificación de imágenes y detección de anomalías, manteniendo un rendimiento competitivo en VQA de preguntas abiertas y cerradas.
• Ablaciones:
  • Se demostró que cada componente (tokens anatómicos, cajas delimitadoras, descripciones recuperadas) es crucial. La eliminación de los tokens anatómicos o las cajas degradó significativamente el rendimiento en tareas de localización.

5. Significado e Impacto

El trabajo de AnatomiX marca un paso importante hacia el diseño específico de dominio en los MLLMs médicos.

• Cierre de la Brecha: Cierra la brecha entre el "grounding" visual (localizar píxeles) y la "comprensión médica" (entender la anatomía y la lateralidad).
• Fiabilidad Clínica: Al resolver el problema de la lateralidad (confusión izquierda/derecha), el modelo es más seguro y confiable para la asistencia clínica, reduciendo el riesgo de errores de diagnóstico por orientación incorrecta.
• Nueva Dirección: Sugiere que para aplicaciones médicas de alta precisión, los modelos no deben depender únicamente de la fine-tuning masiva de modelos generales, sino incorporar arquitecturas que modelen explícitamente la estructura del dominio (en este caso, la anatomía torácica).

El código y los modelos preentrenados están disponibles públicamente, facilitando la reproducibilidad y la adopción en la comunidad de investigación médica.