TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation

Resumen Técnico: TRACE – Radiología Temporal con Explicación de Cambios Anatómicos

Planteamiento del Problema
La radiología clínica depende en gran medida de la comparación temporal de radiografías de tórax para detectar la progresión de enfermedades, la respuesta al tratamiento y nuevos hallazgos. Aunque los métodos automatizados existentes han avanzado en la generación de informes de imagen única y el posicionamiento visual (visual grounding), no logran abordar la necesidad crítica de la detección de cambios temporales. Los enfoques actuales suelen dividirse en tres categorías disjuntas: (1) la generación de informes de imagen única carece de contexto temporal; (2) los métodos de clasificación temporal detectan la progresión pero solo emiten etiquetas sin localización espacial; y (3) la generación de informes con posicionamiento localiza hallazgos pero opera sobre imágenes individuales sin razonamiento temporal. En consecuencia, ningún método existente realiza simultáneamente la comparación temporal, la clasificación de cambios (empeorado/mejorado/estable) y la localización espacial para generar informes fundamentados que describan qué cambió, dónde y cómo.

Metodología
Los autores presentan TRACE (Temporal Radiology with Anatomical Change Explanation), un marco unificado diseñado para generar informes en lenguaje natural con coordenadas de cajas delimitadoras (bounding boxes) para cambios de intervalo entre una radiografía previa y una actual.

• Arquitectura: TRACE se basa en el marco LLaVA, utilizando un codificador de visión BioViL-T congelado (preentrenado en radiografías de tórax con conciencia temporal) y un decodificador de modelo de lenguaje de gran tamaño (LLM) (Vicuna-7B o Mistral-7B).
• Fusión de Características: En lugar de utilizar imágenes de diferencia explícitas o módulos de atención temporal, el modelo emplea la concatenación de características. Las características de las imágenes previa y actual se extraen de forma independiente utilizando pesos compartidos y se concatenan para formar una secuencia de 392 tokens visuales. El mecanismo de autoatención del LLM gestiona implícitamente la comparación entre imágenes.
• Estrategia de Entrenamiento: El modelo se entrena en dos etapas:
  1. Alineación: El proyector MLP se entrena para alinear las características visuales con el espacio de incrustación (embedding) del LLM.
  2. Ajuste de Instrucciones (Instruction Tuning): Ajuste fino de extremo a extremo utilizando Adaptación de Bajo Rango (LoRA) en el LLM para generar informes temporales con posicionamiento. El objetivo de entrenamiento minimiza la log-verosimilitud negativa para los tokens objetivo, que incluyen descripciones en lenguaje natural y coordenadas de cajas delimitadoras normalizadas (p. ej., <box>x1,y1,x2,y2</box>).
• Conjunto de Datos: El modelo se entrena con un conjunto de datos construido de 79,202 muestras de entrenamiento y 22,553 muestras de prueba, derivadas de MIMIC-CXR-JPG y Chest ImaGenome. Este conjunto de datos empareja estudios consecutivos del mismo paciente con anotaciones temporales fundamentadas que indican si los hallazgos empeoraron, mejoraron o permanecieron estables.

Resultos Clave

• Desempeño: TRACE alcanza una precisión del 48.0% en la desafiante tarea de clasificación de cambios de tres vías (empeorado, mejorado, estable). Demuestra una alta precisión espacial con un 9uelo de precisión de posicionamiento (IoU > 0.5) del 90.2% y puntuaciones de eficacia clínica sólidas (F1 de RadGraph: 0.406; F1 de CheXbert: 0.432).
• Estudio de Ablación (Capacidad Emergente): Un hallazgo crítico es que la detección de cambios es una capacidad emergente que requiere el aprendizaje conjunto de la comparación temporal y el posicionamiento espacial.
  • Los modelos con acceso a ambas imágenes pero sin supervisión de posicionamiento fallaron completamente, prediciendo "estable" para todas las muestras (precisión del 43.8%, igualando la mayoría de la base de referencia).
  • Los modelos de imagen única (que carecen del estudio previo) también fallaron al generar comparaciones temporales.
  • Los autores hipotetizan que el posicionamiento proporciona un mecanismo de atención espacial necesario, obligando al modelo a centrarse en regiones anatómicas específicas para permitir un razonamiento temporal significativo.
• Disparidades Anatómicas: El desempeño varía según la anatomía. El modelo detecta cambios en la silueta cardíaca (68.8%) y mediastínica (75.5%) con mayor precisión que los cambios en el parénquima pulmonar (~45%), probablemente debido a la naturaleza difusa y sutil de las patologías pulmonares.
• Sensibilidad del Modelo: Una comparación entre Vicuna-7B y Mistral-7B reveló un compromiso entre sensibilidad y especificidad. Vicuna-7B favoreció las predicciones "estables" conservadoras (alta especificidad), mientras que Mistral-7B exhibió una detección de cambios agresiva (alta sensibilidad), lo que sugiere que diferentes arquitect سل (backbones) se adaptan a diferentes escenarios de despliegue clínico.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Nueva Definición de Tarea: Introduce la "detección de cambios temporales con posicionamiento", unificando la comparación temporal, la clasificación y la localización en un solo marco.
2. Descubrimiento de Comportamiento Emergente: Revela que el razonamiento temporal en este contexto no es inherente únicamente a las entradas de múltiples imágenes, sino que emerge solo cuando se combina con la supervisión de posicionamiento espacial. Esto sugiere que el posicionamiento actúa como un sesgo inductivo crítico para el análisis temporal.
3. Construcción de Conjunto de Datos: Proporciona un conjunto de datos a gran escala con anotaciones temporales fundamentadas para permitir la evaluación sistemática de esta nueva tarea.

Los autores posicionan a TRACE como un paso fundacional hacia una IA clínicamente accionable que pueda describir cambios de intervalo con un contexto espacial preciso, una capacidad que anteriormente estaba ausente en los sistemas de radiología automatizados.