Resumen Técnico: Adaptación de Modelos Fundacionales de TC Contextualizada por la Anatomía

Planteamiento del Problema

Los modelos fundacionales de visión-lenguaje para TC (por ejemplo, Merlin, CT-CLIP) han demostrado un sólido rendimiento zero-shot en diversas tareas de seguimiento mediante el entrenamiento con representaciones de volúmenes completos. Sin embargo, estos modelos suelen condensar un volumen 3D completo de TC en un único embedding, lo que diluye las señales anatómicas de grano fino. Por el contrario, los enfoques existentes de preentrenamiento de visión-lenguaje de grano fino (FVLP) alinean características visuales específicas de la anatomía con descripciones textuales específicas, pero a menudo descartan el contexto global proporcionado por los modelos de volumen completo. Además, los métodos actuales de FVLP generalmente requieren entrenar todo el modelo desde cero, lo que los hace computacionalmente costosos y difíciles de escalar. Existe la necesidad de un marco que adapte los modelos fundacionales congelados para lograr una alineación a nivel de anatomía, preservando y mejorando la información contextual global sin el costo de un reentrenamiento completo.

Metodología: Adaptación Contextualizada por la Anatomía (ACA)

Los autores presentan la Adaptación Contextualizada por la Anatomía (ACA), un marco ligero diseñado para adaptar las representaciones de modelos fundacionales de TC congelados para la alineación de visión-lenguaje a nivel de anatomía. La metodología consta de tres componentes principales:

1. Construcción de Embeddings:

   • Visual: El marco utiliza TotalSegmentator para descomponer los volúmenes de TC en 44 estructuras anatómicas. Estas máscaras de segmentación se proyectan sobre los mapas de características espaciales de un backbone de modelo fundacional congelado (ya sea el I3D ResNet152 de Merlin o el CT-ViT de CT-CLIP). Las características correspondientes a cada estructura anatómica se promedian mediante mean-pooling para crear embeddings a nivel de anatomía.
   • Texto: Los hallazgos específicos de la anatomía se extraen de los informes radiológicos utilizando un Modelo de Lenguaje Grande (Qwen3-4B-Instruct). Estos hallazgos se codifican utilizando el codificador de texto congelado del respectivo modelo fundacional para producir embeddings de texto a nivel de anatomía. Se genera un embedding de texto separado a nivel de escaneo a partir del informe completo.
   • Codificación Posicional: Las codificaciones de posición espacial entre anatomías se calculan basándose en la distancia $\ell_2$ entre los centroides del espacio de vóxeles de las estructuras anatómicas, normalizada por la diagonal del volumen.

2. Transformer Inter-Anatómico:

   • Para capturar las relaciones entre anatomías, los embeddings de la anatomía se pasan a través de un transformer inter-anatómico aprendible.
   • Antes de entrar al transformer, cada embedding es aumentado con codificaciones de posición espacial aprendidas y embeddings de tipo de anatomía aprendibles.
   • Este módulo contextualiza el embedding de cada anatomía mediante la atención al conjunto completo de estructuras presentes en el escaneo, lo que permite al modelo aprender relaciones entre órganos (por ejemplo, comparaciones de tamaño relativo).

3. Función de Pérdida Combinada:

   • Pérdida a Nivel de Anatomía ($\mathcal{L}_{anatomy}$): Una pérdida contrastiva que alinea cada embedding de anatomía contextualizado con su descripción de texto correspondiente. Esta pérdida emplea una matriz de objetivos suaves (soft target matrix) para manejar falsos negativos, tratando las instancias "normales" de diferentes pacientes como pares positivos para evitar penalizar estructuras sanas semánticamente idénticas.
   • Pérdida a Nivel de Escaneo ($\mathcal{L}_{scan}$): Una pérdida contrastiva que alinea el embedding visual de nivel de escaneo obtenido mediante mean-pooling (derivado de los embeddings de anatomía contextualizados) con el embedding del informe radiológico completo. Esto proporciona una señal de supervisión global para asegurar que el modelo mantenga una visión coherente de todo el escaneo.
   • El objetivo total es la suma de estas dos pérdidas ($\mathcal{L}_{total} = \mathcal{L}_{anatomy} + \lambda \mathcal{L}_{scan}$).

Contribuciones Clave

• Adaptación Ligera: ACA adapta modelos fundacionales congelados utilizando únicamente módulos entrenables ligeros (el transformer y las cabezas de proyección), evitando el costo computacional del reentrenamiento de extremo a extremo requerido por los métodos de FVLP existentes.
• Alineación de Grano Fino Contextualizada: A diferencia de los métodos de grano fino anteriores que tratan las anatomías de forma independiente, ACA introduce un transformer inter-anatómico que modela explícitamente las relaciones entre anatomías, abordando la limitación de ignorar el contexto global en los enfoques de grano fino.
• Supervisión de Doble Granularidad: El marco combina de manera única el aprendizaje contrastivo a nivel de anatomía con la alineación de informes a nivel de escaneo, permitiendo que el modelo aprenda simultáneamente la patología de órganos específicos y el contexto clínico global.

Resultados

El marco fue evaluado en dos conjuntos de datos a gran escala: Merlin (TC abdominal) y CT-RATE (TC de tórax), utilizando sus respectivos modelos fundacionales congelados como backbones.

• Ganancias de Rendimiento: ACA superó consistentemente tanto a los baselines de los modelos fundacionales congelados como a los métodos de adaptación de grano fino existentes (incluyendo las adaptaciones de MLP, fVLM y ViSD-Boost) en la clasificación zero-shot de hallazgos.
  • En el conjunto de datos Merlin, ACA mejoró el macro-average AUROC in-distribution de 0.7729 (baseline de Merlin) a 0.8213.
  • En el conjunto de datos CT-RATE, mejoró el AUROC in-distribution de 0.7082 (baseline de CT-CLIP) a 0.7311.
  • Se observaron ganancias significativas también en entornos fuera de la distribución (por ejemplo, ACA entrenado en Merlin en el test set de CT-RATE: 0.7400 vs. 0.6919 del baseline).
• Estudios de Ablación: Eliminar ya sea la pérdida a nivel de anatomía o la pérdida a nivel de escaneo resultó en una disminución del rendimiento, confirmando que tanto la alineación anatómica local como la supervisión del contexto global son necesarias.
• Pooling Guiado por la Anatomía: Una estrategia de inferencia que restringe el pooling a las estructuras anatómicamente relevantes para hallazgos específicos mejoró aún más el rendimiento, particularmente para modelos sin supervisión a nivel de escaneo.
• Asociaciones Aprendidas: El análisis de los pesos de atención reveló que el transformer aprendió asociaciones inter-anatómicas plausibles (por ejemplo, la continuidad estómago-intestino delgado-colon en Merlin; pulmón-esófago en CT-RATE) puramente a partir del entrenamiento contrastivo, reflejando el alcance anatómico de los datos de entrenamiento.
• Caso de Estudio: En la detección de esplenomegalia, ACA identificó correctamente la hipertrofia patológica comparando el tamaño del bazo con relación a los órganos circundantes, mientras que los baselines de grano fino independientes no pudieron realizar esta evaluación relativa.

Significado y Reivindicaciones

El artículo afirma que ACA proporciona un camino práctico y eficiente en términos de cómputo para mejorar el aprendizaje de representaciones en imágenes médicas. Al demostrar que los modelos fundacionales congelados pueden adaptarse eficazmente a tareas de visión-lenguaje anatómicamente fundamentadas con menos de una hora de entrenamiento (una vez que los embeddings están almacenados en caché), los autores argumentan que el reentrenamiento completo de extremo a extremo no es estrictamente necesario para alcanzar un rendimiento de grano fino de vanguardia.

Los autores posicionan a ACA como una solución que cierra la brecha entre el contexto global amplio de los modelos de volumen completo y la especificidad de la alineación de grano fino. Señalan que, si bien sus comparaciones con otros métodos de grano fino (fVLM, ViSD-Boost) se realizan bajo un entorno de "embedding congelado" coincidente (en lugar de comparar contra sus versiones originales entrenadas de extremo a extremo), los resultados respaldan la eficacia de su estrategia de adaptación. El trabajo se limita a la clasificación de hallazgos zero-shot, dejando la segmentación y la generación de informes para trabajos futuros.