Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

Resumen Técnico: Preentrenamiento de Visión-Lenguaje Centrado en Enfermedades con Codificación Visual Híbrida para Tomografía Computarizada 3D

Planteamiento del Problema
El preentrenamiento de visión-lenguaje (VLP) ha mostrado ser prometedor en la IA médica al aprovechar los informes radiológicos como una rica supervisión textual. Sin embargo, los métodos existentes enfrentan dos limitaciones críticas cuando se aplican a la Tomografía Computarizada (TC) 3D:

1. Backbones Visuales Ineficientes: La mayoría de los modelos reutilizan backbones diseñados para imágenes naturales 2D. Extender los Vision Transformers (ViT) a la TC 3D mediante la parcelación volumétrica incurre en costos computacionales excesivos y sacrifica la resolución espacial, lo que conduce a la pérdida de detalles críticos en lesiones pequeñas. Por el contrario, las Redes Neuronales Convolucionales (CNN) 3D capturan bien las texturas locales pero carecen de compatibilidad con las arquitecturas de VLM predominantes, lo que dificulta la transferencia de los conocimientos previos (priors) transmodales aprendidos durante el preentrenamiento a gran escala.
2. Alineación Semántica Gruesa: Los enfoques actuales dependen del aprendizaje contrastivo de imagen-texto global, ignorando las correspondencias de grano fino entre hallazgos patológicos específicos y sus descripciones textuales. Incluso los métodos de alineación a nivel de órgano suelen confundir distintas enfermedades (por ejemplo, "atelectasia", "enfisema" y "nódulos pulmonares") dentro del mismo órgano bajo una etiqueta genérica de "anormalidad", lo que oscurece las asociaciones específicas de la enfermedad y perjudica la discriminación diagnóstica.

Metodología
Los autores proponen CT-DiagVLM, un marco de VLP diseñado a medida centrado en el codiseño de representación eficiente, alineación de grano fino e inferencia robusta. El marco consta de tres componentes principales:

1. Codificador Visual Híbrido CNN–ViT:

   • Para equilibrar la captura de detalles locales con la atención global, el modelo reemplaza el módulo de parche estándar de ViT con un backbone CNN 3D (específicamente un ResNet-18 3D).
   • Emplea un mecanismo de Incrustación de Parches de Fusión Multiescala (MSF-PE). Las características de cuatro etapas de la CNN se proyectan, se alinean mediante interpolación trilineal y se fusionan para crear inicializaciones de tokens ricas.
   • Estas incrustaciones se introducen en un codificador ViT inicializado con pesos preentrenados de SigLIP-2. Este diseño preserva los mecanismos de atención global y los conocimientos previos transmodales mientras captura eficientemente los detalles anatómicos locales multiescala sin la carga computacional de la atención propia directa sobre volúmenes 3D de alta resolución.
   • Un decodificador tipo U-Net predice las máscaras de los órganos, que se utilizan para filtrar los tokens de ViT y generar incrustaciones visuales específicas de cada órgano mediante atención cruzada con consultas de órgano aprendibles.

2. Aprendizaje Contrastivo a Nivel de Enfermedad:

   • Más allá del alineamiento a nivel de órgano, el marco introduce un mecanismo para desentrañar patologías que coexisten.
   • Tokens de Consulta Aprendibles: Para cada órgano, un conjunto de vectores de consulta aprendibles representa todas las condiciones posibles (enfermedades específicas + estado saludable).
   • Extracción Dinámica: Estas consultas realizan atención cruzada sobre el informe radiológico completo para extraer dinámicamente la semántica textual específica de cada condición sin requerir la descomposición explícita del informe.
   • Objetivo Contrastivo: El modelo alinea las características visuales a nivel de órgano con estas incrustaciones textuales específicas de la enfermedad. Atrae las características visuales hacia las incrustaciones textuales de la misma enfermedad presente en el lote (batch), mientras aleja las de otras condiciones. Esto permite el entrenamiento tanto con etiquetas de verdad fundamental (ground-truth) como con pseudo-etiquetas generadas por LLM.

3. Estrategia de Prompt Sensible al Diagnóstico:

   • Para cerrar la brecha entre el preentrenamiento y la inferencia zero-shot, los autores reemplazan los prompts binarios construidos a mano (ej. "La TC muestra la enfermedad X") con frases clínicas reales.
   • Construcción de Prototipos: Para cada condición, el sistema recupera informes diversos del conjunto de entrenamiento (guiados por etiquetas o pseudo-etiquetas) y agrega sus incrustaciones específicas de condición en un prototipo de enfermedad global.
   • Inferencia: Las puntuaciones diagnósticas se calculan mediante la similitud de coseno entre las incrustaciones visuales a nivel de órgano y estos prototipos agregados, asegurando la fidelidad semántica y la robustez frente a las variaciones de redacción.

Contribuciones Clave

• Arquitectura Híbrida: Un codificador híbrido CNN-ViT que integra características de CNN 3D multiescala en un ViT preentrenado, logrando eficiencia en volúmenes 3D mientras mantiene la compatibilidad con VLM.
• Alineación de Grano Fino: Un mecanismo de aprendizaje contrastivo a nivel de enfermedad que utiliza tokens de consulta aprendibles para extraer y alinear la semántica específica de la enfermedad de informes no estructurados, permitiendo el desentrañamiento de múltiples patologías dentro de un solo órgano.
• Estrategia de Inferencia Robusta: Una estrategia de prompt sensible al diagnóstico que aprovecha el lenguaje clínico real y los prototipos agregados para mejorar la fiabilidad diagnóstica zero-shot y reducir la brecha entre el preentrenamiento y la inferencia.

Resultados Experimentales
El modelo fue evaluado en dos benchmarks públicos de TC de tórax: CT-RATE (test interno) y Rad-ChestCT (test externo).

• Benchmarks Estándar: CT-DiagVLM alcanzó un AUC del 84.4% en CT-RATE, superando al estado del arte anterior (fVLM) por un 5.1% y a ViSD-Boost por un 5.4%. En el dataset externo Rad-ChestCT, alcanzó un AUC del 75.4%, una mejora del 5.4% respecto a fVLM.
• Escalabilidad (60 Enfermedades): Utilizando Qwen3-Max para generar pseudo-etiquetas para 60 condiciones distintas, el modelo demostró una escalabilidad significativa, alcanzando un AUC del 85.6% frente al 75.8% de un modelo base (una ganancia de +9.8%). Aunque la sensibilidad disminuyó ligeramente debido a que los límites de decisión del modelo son más conservadores y robustos al ruido, la especificidad y el AUC mejoraron sustancialmente.
• Tareas Downstream: El modelo preentrenado mostró una fuerte transferibilidad a la generación de informes radiológicos, logrando un F1-score de 45.5% en CT-RATE, superando los métodos existentes.
• Estudios de Ablación: Los experimentos confirmaron que cada componente (codificador híbrido, pérdida a nivel de enfermedad y estrategia de prompt) contribuye de manera única y sinérgica. El codificador híbrido por sí solo proporcionó una ganancia de +1.0% en AUC, mientras que el marco completo entregó la mejora total de +5.1%.

Significado
El artículo argumenta que la estrategia de codiseño propuesta es esencial para traducir el potencial de los modelos fundacionales en un VLP médico efectivo. Al abordar la ineficiencia de los backbones visuales en 3D y la confusión semántica de distintas enfermedades, CT-DiagVLM demuestra que el preentrenamiento centrado en enfermedades puede lograr un rendimiento de vanguardia y una fuerte generalización. Los autores afirman que este trabajo proporciona una dirección prometedora hacia sistemas de IA médica de propósito general y clínicamente viables, capaces de realizar diagnósticos y razonamientos precisos con la sutileza del lenguaje clínico real. El enfoque destaca la importancia del alineamiento semántico de grano fino y la utilidad de aprovechar los LLM para un aprendizaje escalable y específico de cada enfermedad en ausencia de anotaciones manuales densas.