Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

1. El Problema

El artículo aborda los desafíos únicos que presenta la aplicación de modelos fundacionales basados en Transformers a la tomografía computarizada (CT) volumétrica (3D), en contraste con las imágenes médicas 2D o naturales:

• Escalado de Tokens: La partición naive de volúmenes 3D genera una cantidad de tokens que escala cúbicamente con la resolución, mientras que la atención de los Transformers escala cuadráticamente, haciendo computacionalmente prohibitivo el uso de atención global en escaneos completos.
• Anisotropía Geométrica: Los datos de CT presentan un espaciado de vóxeles anisotrópico (la resolución en el eje de corte es diferente a la del plano axial) y campos de visión variables. Los encodings de posición estándar asumen isotropía, lo que distorsiona la geometría.
• Supervisión Clínica Débil: Las etiquetas clínicas suelen ser ruidosas, jerárquicas (informes de texto libre, etiquetas escasas) y a menudo describen múltiples condiciones co-ocurrentes, lo que debilita las señales de las funciones de pérdida contrastiva estándar (como CLIP).
• Falta de Sesgos Inductivos: A diferencia de las CNN, los Transformers carecen de sesgos inductivos intrínsecos (como la invariancia traslacional local). En entornos médicos con datos limitados o heterogéneos, esto requiere introducir estos sesgos explícitamente en el diseño del modelo.

2. Metodología: SPECTRE

SPECTRE es un modelo fundacional basado puramente en Transformers 3D, diseñado para aprender representaciones generales de CT volumétrica. Su arquitectura y estrategia de entrenamiento se basan en tres pilares:

A. Arquitectura de Dos Niveles (Local y Global)

Para manejar la complejidad computacional de los volúmenes 3D, SPECTRE utiliza una jerarquía de dos transformadores:

1. ViT Local ($ViT_\ell$): Extrae características de alta resolución de regiones locales (ventanas 3D). Utiliza atención restringida a ventanas locales para mantener la eficiencia.
2. ViT Global ($ViT_g$): Agrega los tokens de nivel de ventana para modelar el contexto de todo el escaneo.

• Tokenización 3D Anisotrópica: Los parches tienen un tamaño de $16 \times 16 \times 8$ vóxeles, adaptándose al espaciado típico de los vóxeles en CT (donde la profundidad es aproximadamente el doble que el ancho/alto).
• Posicionamiento 3D RoPE: Emplea Rotary Positional Embeddings (RoPE) 3D para codificar la posición relativa de los vóxeles, lo que permite generalización a diferentes resoluciones y tamaños de ventana. Se implementa un "jittering" (ruido) en las coordenadas normalizadas para aumentar la robustez ante variaciones en el espaciado de vóxeles y el campo de visión.

B. Preentrenamiento en Dos Etapas

El modelo se entrena mediante una pipeline de dos etapas que combina aprendizaje auto-supervisado (SSL) y alineación visión-idioma (VLA):

1. Etapa 1: Aprendizaje Auto-Supervisado (SSL) con DINOv3:

   • Se utiliza un marco de distilación estudiante-profesor (DINOv3 adaptado).
   • Objetivo: Aprender características geométricas robustas y de bajo nivel sin etiquetas.
   • Técnicas: Se emplean vistas múltiples (globales y locales), enmascaramiento de parches (iBOT) y regularización KoLeo. Se omitió la pérdida Gram (relevante para modelos masivos de escala de billones de parámetros) debido al espectro operativo más estrecho de la CT.
   • Resultado: Un encoder local ($ViT_\ell$) robusto a la geometría.

2. Etapa 2: Alineación Visión-Lenguaje (VLA) con SigLIP:

   • Se alinea el modelo completo (local + global) con informes radiológicos de texto libre.
   • Modelo de Texto: Se utiliza Qwen3-0.6B con adaptadores LoRA para codificar los informes.
   • Función de Pérdida: Se utiliza SigLIP (Sigmoid Loss for Language Image Pre-training) en lugar de la pérdida InfoNCE (softmax) tradicional. SigLIP es más robusto al ruido, a los tamaños de lote pequeños y a la naturaleza "muchos-a-muchos" de los pares imagen-informe en medicina (un escaneo puede tener múltiples descripciones válidas).
   • Estrategia: Se reescriben los informes con LLMs para generar múltiples paráfrasis semánticamente equivalentes, mejorando la generalización.

3. Contribuciones Clave

• SPECTRE: El primer modelo fundacional puramente basado en Transformers 3D para CT, entrenado exclusivamente con datos de código abierto (sin datos privados).
• Diseño Geométrico Consciente: Introducción de tokenización anisotrópica y RoPE 3D con jittering para manejar la heterogeneidad de los escáneres de CT.
• Pipeline de Preentrenamiento Híbrida: Una estrategia efectiva que primero aprende primitivas geométricas robustas (SSL) y luego inyecta semántica clínica (VLA), superando las limitaciones de los enfoques puramente contrastivos en medicina.
• Código y Modelo Abiertos: Liberación completa del modelo, código de entrenamiento y recetas de preentrenamiento para la comunidad.

4. Resultados

SPECTRE se evaluó en múltiples tareas de transferencia, superando consistentemente a modelos anteriores (como CT-CLIP, Merlin, VISTA3D, etc.):

• Predicción de Biomarcadores (Zero-shot y Fine-tuning):
  • En 6 benchmarks de clasificación de biomarcadores tumorales (LUNA16, DLCS, NSCLC, KiTS, etc.), SPECTRE logró el mejor rendimiento en 4 de los 6 casos utilizando clasificadores k-NN con embeddings congelados.
  • Demostró una capacidad superior para capturar patrones sutiles relacionados con la biología tumoral.
• Segmentación Semántica:
  • Se integró en el marco nnU-Net como reemplazo del codificador (enfoque Encoder-only Mask Transformer o SEoMT).
  • Superó a otros modelos basados en Transformers (CoTr, nnFormer, SwinUNETRv2) y fue competitivo con el estado del arte basado en CNN (nnU-Net), a pesar de no utilizar un decodificador pesado.
  • Logró un DICE promedio de 86.64% en KiTS23, 80.14% en LiTS y 83.31% en WORD.
• Recuperación Texto-Imagen (Zero-shot):
  • En la recuperación de escaneos basada en informes radiológicos (CT-RATE y Merlin), SPECTRE superó significativamente a CT-CLIP y Merlin.
  • Destacó especialmente en la recuperación basada en la sección "Impresiones" de los informes (interpretación clínica), logrando un Recall@1 del 66.4% en el conjunto de datos Merlin (vs 38.4% de Merlin), lo que indica una mejor alineación semántica profunda.

5. Significado e Impacto

• Validación de la Escalabilidad: Demuestra que es posible entrenar modelos fundacionales 3D masivos y generalizables sin depender de datos privados, utilizando únicamente conjuntos de datos públicos.
• Puente entre Geometría y Semántica: SPECTRE resuelve la tensión entre la necesidad de precisión espacial (SSL) y la comprensión clínica semántica (VLA), creando representaciones que son tanto geométricamente consistentes como clínicamente significativas.
• Accesibilidad: Al ser un modelo de código abierto y totalmente basado en Transformers, reduce la barrera de entrada para instituciones que desean desarrollar herramientas de imagen médica precisas y eficientes en datos, promoviendo la equidad en la salud global.
• Dirección Futura: Establece un camino escalable para modelos médicos 3D de propósito general, sugiriendo que la combinación de arquitecturas eficientes y estrategias de preentrenamiento multimodal es la clave para el futuro de la IA en radiología volumétrica.