Adapting Frozen Mono-modal Backbones for Multi-modal Registration via Contrast-Agnostic Instance Optimization

Título: Adaptación de Espinas Dorsales Monomodales Congeladas para el Registro Multimodal mediante Optimización de Instancias A-Contraste

1. El Problema

El registro de imágenes médicas deformables es fundamental para aplicaciones como la planificación de tratamientos y estudios longitudinales. Sin embargo, enfrenta desafíos críticos en escenarios multimodales (por ejemplo, al alinear imágenes de RM con diferentes contrastes como T1, T2 o FLAIR), donde las distribuciones de intensidad varían drásticamente.

• Limitaciones actuales: Los métodos de aprendizaje profundo existentes suelen entrenarse en dominios monomodales y fallan al generalizar ante cambios de distribución (desplazamientos de dominio) en la fase de prueba.
• Costo computacional: La solución obvia de fine-tuning (ajuste fino) completo de arquitecturas modernas grandes (como Transformers o U-Nets 3D) es prohibitivamente costosa en términos de memoria (VRAM) y tiempo de ejecución, especialmente en 3D.
• Inestabilidad: El ajuste fino "ingenuo" o la optimización de instancias (IO) sin adaptaciones previas pueden ser inestables o degradar el rendimiento cuando existen brechas de modalidad severas.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que integra un modelo de registro monomodal preentrenado y congelado con una tubería de adaptación ligera. La arquitectura se basa en tres pilares principales:

• Optimización de Instancias (IO) Ligera:

  • En lugar de ajustar los parámetros del modelo base (backbone), se utiliza una red preentrenada congelada ($f_\theta$) para generar un campo de deformación inicial ($\phi_0$).
  • Se introduce una etapa de refinamiento posterior compuesta por una cascada de tres redes U-Net 3D ligeras e inicializadas aleatoriamente. Estas redes predicen campos de deformación residuales en escalas progresivamente más finas.
  • El campo final se obtiene componiendo la inicialización con los residuos refinados: $\phi_T = \phi_0 \circ \text{Upsample}(\delta\phi_1) \circ \dots \circ \text{Upsample}(\delta\phi_3)$.
  • Este enfoque es ortogonal a la elección del modelo base, evitando el costo del ajuste fino completo.

• Transferencia de Estilo A-Contraste (Brain-ID):

  • Para mitigar las brechas de distribución cuando las modalidades de entrada difieren significativamente del dominio de entrenamiento, se emplea un módulo de transferencia de estilo basado en Brain-ID.
  • Este módulo genera representaciones invariantes al contraste e imágenes con estilo similar a T1w.
  • Detección de Brecha: Se utiliza una verificación de similitud rápida (LNCC a baja resolución). Si la similitud es baja (indicando una gran diferencia de modalidad), las imágenes se pasan por Brain-ID antes de la inicialización; de lo contrario, se usan las imágenes originales.

• Función de Pérdida:

  • Se utiliza la Correlación Cruzada Normalizada Local (LNCC) con un kernel gaussiano como término de similitud.
  • La pérdida total combina la similitud en múltiples niveles de refinamiento y un regularizador de difusión sobre el campo final, con un peso de regularización ($\lambda$) bajo para evitar deformaciones excesivas.

3. Contribuciones Clave

• Marco de Adaptación en Tiempo de Prueba: Un método que permite adaptar modelos preentrenados monomodales a escenarios multimodales y fuera de dominio sin necesidad de reentrenar el modelo base masivo.
• Eficiencia Computacional: La estrategia de refinamiento ligero requiere menos de 10 GB de memoria GPU, lo que la hace viable en hardware estándar, a diferencia del ajuste fino completo de modelos 3D grandes.
• Robustez Multimodal: La integración de la transferencia de estilo a-contraste (Brain-ID) con la optimización de instancias cierra eficazmente la brecha entre modalidades dispares.
• Generalización: El método no solo mejora el rendimiento multimodal, sino que también mejora consistentemente el rendimiento in-domain de los modelos base monomodales.

4. Resultados

El método se evaluó en el conjunto de validación LUMIR del desafío Learn2Reg 2025:

• Rendimiento General: El método propuesto logró el 4º lugar en la puntuación global de Dice.
• Subconjuntos Específicos:
  • 2º lugar en el subconjunto multimodal.
  • 3º lugar en el subconjunto fuera de dominio (out-of-domain).
• Comparativa: Superó consistentemente a los modelos base preentrenados (como VFA-SynthSR) y a otras estrategias de ajuste fino o IO sin adaptación de estilo.
• Estudios de Ablación:
  • La refinamiento en cascada con actualizaciones composicionales superó a las redes únicas o actualizaciones aditivas.
  • Un preentrenamiento moderado de los módulos de refinamiento (1000 pasos) ofreció el mejor equilibrio, mientras que un ajuste excesivo (5000 pasos) no aportó mejoras adicionales.
  • El ajuste fino completo del backbone (VFA-Brain-ID full finetune) resultó ser inferior a la adaptación ligera, confirmando que el reentrenamiento exhaustivo puede ser contraproducente en este contexto.

5. Significado e Impacto

Este trabajo demuestra que es posible lograr un registro multimodal robusto y de alto rendimiento sin incurrir en los costos computacionales prohibitivos del ajuste fino de modelos fundacionales grandes.

• Practicidad: Ofrece una vía viable para desbloquear el potencial de modelos preentrenados en dominios no vistos, lo cual es crucial para la aplicación clínica real donde las modalidades de escaneo varían entre hospitales y equipos.
• Paradigma de Diseño: Establece un nuevo estándar para la adaptación de modelos de visión médica, priorizando la eficiencia y la modularidad (backbone congelado + adaptador ligero) sobre la reentrenamiento masivo.
• Relevancia Clínica: Al mejorar la alineación anatómica entre diferentes modalidades de RM, facilita tareas críticas como la fusión de imágenes para radioterapia y el seguimiento longitudinal de pacientes.