Supervise-assisted Multi-modality Fusion Diffusion Model for PET Restoration

Título: Modelo de Difusión de Fusión Multimodal Asistido por Supervisión para la Restauración de PET

1. El Problema

La Tomografía por Emisión de Positrones (PET) es una herramienta de imagen molecular crucial para el diagnóstico clínico, pero su uso está limitado por la exposición a la radiación de los radiofármacos. Para adherirse al principio "tan bajo como sea razonablemente posible" (ALARA), se reduce la dosis o el tiempo de escaneo, lo que genera imágenes de baja dosis (LPET) con una relación señal-ruido (SNR) pobre y mucho ruido.

Existen dos desafíos principales para restaurar imágenes de PET de dosis estándar (SPET) a partir de LPET:

• Limitación de información: Utilizar solo imágenes LPET es insuficiente debido a la falta de datos estructurales claros.
• Fusión Multimodal y Datos Fuera de Distribución (OOD): Aunque las imágenes de Resonancia Magnética (MR) ofrecen detalles anatómicos superiores que pueden guiar la restauración, la fusión directa de modalidades diferentes a menudo introduce artefactos residuales (estructuras anatómicas de MR que no corresponden a la actividad metabólica en PET). Además, los modelos de aprendizaje profundo tradicionales suelen fallar cuando se enfrentan a datos OOD (variaciones en el escáner, dosis, protocolos o tipos de radiofármacos) debido a la falta de grandes conjuntos de datos clínicos emparejados y a la dificultad de generalización.

2. Metodología: MFdiff

Los autores proponen MFdiff (Supervise-assisted Multi-modality Fusion Diffusion Model), un marco de trabajo que combina la fusión de características avanzadas con modelos de difusión condicionales. El sistema se compone de tres partes principales:

A. Módulo de Fusión de Características Multimodales
Diseñado para extraer y fusionar información de LPET y MR sin introducir detalles extraneos:

• Aprendizaje Intra-Modo (IML): Utiliza dos ramas independientes (una para PET y otra para MR) con arquitecturas compartidas pero parámetros distintos.
  • Extracción Global: Utiliza bloques de atención multi-cabeza (Transformer) para capturar la información anatómica global de alta consistencia entre ambas modalidades.
  • Extracción de Detalles: Emplea bloques residuales invertibles (IRB) para extraer características de alta frecuencia (detalles finos) de manera "sin pérdida", asegurando que las texturas específicas de cada modalidad se mantengan separadas antes de la fusión.
• Agregación Cross-Modo (CMA): Fusiona las características globales y de detalles mediante capas de fusión específicas. Esto permite aprender una representación de características optimizada que maximiza la información compartida y filtra las inconsistencias (pseudo-estructuras) que podrían generar artefactos.

B. Módulo de Restauración por Difusión Condicional

• Utiliza un modelo de difusión probabilística (DDPM) para generar iterativamente imágenes SPET de alta calidad.
• La característica de fusión ($x_{fusion}$) obtenida en el paso anterior, junto con la imagen LPET original, se inyectan como condiciones en el proceso inverso de denoising del modelo de difusión.
• Esto guía al modelo para que genere detalles complejos y estructurales precisos basándose en la guía anatómica de la MR, pero respetando la distribución de probabilidad del PET.

C. Estrategia de Aprendizaje Asistido por Supervisión de Dos Etapas
Para abordar la escasez de datos clínicos emparejados y el problema OOD:

1. Etapa Externa (Simulada): El modelo se entrena primero en un gran conjunto de datos simulados (fantomas de cerebro). Aquí, el modelo aprende priors generalizados sobre la fusión multimodal y la distribución del ruido.
2. Etapa Interna (In-vivo): El modelo pre-entrenado se ajusta fino (fine-tuning) en un conjunto pequeño de datos clínicos reales (in-vivo). Esto permite al modelo aprender priors específicos adaptados a las variaciones de adquisición reales (OOD) sin requerir grandes volúmenes de datos clínicos emparejados.

3. Contribuciones Clave

1. Modelo de Difusión Condicional Multimodal: Se presenta un nuevo marco que utiliza la fusión de PET/MR para generar iterativamente imágenes SPET de alta calidad, superando las limitaciones de los métodos de denoising tradicionales.
2. Módulo de Fusión de Características Avanzado: Se propone una arquitectura dual (Global/Detalles) que separa la información específica de cada modalidad de la información compartida, evitando la transferencia de artefactos anatómicos de la MR al PET.
3. Estrategia de Aprendizaje de Dos Etapas: Se introduce una metodología que combina el aprendizaje de priors generalizados en datos simulados con la adaptación a datos OOD reales mediante un ajuste fino, mejorando significativamente la capacidad de generalización del modelo.
4. Rendimiento Superior: Validación exhaustiva que demuestra que MFdiff supera a los métodos más avanzados (SOTA) tanto en métricas cuantitativas como en calidad visual.

4. Resultados

Los experimentos se realizaron en conjuntos de datos simulados (fantomas) y tres conjuntos de datos in-vivo fuera de distribución (variaciones en tiempo de escaneo, dosis de radiofármaco y protocolo de administración).

• Métricas Cuantitativas: MFdiff logró los mejores resultados en PSNR, SSIM y NMSE en todos los escenarios. Por ejemplo, en datos simulados, alcanzó un PSNR de 37.93 dB (frente a 37.28 dB del segundo mejor método, CSRD). En datos OOD de 2 minutos de escaneo, mejoró el PSNR en 0.92 dB sobre el segundo mejor método.
• Calidad Visual:
  • En comparación con métodos que usan concatenación directa (como M-UNet), MFdiff evita la creación de "alucinaciones" anatómicas (donde la estructura de la MR borra o distorsiona lesiones metabólicas reales en el PET).
  • Los mapas de error muestran que MFdiff preserva mejor los bordes y las texturas, y reduce significativamente los errores de restauración en datos OOD.
• Estudios de Ablación: Se demostró que tanto la fusión de características (global + detalles) como el uso del modelo de difusión (CDDPM) y la estrategia de dos etapas son componentes esenciales para el rendimiento óptimo. La estrategia de dos etapas superó consistentemente al entrenamiento de una sola etapa (mezcla de datos).

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Reducción de Radiación: Permite obtener imágenes de PET de calidad diagnóstica a partir de dosis o tiempos de escaneo reducidos, mejorando la seguridad del paciente.
• Robustez Clínica: Aborda eficazmente el problema de la generalización en entornos clínicos reales (datos OOD), un obstáculo común para la implementación de IA en medicina.
• Eficiencia de Datos: La estrategia de dos etapas demuestra que es posible lograr un alto rendimiento en restauración médica sin depender de la disponibilidad masiva de datos clínicos emparejados, lo cual es éticamente y logísticamente difícil de obtener.
• Prevención de Artefactos: La metodología de fusión propuesta es un avance crucial para evitar que la información anatómica de la MR degrade la integridad funcional de la imagen PET, un problema crítico en la fusión multimodal.

En resumen, MFdiff representa un avance sustancial en la restauración de imágenes médicas, ofreciendo una solución robusta, de alta calidad y adaptable a las variabilidades del mundo real en la imagenología PET/MR.