D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities

Resumen Técnico: D3Seg – Difusión Consciente de Dependencias para la Segmentación de Tumores Cerebrales con Modalidades Faltantes

Planteamiento del Problema
La segmentación precisa de tumores cerebrales mediante resonancia magnética (RM) multiparamétrica es esencial para la planificación del tratamiento. Los protocolos clínicos estándar adquieren típicamente cuatro secuencias: T1, T1 con contraste (T1ce), T2 y FLAIR. Sin embargo, en la práctica, adquirir todas las modalidades no siempre es factible debido a protocolos institucionales variables o contraindicaciones del paciente para los agentes de contraste. Los métodos de segmentación existentes a menudo sufren una degradación significativa del rendimiento cuando faltan modalidades. Los enfoques actuales generalmente se dividen en dos categorías:

1. Métodos basados en fusión: Estos dependen de la concatenación ingenua de características o de la agregación estadística de las modalidades disponibles, pero carecen de mecanismos para compensar explícitamente las entradas faltantes.
2. Métodos basados en reconstrucción: Estos intentan sintetizar todas las modalidades faltantes o aprender representaciones latentes compartidas. Sin embargo, reconstruir indiscriminadamente todas las características faltantes puede introducir una sobrecarga computacional innecesaria.
3. Distilación de conocimiento: Estos dependen de redes maestro-alumno pero incurren en una sobrecarga adicional de entrenamiento y dependen en gran medida de la fiabilidad de la red maestra.

Además, los modelos existentes a menudo luchan con la delimitación del Tumor Realzante (ET), una subregión clínicamente crítica, particularmente cuando faltan datos de T1ce, lo que a menudo conduce a una subsegmentación de las clases minoritarias y a una sobreconfianza en clases dominantes como el edema.

Metodología
Los autores proponen D3Seg, una red de segmentación con imputación mediante difusión consciente de dependencias diseñada para mantener un rendimiento estable en configuraciones con modalidades faltantes. La arquitectura procesa cada modalidad de RM disponible a través de codificadores de convolución 3D independientes. Los componentes centrales son:

1. Fusión de Grafos de Modalidades de Múltiples Saltos (MMGF):
   En lugar de una fusión promedio simple, D3Seg modela dependencias de orden superior entre modalidades. Construye un grafo de adyacencia de modalidades donde los nodos representan incrustaciones de modalidades (derivadas mediante agrupación promedio global). Se calcula una matriz de adyacencia basada en la similitud coseno entre las incrustaciones. Cuando falta una modalidad, las filas/columnas correspondientes se enmascaran, excepto las características de T1ce en el cuello de botella, que utilizan datos disponibles o representaciones imputadas mediante difusión. El modelo propaga información a través de múltiples saltos del grafo (hasta 3) utilizando pesos de salto aprendibles, permitiendo que la información fluya a través de modalidades intermedias para enriquecer la representación de las disponibles. Esto se aplica en el cuello de botella de la red y en las conexiones de salto.

2. Imputación Latente de T1ce Basada en Difusión:
   Reconociendo el papel crítico de T1ce para delimitar el núcleo del tumor, los autores introducen un mecanismo de difusión incondicional ligero. Este opera directamente en el espacio de características latentes del codificador de T1ce (en el cuello de botella). Un desruidor ligero basado en transformadores (3 capas de atención) aprende a eliminar el ruido gaussiano inyectado para sintetizar representaciones de características de T1ce cuando falta la modalidad. Este enfoque evita la reconstrucción completa de todas las modalidades, centrándose solo en las características de T1ce clínicamente críticas, manteniendo así la eficiencia de parámetros.

3. Refinamiento de Decisiones Guiado por Errores (EGDR):
   Para abordar la tendencia de los modelos a ser sobreconfiados en clases dominantes (por ejemplo, edema) y subsegmentar clases minoritarias (por ejemplo, tumor realzante), un módulo de refinamiento de decisiones opera en el espacio de probabilidad. Un predictor de errores ligero estima un mapa de probabilidad de error por vóxel. Este mapa guía una redistribución adaptativa de la masa de probabilidad, transfiriendo confianza del edema (ED) al tumor realzante (ET) en regiones propensas a la subsegmentación. Esto asegura una predicción más equilibrada de las subregiones del tumor.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Fusión Consciente de Dependencias: Un enfoque novedoso de MMGF que construye un grafo de adyacencia de modalidades para modelar relaciones intermodales directas e indirectas mediante propagación de múltiples saltos, permitiendo una agregación más expresiva que la fusión simple.
2. Imputación Latente Dirigida: Un mecanismo basado en difusión que sintetiza representaciones de características de T1ce clínicamente críticas en el cuello de botella de la red. Esto proporciona una compensación dirigida para la información de T1ce faltante sin el costo computacional de reconstruir todas las características de las modalidades.
3. Refinamiento de Decisiones: Un módulo único que mitiga explícitamente la sobreconfianza en clases dominantes redistribuyendo adaptativamente la masa de probabilidad hacia subregiones tumorales minoritarias (específicamente ET) bajo ambigüedad de modalidades faltantes.

Resultados Experimentales
El modelo se evaluó en el conjunto de datos BraTS 2023 (1.251 escaneos), dividido en 70% para entrenamiento, 10% para validación y 20% para prueba. El rendimiento se midió utilizando el Coeficiente de Similitud Dice (DSC) para Tumor Completo (WT), Núcleo del Tumor (TC) y Tumor Realzante (ET) en diversas configuraciones de modalidades faltantes.

• Ganancias de Rendimiento: D3Seg superó consistentemente a los métodos más avanzados (incluyendo M3AE, M3FeCon e IM-Fuse) en múltiples escenarios de modalidades faltantes.
  • Logró una mejora de Dice de aproximadamente 1,5–2,0% en el Tumor Realzante (ET) y alrededor de 1,0% en el Núcleo del Tumor (TC) en comparación con el estado actual de la técnica (IM-Fuse).
  • Cabe destacar, el modelo mantuvo un rendimiento competitivo o superior incluso con menos parámetros (38M frente a 47M para IM-Fuse) y un menor costo computacional (236 frente a 249 GFLOPs).
• Estudios de Ablación: Los experimentos confirmaron que cada componente contribuye al rendimiento. Específicamente, MMGF mejoró el Dice de ET en un 1,3% sobre una línea base de solo fusión Mamba, mientras que la imputación basada en difusión añadió una ganancia adicional de 1,0% al Dice de TC. El modelo completo logró las puntuaciones más altas (92,5% WT, 80,8% TC, 64,9% ET en la configuración con T1ce faltante).
• Análisis Cualitativo: Los resultados visuales demostraron que MMGF produce respuestas más localizadas y con contraste mejorado en el área de ET en comparación con la fusión estándar, lo que conduce a una mejor alineación con la verdad fundamental.

Significado y Afirmaciones
Los autores afirman que D3Seg ofrece una solución robusta para escenarios clínicos donde la adquisición completa de RM es imposible. Al combinar el modelado de dependencias basado en grafos con la imputación dirigida por difusión y el refinamiento en el espacio de probabilidad, el modelo aborda las debilidades específicas de los métodos existentes: la incapacidad de compensar las entradas faltantes y el sesgo hacia las clases dominantes. El artículo enfatiza que estas mejoras se logran manteniendo la eficiencia computacional, lo que hace que el enfoque sea práctico para su implementación en el mundo real. Los resultados sugieren que modelar explícitamente las dependencias intermodales e imputar selectivamente características críticas es más efectivo que la reconstrucción indiscriminada o la fusión simple.