D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities

Resumo Técnico: D3Seg – Difusão Consciente de Dependência para Segmentação de Tumores Cerebrais com Modalidades Ausentes

Declaração do Problema
A segmentação precisa de tumores cerebrais utilizando ressonância magnética (RM) multiparamétrica é essencial para o planejamento do tratamento. Protocolos clínicos padrão geralmente adquirem quatro sequências: T1, T1 com contraste (T1ce), T2 e FLAIR. No entanto, na prática, adquirir todas as modalidades nem sempre é viável devido a protocolos institucionais variados ou contraindicações do paciente a agentes de contraste. Os métodos existentes de segmentação frequentemente sofrem degradação significativa de desempenho quando as modalidades estão ausentes. As abordagens atuais geralmente se enquadram em duas categorias:

1. Métodos baseados em fusão: Estes dependem de concatenação ingênua de características ou agregação estatística das modalidades disponíveis, mas carecem de mecanismos para compensar explicitamente as entradas ausentes.
2. Métodos baseados em reconstrução: Estes tentam sintetizar todas as modalidades ausentes ou aprender representações latentes compartilhadas. No entanto, reconstruir indiscriminadamente todas as características ausentes pode introduzir sobrecarga computacional desnecessária.
3. Distilação de Conhecimento: Estes dependem de redes professor-aluno, mas incorrem em sobrecarga adicional de treinamento e dependem fortemente da confiabilidade da rede professor.

Além disso, os modelos existentes frequentemente lutam com a delimitação do Tumor Realce (ET), uma sub-região clinicamente crítica, particularmente quando os dados T1ce estão ausentes, levando frequentemente à subsegmentação de classes minoritárias e à superconfiança em classes dominantes como o edema.

Metodologia
Os autores propõem o D3Seg, uma rede de segmentação com imputação por difusão consciente de dependência, projetada para manter um desempenho estável em configurações com modalidades ausentes. A arquitetura processa cada modalidade de RM disponível através de codificadores de convolução 3D independentes. Os componentes principais são:

1. Fusão de Grafo de Modalidades Multi-hop (MMGF):
   Em vez de uma fusão média simples, o D3Seg modela dependências de ordem superior entre modalidades. Ele constrói um grafo de adjacência de modalidades onde os nós representam embeddings de modalidades (derivados via pooling médio global). Uma matriz de adjacência é computada com base na similaridade de cosseno entre os embeddings. Quando uma modalidade está ausente, as linhas/colunas correspondentes são mascaradas, exceto pelas características T1ce no gargalo, que utilizam dados disponíveis ou representações imputadas por difusão. O modelo propaga informações através de múltiplos saltos do grafo (até 3) usando pesos de salto aprendíveis, permitindo que a informação flua através de modalidades intermediárias para enriquecer a representação das disponíveis. Isso é aplicado no gargalo da rede e nas conexões de salto.

2. Imputação Latente T1ce Baseada em Difusão:
   Reconhecendo o papel crítico do T1ce para a delimitação do núcleo do tumor, os autores introduzem um mecanismo de difusão incondicional e leve. Este opera diretamente no espaço de características latentes do codificador T1ce (no gargalo). Um denoiser baseado em transformador leve (3 camadas de atenção) aprende a remover ruído gaussiano injetado para sintetizar representações de características T1ce quando a modalidade está ausente. Esta abordagem evita a reconstrução completa de todas as modalidades, focando apenas nas características T1ce clinicamente críticas, mantendo assim a eficiência de parâmetros.

3. Refinamento de Decisão Guiado por Erro (EGDR):
   Para abordar a tendência dos modelos de serem superconfiantes em classes dominantes (por exemplo, edema) e subsegmentarem classes minoritárias (por exemplo, tumor realce), um módulo de refinamento de decisão opera no espaço de probabilidade. Um preditor de erro leve estima um mapa de probabilidade de erro por vóxel. Este mapa guia uma redistribuição adaptativa da massa de probabilidade, transferindo confiança do edema (ED) para o tumor realce (ET) em regiões propensas à subsegmentação. Isso garante uma previsão mais equilibrada das sub-regiões do tumor.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Fusão Consciente de Dependência: Uma abordagem MMGF inovadora que constrói um grafo de adjacência de modalidades para modelar relações diretas e indiretas entre modalidades via propagação multi-hop, permitindo uma agregação mais expressiva do que a fusão simples.
2. Imputação Latente Direcionada: Um mecanismo baseado em difusão que sintetiza representações de características T1ce clinicamente críticas no gargalo da rede. Isso fornece compensação direcionada para informações T1ce ausentes sem o custo computacional de reconstruir todas as características de modalidade.
3. Refinamento de Decisão: Um módulo único que mitiga explicitamente a superconfiança em classes dominantes, redistribuindo adaptativamente a massa de probabilidade em direção a sub-regiões tumorais minoritárias (especificamente ET) sob ambiguidade de modalidade ausente.

Resultados Experimentais
O modelo foi avaliado no conjunto de dados BraTS 2023 (1.251 exames), dividido em 70% para treinamento, 10% para validação e 20% para teste. O desempenho foi medido usando o Coeficiente de Similaridade de Dice (DSC) para Tumor Total (WT), Núcleo do Tumor (TC) e Tumor Realce (ET) em várias configurações de modalidades ausentes.

• Ganhos de Desempenho: O D3Seg superou consistentemente os métodos mais avançados (incluindo M3AE, M3FeCon e IM-Fuse) em múltiplos cenários de modalidades ausentes.
  • Ele alcançou aproximadamente 1,5–2,0% de melhoria no Dice no Tumor Realce (ET) e cerca de 1,0% no Núcleo do Tumor (TC) em comparação com o estado atual da arte (IM-Fuse).
  • Notavelmente, o modelo manteve desempenho competitivo ou superior mesmo com menos parâmetros (38M vs. 47M para o IM-Fuse) e menor custo computacional (236 vs. 249 GFLOPs).
• Estudos de Ablação: Experimentos confirmaram que cada componente contribui para o desempenho. Especificamente, o MMGF melhorou o Dice do ET em 1,3% sobre uma linha de base apenas com fusão Mamba, enquanto a imputação baseada em difusão adicionou um ganho adicional de 1,0% ao Dice do TC. O modelo completo alcançou as pontuações mais altas (92,5% WT, 80,8% TC, 64,9% ET na configuração com T1ce ausente).
• Análise Qualitativa: Resultados visuais demonstraram que o MMGF produz respostas mais localizadas e com contraste realçado na área do ET em comparação com a fusão padrão, levando a um melhor alinhamento com a verdade fundamental.

Significado e Alegações
Os autores afirmam que o D3Seg oferece uma solução robusta para cenários clínicos onde a aquisição completa de RM é impossível. Ao combinar modelagem de dependência baseada em grafos com imputação direcionada por difusão e refinamento no espaço de probabilidade, o modelo aborda as fraquezas específicas dos métodos existentes: a incapacidade de compensar entradas ausentes e o viés em direção a classes dominantes. O artigo enfatiza que essas melhorias são alcançadas mantendo a eficiência computacional, tornando a abordagem prática para implantação no mundo real. Os resultados sugerem que modelar explicitamente as dependências entre modalidades e imputar seletivamente características críticas é mais eficaz do que a reconstrução indiscriminada ou a fusão simples.