Supervise-assisted Multi-modality Fusion Diffusion Model for PET Restoration

Resumo Técnico: MFdiff para Restauração de PET

1. O Problema

A Tomografia por Emissão de Pósitrons (PET) é uma técnica de imagem molecular crucial para o diagnóstico clínico e pesquisa, mas envolve exposição à radiação ionizante. Para seguir o princípio "tão baixo quanto razoavelmente alcançável" (ALARA), reduz-se a dose do radiofármaco ou o tempo de varredura. No entanto, essa redução resulta em imagens de baixa dose (LPET) com alto ruído e baixa relação sinal-ruído (SNR), comprometendo o diagnóstico.

Existem dois desafios principais na restauração de imagens PET de alta qualidade (SPET) a partir de LPET:

• Limitação de Informação: A restauração baseada apenas no LPET tem um gargalo devido à falta de informações estruturais detalhadas.
• Fusão Multimodal e Dados OOD: Embora usar imagens de Ressonância Magnética (MR) como guia anatômico seja promissor, a fusão direta pode introduzir artefatos indesejados (como "alucinar" estruturas da MR que não correspondem à atividade metabólica do PET). Além disso, os modelos de aprendizado profundo tradicionais sofrem com dados "fora de distribuição" (OOD), ou seja, quando as condições de aquisição (scanner, protocolo, dose) diferem dos dados de treinamento, o que é comum na prática clínica devido à privacidade de dados e à dificuldade de obter grandes conjuntos de dados pareados reais.

2. Metodologia Proposta (MFdiff)

Os autores propõem o MFdiff (Supervise-assisted Multi-modality Fusion Diffusion Model), uma arquitetura que combina um módulo de fusão de características multimodais com um modelo de difusão condicional, utilizando uma estratégia de aprendizado em duas etapas.

A. Módulo de Fusão de Características Multimodais
Este módulo visa extrair e fundir características do LPET e da MR sem introduzir ruídos ou estruturas anatômicas irrelevantes. Ele consiste em:

• Aprendizado Intra-Modo (IML): Utiliza codificadores Transformer independentes para cada modalidade (PET e MR) para extrair características específicas.
  • Ramo Global: Usa atenção multi-cabeça para capturar informações anatômicas globais da MR e estruturais do PET.
  • Ramo Detalhado: Utiliza Blocos Residuais Invertíveis (IRB) para extração de detalhes sem perda de informação, garantindo que as texturas de alta frequência da MR não sobrescrevam os sinais de baixa resolução do PET.
• Agregação Cross-Modo (CMA): Uma estratégia de fusão dupla (camada global e camada de detalhe) que aprende uma representação de características fusionada otimizada. Isso permite que o modelo selecione seletivamente informações consistentes entre as modalidades, filtrando estruturas anatômicas da MR que não têm correspondência metabólica no PET.

B. Módulo de Restauração por Difusão Condicional

• Utiliza um modelo de difusão (baseado em DDPM) para gerar iterativamente imagens SPET de alta qualidade.
• As características fusionadas (extraídas pelo módulo anterior) e a imagem LPET original são injetadas como condições no processo de reversão (denoising) do modelo de difusão. Isso guia a geração de detalhes complexos e a recuperação de estruturas com maior precisão do que métodos puramente determinísticos.

C. Estratégia de Aprendizado Assistido por Supervisão em Duas Etapas
Para contornar a escassez de dados clínicos pareados e o problema OOD:

1. Etapa Externa (Simulada): O modelo é treinado em um grande conjunto de dados simulados (fantomas de cérebro). Aqui, o modelo aprende priors generalizados sobre a distribuição de ruído e a fusão básica de modalidades.
2. Etapa Interna (In-vivo): O modelo pré-treinado é ajustado (fine-tuned) em um pequeno conjunto de dados reais de pacientes. Isso permite que o modelo aprenda priors específicos para dados OOD reais, adaptando-se às variações de aquisição sem necessidade de grandes volumes de dados clínicos pareados.

3. Principais Contribuições

1. Modelo de Difusão Condicional Multimodal: Primeiro trabalho, segundo os autores, a aplicar um modelo de difusão condicional para restauração de PET usando MR como guia, permitindo a geração iterativa de imagens de alta qualidade.
2. Módulo de Fusão de Características Otimizado: Proposição de uma arquitetura que separa explicitamente a extração de características globais e detalhadas, evitando a transferência indesejada de texturas da MR para o PET (resolvendo o problema de artefatos de fusão).
3. Estratégia de Aprendizado Híbrida: Desenvolvimento de uma estratégia de duas etapas (Simulação + Ajuste Fino Real) que melhora significativamente a generalização para dados OOD, superando a dependência de grandes conjuntos de dados clínicos pareados.

4. Resultados Experimentais

Os experimentos foram conduzidos em dados simulados (fantomas) e em três conjuntos de dados in-vivo fora de distribuição (variação de tempo de escaneamento, variação de dose e variação de protocolo de administração).

• Desempenho Quantitativo: O MFdiff superou consistentemente os métodos state-of-the-art (incluindo M-UNet, FB-SEM, EA-GAN, Hi-Net, CNCL e CSRD) em todas as métricas:
  • PSNR: Atingiu ~37.93 dB em dados simulados e ~36.97 dB em dados reais (2 min de escaneamento), superando o segundo melhor método em ~0.92 dB.
  • SSIM: Alcançou 0.991 em dados simulados, indicando alta similaridade estrutural.
  • NMSE: Apresentou os menores erros quadráticos médios normalizados.
• Desempenho Qualitativo:
  • Em comparações visuais, o MFdiff preservou melhor as lesões e bordas, enquanto métodos concorrentes tendiam a borrar lesões ou introduzir artefatos estruturais da MR onde não havia atividade metabólica (falsos negativos).
  • Mapas de erro mostraram que o MFdiff cometeu os menores erros de restauração em todos os cenários OOD.
• Estudo de Ablação: Confirmou que tanto o módulo de fusão multimodal (combinando ramos global e detalhado) quanto o uso do modelo de difusão (CDDPM) são essenciais para o desempenho superior. A estratégia de duas etapas provou ser superior ao treinamento em estágio único (mistura de dados simulados e reais).

5. Significado e Impacto

O trabalho apresenta uma solução robusta para um problema crítico na medicina nuclear: a obtenção de imagens PET de alta qualidade com menor exposição à radiação.

• Avanço Clínico: Ao permitir a restauração eficaz de imagens de baixa dose usando MR como guia, o método pode facilitar protocolos de baixa dose em cenários clínicos reais, reduzindo riscos para pacientes.
• Generalização: A abordagem de aprendizado em duas etapas oferece um caminho viável para aplicar modelos de IA em cenários clínicos diversos (diferentes scanners, protocolos) sem a necessidade de re-treinamento massivo com dados pareados caros e difíceis de obter.
• Inovação Técnica: A integração de modelos de difusão com fusão multimodal inteligente e estratégias de transferência de aprendizado estabelece um novo paradigma para a restauração de imagens médicas, superando as limitações de GANs e redes convolucionais tradicionais em termos de estabilidade de treinamento e qualidade de geração.

Em suma, o MFdiff demonstra que é possível superar as limitações de dados e a inconsistência entre modalidades para produzir imagens PET clinicamente viáveis e de alta fidelidade.