MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

Resumo Técnico: MedGS

1. Problema e Contexto

A visualização anatômica não invasiva baseada em imagens médicas 3D (como ultrassom, ressonância magnética - MRI e tomografia computadorizada - CT) é fundamental para o planejamento cirúrgico e análise clínica. No entanto, a reconstrução de superfícies precisas a partir de dados sequenciais 2D enfrenta desafios significativos:

• Ruído e Informação Incompleta: Métodos tradicionais sofrem com ruído nas imagens e lacunas de informação entre cortes esparsos (frames).
• Limitações dos Métodos Atuais:
  • Métodos Clássicos (ex: Marching Cubes): Frequentemente produzem artefatos de conectividade e dependem de resolução e fidelidade de segmentação.
  • Representações Neurais Implícitas (INRs): Embora precisas, são computacionalmente intensivas, difíceis de editar manualmente e pouco interpretáveis, o que limita seu uso em registro deformável e cirurgia assistida por computador.
  • Abordagens Híbridas: Melhoram a eficiência, mas ainda retêm complexidade neural excessiva.

O objetivo central é realizar uma reconstrução de superfície de alta fidelidade e interpolação de frames que garantam continuidade geométrica, mesmo a partir de um número limitado de cortes de entrada.

2. Metodologia: MedGS

O MedGS é um novo framework baseado em Gaussian Splatting (GS) projetado especificamente para reconstrução anatômica 3D. Diferente de abordagens anteriores, ele integra a interpolação de imagens e a segmentação em uma única arquitetura multi-tarefa unificada.

Principais Componentes Técnicos:

• Representação Geométrica Unificada (Folded-Gaussians):

  • O modelo representa dados volumétricos como uma sequência de cortes 2D no espaço 3D.
  • Utiliza Folded-Gaussians (baseado no modelo VeGaS) para capturar mudanças temporais e espaciais não lineares. Cada primitiva Gaussiana possui parâmetros de posição ($m$), covariância ($\Sigma$) e funções de deformação temporal ($a, f$).
  • Arquitetura de Dupla Aparência: Cada primitiva Gaussiana compartilha a mesma geometria, mas possui dois conjuntos distintos de coeficientes de cor:
    1. $c_{img}$: Reconstrói a intensidade em escala de cinza da imagem médica (interpolação).
    2. $c_{seg}$: Reconstrói a máscara de ocupação binária da estrutura anatômica (segmentação).

• Otimização Simultânea Multi-Tarefa:

  • Ao acoplar as tarefas de interpolação e segmentação, o modelo utiliza o sinal denso da síntese de imagem para regularizar a geometria subjacente. Isso garante que a superfície extraída seja anatomicamente consistente com a imagem interpolada.
  • Função de Perda Total: $L_{total} = L_{img} + \lambda_{seg}L_{seg} + \lambda_{\sigma}L_{\sigma}$.
    • $L_{img}$: Inclui perda de reconstrução L1, SSIM e uma regularização temporal.
    • $L_{seg}$: Minimiza a diferença entre máscaras renderizadas e reais.
    • $L_{\sigma}$: Regulariza o parâmetro de dispersão temporal para evitar Gaussians muito esparsas ou difusas.

• Regularização de Frame Intermediário (IBFR):

  • Para lidar com ruído e esparsidade, o modelo gera "frames pseudo-verdadeiros" interpolados ($I_{t\alpha}$) entre cortes consecutivos.
  • Uma perda de regularização ($L^*_{interp}$) força as Folded-Gaussians a aproximar suavemente as transições entre cortes, prevenindo overfitting ao ruído ou o colapso em camadas discretas.

• Extração de Malha (Mesh):

  • A malha 3D de alta fidelidade é extraída aprendendo um campo escalar 3D contínuo a partir da branch de segmentação ($c_{seg}$).
  • Após o treinamento, o modelo é consultado em intervalos temporais densos para produzir um volume de máscara super-resolvido, que é então processado pelo algoritmo Marching Cubes.

• Variantes do Modelo:

  • MedGSi: Focado apenas em interpolação/síntese de imagem (sem máscaras de segmentação).
  • MedGSs: Focado apenas em reconstrução de malha (sem imagens de textura).
  • MedGS (Completo): Utiliza ambas as tarefas para melhor desempenho.

3. Resultados Experimentais

Os autores avaliaram o MedGS em conjuntos de dados de ultrassom de próstata, MRI cerebral e órgãos do TotalSegmentator (coração, pulmão, rim).

• Interpolação de Frames:

  • Em cenários de amostragem esparsa (treinamento a cada 2ª, 3ª ou 5ª fatia), o MedGS superou consistentemente a interpolação linear e métodos baseados em fluxo óptico.
  • Métricas (PSNR e SSIM) mostraram que o MedGS mantém limites anatômicos nítidos, enquanto as bases apresentam desfoque ou distorção.

• Reconstrução de Malha:

  • Comparado a Marching Cubes (extração direta), reconstrução de Poisson e FUNSR (método implícito neural), o MedGS obteve os menores valores de Chamfer Distance (CD) e Hausdorff Distance (HD95).
  • A abordagem multi-tarefa (MedGS completo) superou a variante apenas de segmentação (MedGSs), confirmando que a regularização via imagem melhora a continuidade geométrica, especialmente em regiões de baixo contraste.
  • Visualmente, o MedGS preservou melhor a topologia e a continuidade das bordas em condições de amostragem esparsa.

• Aplicações Clínicas Demonstradas:

  • Tumor Renal: Localização precisa 3D e orientação do tumor em relação ao parênquima residual, auxiliando na decisão entre nefrectomia parcial ou radical.
  • Aneurisma Aórtico: Caracterização detalhada da morfologia para planejamento de reparo endovascular e comparação longitudinal do crescimento do aneurisma.

4. Contribuições Principais

1. Novo Framework MedGS: Primeira aplicação de Gaussian Splatting para reconstrução de malha 3D de órgãos a partir de imagens médicas sequenciais.
2. Estratégia Multi-Tarefa: Introdução de uma arquitetura que regulariza a reconstrução de superfície baseada em segmentação usando sinais densos de síntese de imagem, superando limitações de métodos desacoplados.
3. Eficiência e Interpretabilidade: Oferece uma representação explícita (diferente de INRs), permitindo manipulação geométrica direta, treinamento rápido (~20 min) e extração de malha em segundos.
4. Robustez a Dados Esparsos: Capacidade de gerar visualizações e rastreamento anatômico precisos mesmo com poucos cortes de entrada, suportando o monitoramento longitudinal de patologias.

5. Significado e Conclusão

O MedGS representa um avanço significativo na interseção entre visão computacional e medicina. Ao superar as limitações de computação e editabilidade das representações neurais implícitas, e a sensibilidade ao ruído dos métodos clássicos, o framework oferece uma ferramenta poderosa para:

• Planejamento Cirúrgico: Fornecendo modelos 3D precisos e editáveis para cirurgias complexas.
• Monitoramento de Doenças: Permitindo comparações longitudinais consistentes para avaliar a progressão de doenças (ex: crescimento de tumores, expansão de aneurismas).
• Acesso a Dados Limitados: Funcionando eficazmente mesmo quando dados de segmentação manual (máscaras) não estão disponíveis, através da variante MedGSi.

O código fonte está disponível publicamente, facilitando a reprodução e adoção na comunidade de pesquisa médica.