UltraG-Ray: Physics-Based Gaussian Ray Casting for Novel Ultrasound View Synthesis

Resumo Técnico: UltraG-Ray

1. O Problema

A síntese de novas visualizações (NVS - Novel View Synthesis) em ultrassom é crucial para treinamento de clínicos, aumento de dados e reconstrução 3D. No entanto, métodos atuais enfrentam desafios significativos:

• Efeitos Dependentes da Visualização: A aparência do ultrassom varia drasticamente com a posição e orientação da sonda devido a efeitos físicos como atenuação, sombreamento e reflexão.
• Limitações de Métodos Atuais:
  • Métodos Tradicionais (Compounding): Agregam quadros 2D em volumes 3D, mas falham em resolver ambiguidades orientacionais, resultando em imagens borradas ou inconsistentes.
  • NeRFs (Neural Radiance Fields): Embora capturem dependência de visualização, tendem a suavizar excessivamente estruturas de alta frequência (como fibras musculares) devido à integração volumétrica baseada em amostragem.
  • Métodos Baseados em Gaussiana (UltraGS, UltraGauss): Abordagens recentes usam Gaussiana 3D, mas muitas falham em modelar mecanismos específicos do ultrassom, como a atenuação dependente da profundidade e o sombreamento causado por estruturas refletoras, ou assumem configurações de câmera não físicas (ex.: câmera virtual dentro do tecido).

2. Metodologia: UltraG-Ray

O trabalho propõe o UltraG-Ray, uma nova representação de cena baseada em um campo de Gaussiana 3D aprendível, acoplado a um módulo de síntese de imagem baseado em física (ray casting).

• Representação de Gaussiana 3D Adaptada ao Ultrassom:

  • Em vez de usar cor e opacidade (como em imagens naturais), cada gaussiana é definida por: média ($\mu$), matriz de covariância ($\Sigma$), transmitância ($\tau$) e intensidade ($I$).
  • A intensidade é parametrizada por harmônicos esféricos (SH) de baixa ordem para capturar a dependência da direção de retroespalhamento (backscattering).

• Modelo de Propagação Física (Ray Casting):

  • O método segue a direção de propagação da onda acústica, emitindo raios da superfície do transdutor.
  • Atenuação e Transmitância: O modelo calcula a perda de energia ao longo do raio. A transmitância total $T(z)$ é calculada como um produto multiplicativo das contribuições de cada gaussiana, simulando um decaimento exponencial (semelhante à Lei de Beer-Lambert), onde a sobreposição do raio com a gaussiana determina a atenuação.
  • Formação da Imagem (Echo): A intensidade do pixel é o produto da transmitância acumulada (energia restante) pela intensidade do eco local gerado pelo espalhamento. Isso permite modelar sombras acústicas (áreas escuras atrás de estruturas refletoras) e dependência da visualização.

• Estratégia de Otimização e Inicialização:

  • Como a formação de imagem do ultrassom é diferente da fotometria, a inicialização baseada em Structure-from-Motion (SfM) não é aplicável. As gaussianas são inicializadas aleatoriamente na cena.
  • Utiliza-se uma estratégia de refinamento (pruning, duplicação e divisão) inspirada no 3DGS, mas adaptada para dados de ultrassom.
  • Para simular a largura do feixe elevacional (que não é infinitamente fina), aplica-se uma perturbação nas origens dos raios com um deslocamento fora do plano (out-of-plane).

3. Principais Contribuições

1. Método NVS de Alta Fidelidade: Uma abordagem que combina a eficiência da representação de Gaussiana 3D com um modelo de formação de imagem física, permitindo a geração de imagens B-mode realistas e dependentes da visualização em tempo real.
2. Modelagem Física Explícita: Codificação explícita de parâmetros de ultrassom (atenuação, reflexão) na representação gaussiana, resolvendo problemas de sombreamento e ambiguidades de visualização que métodos anteriores ignoravam.
3. Estratégia de Otimização Específica: Um método para podar, duplicar e dividir gaussianas adaptado à natureza do ultrassom, garantindo uma representação de cena compacta e expressiva.
4. Novos Conjuntos de Dados: Liberação de dois conjuntos de dados pose-annotated (um in-silico com fantasma de coluna e um ex-vivo com músculo de porco) com múltiplas visões sobrepostas e ângulos variados.

4. Resultados

O UltraG-Ray foi comparado com o estado da arte (Ultra-NeRF, ImplicitVol) e métodos tradicionais (compounding e re-slicing) em dois cenários:

• Métricas Quantitativas:
  • O UltraG-Ray superou consistentemente todos os concorrentes em métricas de qualidade de imagem, incluindo MS-SSIM (até 15% de aumento em relação a alguns métodos), PSNR e métricas baseadas em gradiente (GMS/GMSD), que são sensíveis a detalhes de alta frequência.
  • No fantasma de músculo de porco, o método conseguiu distinguir fibras musculares individuais, enquanto métodos baseados em NeRF apresentaram suavização excessiva.
• Qualidade Visual e Física:
  • Sombreamento: Diferente dos métodos de re-slicing e NeRFs, o UltraG-Ray recuperou corretamente as sombras acústicas (ex.: ausência de ecos sob processos espinhosos na coluna), demonstrando a eficácia do modelo de atenuação.
  • Detalhes: Preservou melhor a textura e as variações estruturais finas.
• Desempenho:
  • A inferência alcançou taxas de quadros de aproximadamente 680 fps (fantasma de coluna) e 95 fps (músculo de porco) em uma GPU RTX 4070 Ti, com uso de memória moderado.

5. Significado e Conclusão

O UltraG-Ray representa um avanço significativo na síntese de visualizações de ultrassom ao preencher a lacuna entre a eficiência computacional das representações explícitas (Gaussianas) e a fidelidade física necessária para simular a formação de imagens médicas.

• Impacto Clínico: A capacidade de gerar visualizações realistas e fisicamente consistentes a partir de dados limitados pode melhorar simuladores de treinamento, auxiliar na revisão de dados de robôs cirúrgicos e fornecer ambientes de treinamento para modelos de mundo de ultrassom.
• Limitações e Futuro: O método ainda depende de uma aproximação de raio único (não modela interferência complexa ou propagação multipath) e requer cobertura de aquisição densa para evitar artefatos em regiões esparsas. Trabalhos futuros visam incorporar priores anatômicos e validar em dados in-vivo.

Em suma, o UltraG-Ray demonstra que a combinação de uma representação de cena 3D explícita com um modelo de formação de imagem baseado em física é uma via promissora para superar as limitações de realismo e consistência visual nos métodos atuais de reconstrução de ultrassom.