Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction

1. Declaração do Problema

O Desafio do Campo de Visão Amplo (WFoV) em Ultrassom:
O ultrassom clínico, particularmente o uso de sondas convexas, é essencial para capturar grandes estruturas anatômicas (por exemplo, em ecocardiografia intracardíaca). No entanto, aquisições individuais são limitadas a um Campo de Visão (FoV) estreito. Para visualizar grandes estruturas, múltiplas varreduras 3D sobrepostas devem ser costuradas.

Limitações dos Métodos Atuais:

• Costura Tradicional: Métodos convencionais dependem de registro baseado em características ou intensidade, seguido de composição espacial. Isso introduz artefatos de composição significativos e aliasing devido a mudanças de resolução dependentes da profundidade.
• Campos de Radiância Neural (NeRFs) Existentes: Embora NeRFs recentes de ultrassom (por exemplo, Ultra-NeRF, NeRF-US) ofereçam representações contínuas, eles geralmente assumem amostragem de pontos equidistantes ao longo de raios infinitesimamente finos.
• A Incompatibilidade Física Central: Sondas convexas emitem feixes acústicos divergentes. O volume físico amostrado pelo pulso expande-se proporcionalmente com a profundidade. Aproximações de raios finos padrão ignoram essa pegada em expansão, levando a:
  • Aliasing no campo distante.
  • Perda de resolução dependente da profundidade.
  • Anisotropia não abordada entre os eixos espaciais (axial, lateral e elevacional).

2. Metodologia: Ultra-Wide-NeRF

Os autores propõem o Ultra-Wide-NeRF, um framework que conecta NeRFs à geometria específica de sondas de ultrassom convexas usando Gaussianas 3D Multivariadas (MVG).

A. Estratégia de Amostragem Informada pela Física

Em vez de amostrar pontos em raios finos, o método modela o feixe acústico como um tronco de cone divergente.

• Geometria: O sistema modela a sonda usando coordenadas polares $(r, \theta)$ com um ângulo de abertura $\Theta$, raio interno $R_{in}$ e raio externo $R_{out}$.
• Extensão 3D: O volume 3D é construído empilhando fatias de feixe em leque. A dimensão elevacional é implicitamente definida pelas diferenças de pose entre as fatias, capturando o movimento da varredura da aquisição.

B. Gaussianas 3D Multivariadas (MVG)

Para abordar a natureza mal-posta da aproximação de interações acústicas como pontos discretos, o método substitui estimativas pontuais por Gaussianas 3D contínuas.

• Anisotropia: Reconhecendo que a resolução do ultrassom difere nas direções axial, lateral e elevacional, as Gaussianas são anisotrópicas.
• Construção da Covariância: A matriz de covariância $\Sigma$ é construída a partir de três variâncias distintas:
  1. $\sigma^2_{ray}$: Ao longo da direção do raio.
  2. $\sigma^2_{lateral}$: Perpendicular ao raio dentro do plano de imagem.
  3. $\sigma^2_{depth}$: Perpendicular ao raio na direção elevacional (fora do plano).
• Codificação Posicional Integrada (IPE): O método aplica IPE a essas pegadas Gaussianas. Diferentemente da codificação posicional padrão, que avalia características em um único ponto, a IPE média características sobre a pegada Gaussiana.
  • Mecanismo Anti-Aliasing: Frequências altas são naturalmente suprimidas quando a pegada é grande (campo distante/baixa resolução), enquanto frequências baixas são preservadas. Isso atua como um filtro anti-aliasing inerente, incorporando a pegada de amostragem diretamente na entrada da rede.

C. Função de Perda

O objetivo de treinamento combina perdas padrão de reconstrução com restrições conscientes de 3D:

• $L_{MSE}$: Erro Quadrático Médio entre volumes renderizados e verdadeiros (ground truth).
• $L_{SSIM}$: Índice de Similaridade Estrutural para preservar a coerência estrutural.
• $L_{grad}$: Perda de magnitude de gradiente por diferenças finitas para preservar a nitidez das bordas e a textura de speckle.
• Regularização: Inclui regularização do Ultra-NeRF para impor consistência em todo o volume panorâmico.

3. Contribuições Principais

1. Modelagem Explícita do Feixe: Primeira abordagem baseada em NeRF a modelar explicitamente a pegada espacial em expansão de feixes de ultrassom convexos divergentes usando amostragem volumétrica dependente da distância.
2. Representação Gaussiana Multivariada: Introdução de Gaussianas 3D anisotrópicas para capturar as diferenças fundamentais de resolução nas direções axial, lateral e elevacional, substituindo a aproximação de raio fino falha.
3. Anti-Aliasing Inerente: O uso de Codificação Posicional Integrada sobre pegadas Gaussianas fornece uma solução baseada na física para o aliasing no campo distante, sem necessidade de pós-processamento.
4. Capacidade Dual: O framework alcança tanto reconstrução panorâmica WFoV sem costuras (fundindo múltiplas varreduras) quanto síntese de novas vistas de alta fidelidade a partir de trajetórias virtuais arbitrárias.

4. Resultados Experimentais

O método foi validado em conjuntos de dados de Ecocardiografia Intracardíaca (ICE):

• Conjuntos de Dados: Um fantoma de silício estático e um conjunto de dados in vivo de suínos. Ambos envolveram cateteres de FoV de 360° atravessando a Veia Cava Inferior (IVC), Átrio Direito e Veia Cava Superior (SVC).
• Comparações: Benchmark contra registro/composição baseada em geometria de última geração (SOTA) e um modelo NeRF ablatado usando amostragem pontual padrão.

Principais Descobertas:

• Redução de Artefatos: O Ultra-Wide-NeRF eliminou com sucesso artefatos de costura e aliasing observados em métodos tradicionais de composição.
• Robustez de Resolução: Mesmo quando os dados de entrada foram subamostrados por um fator de 2 na direção elevacional (0,6 mm), o Ultra-Wide-NeRF recuperou o contexto anatômico com bordas mais nítidas do que a linha de base SOTA operando em dados de resolução total.
• Estudo de Ablação: O modelo ablatado com amostragem pontual produziu bordas excessivamente suavizadas e detalhes desbotados, provando a necessidade da formulação contínua MVG.
• Síntese de Novas Vistas: O modelo sintetizou com sucesso:
  • Volumes de retenção (Hold-out): Contextos espaciais não observados entre as varreduras de treinamento.
  • Vistas fora da trajetória: Imagens B-mode a partir de posições virtuais da sonda estritamente fora do caminho de aquisição original, permitindo perspectivas diagnósticas interativas.
• Eficiência: O método é relatado como 10–20 vezes mais rápido para treinar do que métodos de reconstrução precisos, dependendo do fator de subamostragem.

5. Significado e Impacto

• Navegação Clínica: Ao fornecer uma vista panorâmica sem costuras e livre de artefatos, o método aprimora o contexto espacial necessário para navegação intraoperatória, particularmente em procedimentos cardíacos complexos.
• Exploração Virtual: A capacidade de sintetizar vistas a partir de ângulos não observados transforma o volume reconstruído em uma ferramenta diagnóstica interativa, permitindo que clínicos se concentrem em regiões específicas ou visualizem a anatomia a partir de ângulos ótimos e não gravados.
• Generalizabilidade: Embora validado em dados cardíacos, a estratégia de amostragem geométrica é aplicável a qualquer domínio clínico que utilize sondas convexas, incluindo imageamento abdominal e obstétrico.
• Mudança de Paradigma: Move a reconstrução de ultrassom da costura discreta de voxels para uma representação neural contínua e consciente da física que respeita as propriedades fundamentais de propagação de ondas do modo de imageamento.