Resumo Técnico: Traçado de Caminho Foveado Híbrido com Gaussianas Periféricas para Anatomia Imersiva

Declaração do Problema

A visualização da anatomia médica a partir de dados volumétricos (TC, RM) é fundamental para a educação, diagnóstico e planejamento. No entanto, os fluxos de trabalho tradicionais dependem de cortes transversais 2D, forçando os usuários a reconstruir mentalmente as relações espaciais 3D — uma tarefa cognitivamente exigente. Embora a Realidade Virtual (VR) imersiva e o traçado de caminho volumétrico de alta fidelidade ofereçam percepção de profundidade e realismo superiores, eles enfrentam barreções computacionais significativas. O traçado de caminho direto nas altas resoluções e taxas de quadros exigidas para uma VR confortável é proibitivamente caro. Por outro lado, representações intermediárias pré-computadas, como o Splatting Gaussiano 3D (3DGS), oferecem altas velocidades de renderização, mas normalmente requerem um pré-processamento extensivo, carecem de interatividade total (ex: mudanças dinâmicas na função de transferência) e sacrificam detalhes anatômicos finos em comparação com a renderização direta. Além disso, as estratégias de renderização foveada existentes frequentemente dependem de geometrias de proxy estáticas ou lutam contra latência e desoclusões ao escalar para displays de alta resolução. Existe uma lacuna para alcançar um sistema que equilibre alta fidelidade visual, interatividade em tempo real e baixo custo computacional para dispositivos VR móveis ou autônomos.

Metodologia

Os autores propõem um pipeline de renderização híbrido que integra o traçado de caminho foveado transmitido (streamed foveated path tracing) para a visão central (fóvea) com um modelo de Splatting Gaussiano 3D (3DGS) rapidamente gerado e continuamente refinado para a visão periférica. O sistema opera em uma arquitetura de renderização dividida (split-rendering), separando as tarefas computacionalmente intensivas do visualizador leve em tempo real.

Componentes do Sistema

1. Traçador de Caminho Volumétrico:

   • Gera imagens foveadas de alta qualidade e dados de profundidade baseados na pose da cabeça do usuário.
   • Utiliza um traçador de caminho limitado (máximo de 4 saltos/bounces) com contagens de amostras variando de 8 a 32 SPP (Amostras Por Pixel).
   • Emprega NVIDIA OptiX para denoise, utilizando acumulação temporal com vetores de movimento e buffers de albedo para quadros interativos.
   • Gera uma nuvem de pontos inicial projetando raios para encontrar o primeiro impacto significativo nas superfícies do volume, coloridos usando a mesma lógica de traçado de caminho.

2. Treinamento do Modelo Periférico (3DGS):

   • Inicialização: Cria um modelo periférico inicial em menos de um segundo usando um pequeno conjunto de imagens com poses definidas (ex: 12 vistas a 8 SPP). Adapta o Mini-Splatting2 para reconstrução rápida, pulando etapas de densificação e aplicando simplificação precocemente para evitar artefatos de "flutuadores" (floaters).
   • Refinamento Contínuo: À medida que o usuário interage, novas imagens foveadas são enviadas para o subsistema de treinamento. Um heurístico filtra as vistas com base em limiares de posição e ângulo para evitar dados redundantes. O modelo é periodicamente reotimizado (recarregando as Gaussianas existentes como inicialização) para incorporar novos detalhes, permitindo que o modelo periférico melhore sua qualidade ao longo do tempo sem pré-processamento extensivo.
   • Otimização: O sistema utiliza treinamento de alfa e fundos aleatórios para lidar melhor com estruturas médicas semitransparentes.

3. Visualizador em Tempo Real:

   • Executa em hardware de consumo ou headsets de VR autônomos (ex: Meta Quest 3).
   • Reprojeção Guiada por Profundidade: Para mascarar a latência entre o traçador de caminho e o visualizador, o sistema projeta a imagem foveada recebida em uma malha deformada pelos dados de profundidade dos pontos de primeiro impacto do traçador de caminho. Isso desacopla a velocidade de renderização da taxa de atualização do display.
   • Composição: A imagem foveada traçada por caminho é composta com a nuvem 3DGS periférica. Um recorte em forma de frustum é aplicado ao modelo 3DGS na região foveal para evitar artefatos de mistura com áreas transparentes.
   • Mistura (Blending): Ajustes no tamanho e opacidade dos splats são aplicados ao modelo 3DGS para compensar a subestimação de estruturas pequenas (como vasos) durante o treinamento de baixa resolução.

Principais Contribuições

O artigo identifica três contribuições primárias:

1. Pipeline de Renderização Híbrido: Um novo sistema que integra o traçado de caminho foveado transmitido com uma nuvem periférica 3DGS regenerativa, permitindo a visualização anatômica de alta fidelidade que é simultaneamente interativa e computacionalmente eficiente.
2. Reprojeção Guiada por Profundidade: Um método para ocultar a latência e desacoplar as velocidades de renderização das taxas de atualização do display usando dados de profundidade do traçador de caminho para guiar a reprojeção de imagens foveadas, melhorando a robustez ao movimento da cabeça.
3. Avaliação de Geração Interativa: Um estudo empírico demonstrando que o modelo periférico pode ser regenerado em menos de um segundo e continuamente refinado, oferecendo um equilíbrio entre tempo de configuração e fidelidade visual que supera o traçado de caminho isolado e o 3DGS pré-computado.

Resultados

O sistema foi avaliado em volumes médicos ("Fullbody" e "Leg") usando métricas perceptuais (LPIPS, PSNR mascarado, SSIM) e benchmarks de desempenho.

• Velocidade de Inicialização: Um modelo periférico inicial pode ser gerado em aproximadamente 300–400 ms, com a reconstrução completa completando em menos de um segundo. Isso é significativamente mais rápido do que o setup padrão de 1 a 2 minutos exigido pelo 3DGS convencional em configurações comparáveis.
• Qualidade Visual:
  • Região Foveal: A abordagem híbrida entrega qualidade visual superior na região foveal em comparação com o traçado de caminho em tempo real em tempos de quadro semelhantes, particularmente em métricas perceptuais (LPIPS).
  • Região Periférica: O método supera o traçado de caminho em tempo real isolado na periferia e oferece qualidade competitiva ao 3DGS pré-computado, mas com uma fração do tempo de configuração.
  • Refinamento Contínuo: À medida que o modelo é refinado com vistas adicionais (até 512 vistas), a qualidade visual melhora, com a contagem de Gaussianas crescendo de ~10k para ~50k. No entanto, os ganhos marginais diminuem após ~2000 iterações.
• Desempenho: O sistema atinge >72 FPS em um Meta Quest 3. A renderização do modelo periférico pelo visualizador leva menos de 0,5 ms (limitado pela CPU em desktop), enquanto o traçado de caminho e o denoising ocorrem em uma GPU remota de alta potência.
• Tratamento de Latência: A reprojeção guiada por profundidade mascara efetivamente a latência, permitindo a renderização estável de alta taxa de quadros mesmo quando a taxa de atualização do traçado de caminho é inferior à taxa de atualização do display.

Significância e Alegações

Os autores afirmam que este trabalho preenche a lacuna entre a alta fidelidade do traçado de caminho e o desempenho em tempo real das representações pré-computadas. Ao aproveitar a acuidade não uniforme do olho humano, o sistema concentra os recursos computacionais onde eles são mais importantes (a fóvea) enquanto fornece uma aproximação visualmente plausível e rapidamente gerada para a periferia.

A significância reside em permitir a visualização médica de alta qualidade e interativa em dispositivos VR móveis sem os extensos tempos de pré-processamento do 3DGS tradicional ou os custos computacionais proibitivos do traçado de caminho de cena completa. A abordagem suporta operações dinâmicas, como mudanças de função de transferência e planos de corte, ao regenerar o modelo periférico em segundos, preservando a capacidade de exibir detalhes anatômicos finos que poderiam ser perdidos na pré-computação estática. O artigo conclui que esta estratégia híbrida abre novas opções para a visualização médica interativa, particularmente para cenários que exigem exploração imediata e de alta fidelidade de patologias complexas.