Resumo Técnico: Gaussian Splatting Multicamada para Visualização Anatômica Imersiva

Definição do Problema

A visualização de imagens médicas, particularmente para exames de Tomografia Computadorizada (TC), baseia-se tradicionalmente em fatias 2D ou Renderização de Volume Direta (DVR). Embora o rastreamento de caminho volumétrico (volumetric path tracing) ofereça visualizações 3D de alta fidelidade e realistas, com iluminação e sombras realistas benéficas para educação e planejamento cirúrgico, ele é computacionalmente proibitivo para uso em tempo real em dispositivos de Realidade Virtual (VR) móveis e autônomos. Esses dispositivos carecem da capacidade de armazenamento e do poder de renderização necessários para o path tracing de alta resolução ou mesmo para um DVR de alta qualidade.

Alternativas existentes, como o Gaussian Splatting (GS), oferecem renderização eficiente em tempo real, mas sofrem de limitações significativas neste contexto:

1. Natureza Estática: Modelos GS padrão são estáticos; as funções de transferência (cor/transparência) são fixas no momento do treinamento.
2. Falta de Interatividade: Técnicas como corte, fatiamento ou isolamento de estruturas anatômicas específicas (por exemplo, visualizar osso vs. músculo) são difíceis sem artefatos visuais ou exigindo múltiplos modelos separados e redundantes.
3. Problemas de Transparência: O treinamento de GS padrão achata os canais alfa, levando a artefatos em regiões semi-transparentes, especialmente quando treinados em dados sintéticos com fundos transparentes.
4. Redundância: Treinar modelos separados para diferentes visões anatômicas resulta em grandes pegadas de armazenamento devido ao conteúdo sobreposto.

Metodologia

Os autores propõem uma abordagem de Gaussian Splatting (GS) em Camadas que cria uma representação intermediária única capaz de visualizar múltiplas estruturas anatômicas sequencialmente. O fluxo de trabalho consiste em três estágios:

1. Geração de Imagem

Imagens de alta qualidade são pré-renderizadas a partir de dados volumétricos de TC usando um rastreador de caminho de volume Monte Carlo.

• Inicialização: Em vez de usar Structure-from-Motion (COLMAP) ou nuvens de pontos aleatórias, os autores geram uma nuvem de pontos inicial amostrando de fora para dentro do volume, parando quando atinge um limiar de opacidade da função de transferência ($\alpha = 0,2$). Isso garante que os pontos estejam localizados próximos à superfície onde os Gaussians se formarão.
• Tratamento do Canal Alpha: Para resolver artefatos de transparência, o processo de treinamento utiliza duas estratégias:
  • Fundos Aleatórios: A cor do fundo é aleatorizada para cada quadro durante o treinamento, em vez de ser achatada, evitando que a cor do fundo se infiltre em áreas semi-transparentes.
  • Perda de Alpha (Alpha Loss): O canal alpha é explicitamente incluído no cálculo da perda para manter o detalhe em regiões translúcidas.

2. Treinamento em Camadas

A inovação central é um processo de treinamento consecutivo onde múltiplas camadas de GS são empilhadas dentro de um único arquivo .ply.

• Otimização Sequencial: As camadas são treinadas uma após a outra (ex: Osso $\rightarrow$ Músculo $\rightarrow$ Tecido Mole). Uma vez que uma camada é otimizada, seus Gaussians são "congelados" e tratados como um fundo estático para a camada subsequente.
• Representação Diferencial: Novas camadas apenas otimizam Gaussians para novas informações (ex: tecido muscular) ou áreas onde a informação da camada anterior é insuficiente. As camadas inferiores existentes permanecem intocadas, preservando sua integridade visual.
• Poda Inativa (Inactive Pruning): Uma extensão crítica ao controle adaptativo padrão do GS. Durante o treinamento das camadas superiores, alguns Gaussians em camadas inferiores podem se tornar completamente ocluídos (ex: dentro de um osso) ou redundantes. Os autores introduzem um mecanismo de poda que monitora a atividade dos Gaussians (posição, cor e escala). Gaussians que não atingem um limiar mínimo de atividade são removidos. Este limiar é atualizado via decaimento exponencial para evitar a remoção prematura de Gaussians bem otimizados.

3. Renderização em Tempo Real

O modelo treinado em camadas é renderizado na engine de jogo Unity (2022.3) usando shaders de computação HLSL.

• Carregamento Seletivo: Apenas as camadas ativamente renderizadas são transferidas para a GPU; camadas não utilizadas permanecem na RAM.
• Compressão: Para reduzir a pegada de armazenamento e memória, os autores aplicam quantização e agrupamento K-means em todas as camadas simultaneamente. Isso agrupa os coeficientes de harmônicos esféricos (que constituem ~75% do tamanho do arquivo) em 16 mil variantes, aproveitando a paleta de cores limitada dos volumes médicos.
• Otimização de Ordenação: Para lidar com a renderização estéreo de VR, os autores exploram o compartilhamento da ordenação dos splats entre ambos os olhos para reduzir o tempo de ordenação por quadro pela metade.

Principais Contribuições

1. Representação GS em Camadas: Um método para treinar e empilhar múltiplas renderizações GS do mesmo volume em um único asset, permitindo a exibição seletiva de estruturas anatômicas (ex: apenas osso, ou osso + músculo) sem necessidade de retreinamento.
2. Poda Inativa: Uma técnica para remover Gaussians que estão ocluídos ou redundantes durante o processo de camadas, reduzindo a poluição visual e melhorando a eficiência.
3. Treinamento de Canal Alpha: Uma extensão do pipeline de treinamento de GS usando fundos aleatorizados e perda de alpha para reconstruir fielmente estruturas anatômicas semi-transparentes.
4. Implementação em Unity: Um pipeline de renderização em tempo real para modelos de GS em camadas no Unity, suportando corte e alternância de camadas em dispositivos VR móveis e desktop.
5. Recursos Abertos: Liberação do código de treinamento e renderização junto com os datasets.

Resultados e Avaliação

A abordagem foi avaliada usando exames de TC reais (Parte Inferior do Corpo, Corpo Inteiro, Pernas) e cenas sintéticas.

• Desempenho: O método alcança taxas de quadros interativas tanto em VR desktop (Varjo Aero) quanto em VR móvel autônomo (Meta Quest 3). Em um PC com uma RTX 4090, a renderização leva aproximadamente 1,3–1,7 ms para modelos de alta compressão, superando significativamente o path tracing (7116 ms) e o path tracing com denoising (66 ms).
• Qualidade: Os modelos alcançam alta fidelidade visual (PSNR ~35–37, SSIM ~0,96) em comparação com o ground truth, superando o path tracing padrão em baixas contagens de amostras. Embora detalhes finos possam sofrer em regiões de baixa frequência, características de alto contraste são reconstruídas com precisão.
• Eficiência de Armazenamento: A abordagem em camadas reduz significativamente os requisitos de armazenamento em comparação com o armazenamento de múltiplos modelos GS independentes. Por exemplo, uma cena de perna de 3 camadas exigiu 34,4 MB (em camadas) contra 46,6 MB (combinado independente) antes da compressão. Após a compressão por agrupamento, os tamanhos caíram para 5,8 MB (Perna) e 7,6 MB (Corpo Inteiro), representando uma redução de até 99% em relação aos volumes DICOM originais.
• Comparação com Aprendizado Contínuo: Comparado ao CLNeRF, o método proposto representa melhor as estruturas anatômicas finas (como ossos) com menos imagens de treinamento e evita o overhead de memória de buffers de replay, tornando-o mais adequado para o VR em tempo real.

Significância e Alegações

O artigo afirma que esta abordagem preenche a lacuna entre a alta fidelidade visual do path tracing e as restrições de desempenho dos dispositivos de VR móveis. Ao criar uma representação intermediária estática que retém "qualidades exploratórias", o método permite:

• Interatividade Seletiva: Usuários podem alternar camadas ou realizar cortes nelas para visualizar relações anatômicas específicas (ex: osso vs. tecido mole) em tempo real, uma capacidade anteriormente restrita ao path tracing computacionalmente caro ou a fatias 2D estáticas.
• Acessibilidade: Torna a visualização anatômica 3D de alta qualidade viável em headsets autônomos acessíveis, eliminando a necessidade de estações de trabalho conectadas de alto desempenho.
• Utilidade Educacional: A capacidade de explorar interativamente anatomias complexas apoia a educação médica onde o path tracing em tempo real é atualmente impraticável.

Os autores reconhecem limitações, observando que a abordagem ainda é semi-estática (as funções de transferência são fixas) e que aproximções extremas podem revelar artefatos de splatting. No entanto, eles sustentam que o nível de detalhe alcançado é suficiente para muitos cenários práticos de visualização médica.