Eulerian Gaussian Splatting using Hashed Probability Pyramids

Resumo Técnico: Splatting Gaussiano Euleriano usando Pirâmides de Probabilidade Hash

Declaração do Problema
Os métodos atuais de Splatting Gaussiano 3D (3DGS) alcançam renderização em tempo real representando cenas com primitivas gaussianas discretas. No entanto, a otimização dessas cenas depende do "Controle de Densidade Adaptativo" (ADC), um conjunto de heurísticas ajustadas manualmente (por exemplo, divisão, clonagem, descarte) para adicionar ou remover primitivas durante o treinamento. Essas heurísticas podem ser frágeis e podem levar a mínimos locais subótimos. Por outro lado, os Campos Radiantes Neurais (NeRFs) otimizam densidades volumétricas contínuas via descida de gradiente, oferecendo maior estabilidade, mas sofrendo com velocidades de renderização lentas. O artigo aborda a necessidade de um framework que mantenha a eficiência de renderização do 3DGS enquanto adota a otimização baseada em gradientes e principial dos campos contínuos, eliminando a necessidade de manipulação heurística de primitivas.

Metodologia
Os autores propõem o Splatting Gaussiano Euleriano (EGS), um framework probabilístico que migra de uma visão Lagrangiana (movendo explicitamente primitivas) para uma visão Euleriana (otimizando uma função de densidade de probabilidade sobre o volume da cena).

1. Modelo de Renderização Probabilístico:
   Em vez de otimizar posições individuais de Gaussianas, o EGS define uma função de densidade de probabilidade volumétrica $p_\theta(\mu)$ sobre o espaço 3D. Em cada iteração de treinamento, um conjunto discreto de $N$ centros gaussianos $\mu_i$ é amostrado a partir dessa distribuição. Esses centros amostrados são então renderizados usando rasterização padrão de 3DGS. A perda é minimizada otimizando os parâmetros da distribuição de probabilidade subjacente $\theta$ e os atributos gaussianos $\phi$ (cor, escala, rotação, opacidade).

2. Pirâmide de Probabilidade Hash:
   Para representar a densidade de probabilidade $p_\theta(\mu)$ eficientemente em altas resoluções sem um crescimento de memória inviável, os autores introduzem uma Pirâmide de Probabilidade Hash.

   • Estrutura: É uma grade hierárquica multiescala onde a densidade de probabilidade é parametrizada como um produto de funções constantes por partes através de $L$ níveis.
   • Eficiência de Memória: Para evitar o crescimento cúbico de parâmetros, o método usa codificação hash. Em cada nível, a grade é ladrilhada com um orçamento limitado ($B$) de blocos de $2\times2\times2$. Uma função hash mapeia índices da grade para esses blocos, permitindo a representação de uma distribuição de alta resolução (por exemplo, $4096^3$) usando um conjunto compacto de parâmetros (aproximadamente 86 milhões de parâmetros para uma grade $4096^3$, exigindo apenas 0,33 GB).
   • Amostragem: A amostragem é realizada eficientemente percorrendo a hierarquia dos níveis mais grosseiros para os mais finos. O processo é tornado diferenciável de ponta a ponta vinculando amostras aleatórias entre níveis através de funções determinísticas da parte fracionária.

3. Estimação de Gradiente e Redução de Variância:
   Otimizar uma distribuição via descida de gradiente estocástica introduz alta variância. O estimador padrão de caminho (usando diferenciação automática através do processo de amostragem) é encontrado como instável.

   • Variáveis de Controle: Os autores derivam um estimador de gradiente não enviesado baseado na função de pontuação, aprimorado com variáveis de controle.
   • Insight Chave: A contribuição do gradiente de uma amostra específica é ponderada pelo seu impacto individual na imagem renderizada. Especificamente, a diferença entre a imagem completa $I$ e a imagem renderizada sem a $i$-ésima Gaussiana ($I_{-i}$) é utilizada.
   • Eficiência: Crucialmente, o artigo prova que $(I - I_{-i})$ pode ser computado diretamente a partir da opacidade $o_i$ e do gradiente da perda em relação à opacidade ($\partial I / \partial o_i$) durante a passagem de retropropagação padrão. Isso evita o custo computacional de renderizar $M$ imagens separadas, enquanto reduz significativamente a variância do gradiente.

4. Estratégias de Treinamento:

   • Amostragem Defensiva: Ruído gaussiano é adicionado a um subconjunto de amostras no início do treinamento para evitar que a densidade de probabilidade colapse para zero em regiões que podem se tornar importantes posteriormente.
   • Arredondamento de Amostra: As posições das amostras são arredondadas para o centro de seu bin de grade mais fino para reduzir a variância causada por pequenos deslocamentos posicionais.
   • Remoção de Duplicatas: Amostras duplicadas (decorrentes do arredondamento) são removidas antes da renderização, podando naturalmente o número de Gaussianas à medida que o modelo otimiza.
   • Refinamento: Após otimizar as grades de probabilidade e atributos, uma etapa final de refinamento executa otimização baseada em gradiente padrão no conjunto discreto de Gaussianas amostradas por 5.000 iterações.

Principais Contribuições

• Formulação Euleriana: Uma abordagem inovadora que une NeRF e 3DGS otimizando um campo de probabilidade contínuo para governar o posicionamento de Gaussianas discretas, removendo a necessidade de controle de densidade heurístico.
• Pirâmide de Probabilidade Hash: Uma representação multiescala, globalmente normalizada e eficiente em memória para densidades de probabilidade 3D que permite otimização de alta resolução em uma única GPU.
• Estimador de Gradiente de Baixa Variância: Um estimador baseado em variáveis de controle que isola a contribuição de cada Gaussiana para a imagem renderizada, permitindo treinamento estável da distribuição de probabilidade sem a alta variância dos estimadores de caminho padrão.
• Treinamento sem Heurísticas: O método alcança resultados state-of-the-art começando de uma inicialização aleatória uniforme, sem depender de pontos de Estrutura a partir de Movimento (SfM) ou regras de divisão/descarte ajustadas manualmente.

Resultados
O método foi avaliado nos conjuntos de dados mip-NeRF 360, Tanks & Temples e Deep Blending.

• Desempenho: O EGS alcança qualidade de reconstrução state-of-the-art entre modelos inicializados aleatoriamente, superando bases como 3DGS-MCMC e Taming-3DGS em PSNR geral.
• Comparação com Métodos Baseados em SfM: Embora modelos inicializados com pontos COLMAP geralmente performem ligeiramente melhor, o EGS começando de inicialização aleatória fecha grande parte dessa lacuna, demonstrando robustez.
• Estudos de Ablação: O estimador de gradiente personalizado é identificado como o componente mais crítico; sem ele, o treinamento torna-se instável e converge para resultados pobres. A regularização de opacidade e a amostragem defensiva também fornecem benefícios significativos de estabilidade.
• Eficiência: Embora o processo de treinamento seja mais lento e mais intensivo em memória do que o 3DGS padrão devido ao grande número de amostras e consultas à grade hash, a velocidade final de renderização permanece comparável ao 3DGS.

Significado
O artigo afirma que o EGS oferece uma "ponte principial" entre a otimização de campo contínuo e a renderização gaussiana discreta. Ao substituir heurísticas frágeis por uma distribuição de probabilidade aprendível, o framework permite que a geometria da cena emerja puramente a partir de pistas de gradiente. Isso habilita um procedimento de treinamento simples e de ponta a ponta que generaliza através de cenas diversas sem exigir inicialização geométrica prévia (SfM) ou intervenção manual, demonstrando que formulações baseadas em amostragem podem alcançar reconstruções de alta qualidade enquanto mantêm a eficiência da renderização baseada em splat.