3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

Resumo Técnico: 3DGS2-TR

Problema
Embora o 3D Gaussian Splatting (3DGS) tenha se estabelecido como o estado da arte para a síntese de novos visores em tempo real, o processo de treinamento continua sendo um gargalo significativo. O 3DGS padrão baseia-se no otimizador de primeira ordem ADAM, que frequentemente sofre com uma convergência lenta nos espaços de parâmetros altamente não convexos e mal condicionados característicos do 3DGS. O panorama de otimização é particularmente desafiador devido ao forte acoplamento entre os parâmetros de geometria (posição, rotação, escala) e aparência (opacidade, cor), bem como a não linearidade e a continuidade por partes do processo de rasterização (causada pela ordenação baseada em profundidade).

Abordagens de segunda ordem existentes (ex: 3DGS-LM, 3DGS2) visam acelerar a convergência utilizando informações de curvatura, mas enfrentam problemas críticos de escalabilidade. Elas tipicamente dependem de representações de curvatura explícitas ou densas, levando a um alto overhead de memória ($O(n^2)$ ou pior) e custos caros por iteração. Isso as torna inadequadas para cenas de grande escala ou configurações de treinamento distribuído. Além disso, as descontinuidades na função de perda do 3DGS violam as suposições de suavidade exigidas pelos métodos clássicos de segunda ordem, resultando frequentemente em instabilidade.

Metodologia: 3DGS2-TR
Os autores propõem o 3DGS2-TR, um otimizador de região de confiança de segunda ordem escalável, projetado para acelerar o treinamento do 3DGS mantendo a eficiência computacional e de memória dos métodos de primeira ordem. O método é construído sobre três princípios fundamentais: computação barata por iteração, escalonamento de memória linear em relação aos parâmetros e restrições de região de confiança.

1. Aproximação de Hessian Diagonal (Sem Matriz):
   Em vez de computar matrizes Hessian completas, o 3DGS2-TR aproxima a curvatura usando apenas a diagonal da matriz de Gauss-Newton ($J^T J$). Esta é estimada eficientemente via método de Hutchinson, que utiliza vetores de Rademacher aleatórios para computar produtos vetor-Hessiano. Esta abordagem garante que tanto a complexidade de computação quanto a de memória permaneçam $O(n)$, igualando-se à complexidade do ADAM. Para estabilizar as estimativas de curvatura, o método emprega uma Média Móvel Exponencial (EMA) das estimativas diagonais, atualizada periodicamente (ex: a cada 10 iterações) em vez de a cada passo.

2. Região de Confiança por Parâmetro via Distância de Hellinger ao Quadrado:
   Para lidar com a forte não linearidade e as descontinuidades inerentes à rasterização do 3DGS, os autores introduzem uma técnica de região de confiança por parâmetro. Diferente das restrições globais ou de nível de grupo, este método limita o passo de atualização para cada parâmetro individual de cada Gaussian.

   • Métrica: A restrição é baseada na distância de Hellinger ao quadrado entre a distribuição Gaussiana antes e depois de uma atualização. Esta métrica foi escolhida porque fornece uma solução de forma fechada para Gaussianas não normalizadas e mede intuitivamente a discrepância na aparência renderizada.
   • Normalização: Para considerar o fato de que a massa aparente de uma Gaussiana pode mudar arbitrariamente com a distância de visualização, a distância de Hellinger é normalizada pelo determinante da matriz de escala ($\det(S)^{-1}$).
   • Mecanismo: Para cada parâmetro, um raio de região de confiança $\eta$ é calculado de modo que a distância de Hellinger ao quadrado normalizada permaneça abaixo de um limiar $\epsilon$. O passo de atualização proposto é então limitado a este raio ($\Delta x \cdot \text{clip}(-\eta, +\eta)$), garantindo que as atualizações não causem mudanças abruptas e inválidas na geometria ou opacidade da Gaussiana.

3. Pipeline de Otimização:
   O algoritmo segue uma formulação estocástica de Gauss-Newton. Ele computa um gradiente estocástico e uma estimativa de Hessian diagonal (via método de Hutchinson), calcula um passo de atualização de segunda ordem ($\Delta x = -\hat{D}^{-1} \hat{g}$), aplica o clipping da região de confiança por parâmetro e atualiza os parâmetros. O método exige apenas um overhead modesto (aproximadamente 10% a mais que o ADAM) devido à amostragem periódica para a estimativa da Hessian.

Principais Contribuições

• Otimização de Segunda Ordem Escalável: O artigo apresenta o primeiro otimizador de segunda ordem para 3DGS que alcança complexidade $O(n)$ tanto em computação quanto em memória, tornando-o escalável para cenas muito grandes e potencialmente para configurações de treinamento distribuído.
• Estimativa de Hessian Diagonal: Ao adaptar o framework leve do Sophia (Liu et al., 2023) para o 3DGS, o método utiliza estimativas de Hessian diagonal para considerar a curvatura da superfície de perda sem os custos proibitivos de operações de matriz completa.
• Região de Confiança de Distância de Hellinger: Os autores propõem uma restrição de região de confiança por parâmetro baseada na distância de Hellinger ao quadrado. Isso fornece uma maneira fundamentada de limitar as mudanças geométricas das primitivas Gaussianas, abordando a instabilidade causada pela natureza não suave da rasterização do 3DGS.

Resultados
Sob inicialização de parâmetros idêntica e sem o uso de estratégias de densificação, o 3DGS2-TR demonstra desempenho superior comparado ao otimizador ADAM padrão:

• Velocidade de Convergência: Ele alcança uma melhor qualidade de reconstrução em datasets padrão usando 50% menos iterações de treinamento que o ADAM.
• Eficiência de Memória: O método incorre em menos de 1GB de overhead de memória de pico na GPU (aproximadamente 17% a mais que o ADAM). Em contraste, métodos de segunda ordem existentes como o 3DGS-LM incorrem em cerca de 85% mais overhead de memória, destacando a vantagem de escalabilidade do 3DGS2-TR.

Significância
O artigo afirma que o 3DGS2-TR preenche a lacuna entre os benefícios de convergência dos métodos de segunda ordem e os requisitos de escalabilidade para a criação de conteúdo 3D em larga escala. Ao evitar representações de curvatura densas e introduzir um mecanismo de estabilidade adaptado às descontinuidades específicas do Gaussian splatting, o método permite tempos de treinamento mais rápidos sem sacrificar a qualidade da reconstrução ou a eficiência de memória. Este avanço aborda um gargalo primário no pipeline do 3DGS, facilitando potencialmente a adoção mais ampla em aplicações que exigem reconstrução rápida de cenas, como realidade virtual, realidade aumentada e robótica.