Smol-GS: Compact Representations for Abstract 3D Gaussian Splatting

Resumo Técnico: Smol-GS

1. O Problema

O 3D Gaussian Splatting (3DGS) revolucionou a síntese de novas visualizações (novel view synthesis), oferecendo renderização em tempo real e alta qualidade. No entanto, a representação padrão do 3DGS sofre de ineficiência de memória. Cenários complexos exigem milhões de splats (elipsoides gaussianos), resultando em arquivos que ocupam vários gigabytes.

As abordagens de compressão existentes dividem-se em duas categorias principais, ambas com limitações:

• Abordagens de Processamento de Sinal: Quantizam atributos, mas não exploram plenamente as correlações espaciais locais.
• Abordagens Baseadas em Aprendizado (ex: Scaffold-GS, ContextGS): Utilizam hierarquias de "âncora-deslocamento" (anchor-offset). Embora eficazes, introduzem sobrecarga estrutural, offsets transparentes/invisíveis e heurísticas complexas. Além disso, muitas dessas métodos evitam comprimir as coordenadas espaciais devido à sensibilidade da reconstrução a erros geométricos, limitando a taxa de compressão final.

O objetivo do Smol-GS é superar essas barreiras, alcançando uma compressão de várias ordens de magnitude sem sacrificar a qualidade visual ou a flexibilidade para aplicações downstream (como edição 3D).

2. Metodologia

O Smol-GS propõe uma representação compacta que separa a geometria explícita (eficientemente empacotada) dos atributos visuais (abstratos e aprendidos). O método consiste em cinco componentes principais:

• A. Compressão de Coordenadas (Ocupação Octree):

  • Inspirado na compressão de nuvens de pontos, o Smol-GS não armazena coordenadas brutas. Em vez disso, utiliza uma estrutura de Octree de Ocupação.
  • O espaço é dividido recursivamente em caixas. Apenas caixas não vazias são subdivididas.
  • A presença de splats é codificada em bytes de ocupação (8 bits), que são posteriormente comprimidos via Codificação de Huffman (baseada em entropia).
  • As coordenadas finais são quantizadas como o centro da caixa de nível mais fino, permitindo perda controlada e armazenamento sem perdas dentro da grade de quantização.

• B. Codificação Posicional Derivada do Octree:

  • Cada splat recebe um identificador único baseado na sua posição no octree (código Morton/Z-order).
  • Este vetor de posição ($f_{oct}$) serve como positional encoding para a rede neural, substituindo a necessidade de coordenadas de alta precisão para inferir a localização, melhorando a eficiência da representação.

• C. Splatting Gaussiano Neural (Decodificadores Tiny-MLP):

  • Em vez de armazenar atributos explícitos (cor, rotação, escala) para cada splat, o Smol-GS armazena apenas um vetor de características abstrato de baixa dimensão ($f \in \mathbb{R}^8$) e um controlador de escala ($s$).
  • Pequenas redes MLP (Multi-Layer Perceptron) decodificam esses vetores abstratos, combinando-os com a direção de visão, distância e o encoding posicional, para prever: opacidade, cor, rotação e escala final.
  • Isso permite que o modelo aprenda propriedades ópticas e materiais complexas de forma adaptativa.

• D. Compressão de Características (Codificação Aritmética):

  • As características abstratas ($f$) e os controladores de escala ($s$) são quantizados e comprimidos usando Codificação Aritmética.
  • O modelo utiliza um hash-grid (inspirado no InstantNGP) para prever distribuições Gaussianas e passos de quantização para cada splat, minimizando a entropia e o tamanho do arquivo.

• E. Pipeline de Treinamento Adaptativo:

  • O treinamento ocorre em 5 estágios: Warm-up, Densificação, Compactação (pruning e regularização de opacidade), Compressão de Características e Compressão de Coordenadas.
  • Isso garante que a densidade de splats seja otimizada antes da quantização agressiva, equilibrando fidelidade e tamanho.

3. Principais Contribuições

1. Novo Modelo Neural de Splat: Introduz o Smol-GS, que elimina a sobrecarga de "âncora-deslocamento" e permite manipulação direta no nível do splat.
2. Codificação Posicional de Octree: Propõe um método inovador de positional encoding derivado da hierarquia do octree, que melhora a eficiência da representação neural.
3. Compressão Coordenada Eficiente: Demonstra que as coordenadas podem ser comprimidas com octrees e entropia sem degradação perceptível, algo que métodos anteriores evitavam.
4. Desempenho de Estado da Arte (SOTA): Alcança a melhor relação tamanho/qualidade em benchmarks padrão, reduzindo o tamanho do modelo em até 150x em comparação ao 3DGS original, mantendo qualidade de renderização competitiva.

4. Resultados Experimentais

Os resultados foram avaliados em conjuntos de dados padrão: Mip-NeRF 360, Tanks and Temples e Deep Blending.

• Eficiência de Armazenamento:

  • No conjunto Mip-NeRF 360, o Smol-GS (variante small) atinge um tamanho médio de ~4.87 MB com um PSNR de 27.61 dB.
  • Comparado ao 3DGS original (que usa 734 MB), isso representa uma redução de **150 vezes**.
  • Supera métodos concorrentes como HAC++, ContextGS e HEMGS, oferecendo tamanhos menores com qualidade igual ou superior.

• Qualidade Visual:

  • A reconstrução preserva bordas nítidas, sombras, reflexos especulares e texturas de vidro.
  • A ablação mostra que a remoção do positional encoding degrada significativamente a qualidade, provando sua importância.

• Velocidade:

  • Treinamento: ~26.5 minutos por cena (35k iterações).
  • Renderização: ~241 fps em tempo real.
  • Codificação/Decodificação: Processamento rápido (segundos), viabilizando transmissão e armazenamento prático.

5. Significado e Impacto

O Smol-GS representa um avanço significativo na viabilidade do 3DGS para aplicações do mundo real que exigem recursos limitados, como:

• Transmissão 3D: Permite o streaming de cenas 3D complexas em redes móveis ou com largura de banda limitada.
• Realidade Virtual/Aumentada (VR/AR): Facilita o carregamento rápido de ativos 3D em dispositivos com memória restrita.
• Edição 3D: Ao manter a estrutura explícita (sem âncoras complexas), o modelo permite operações diretas de edição (como remover ou mover objetos) que são difíceis em métodos baseados em hierarquias de âncora.

Em resumo, o Smol-GS redefine o limite de compressão para representações 3D, provando que é possível abstrair atributos visuais complexos e empacotar geometria de forma extremamente eficiente, mantendo a fidelidade visual necessária para síntese de novas visualizações.