Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

Título: Mobile-GS: Gaussian Splatting em Tempo Real para Dispositivos Móveis

1. O Problema

O 3D Gaussian Splatting (3DGS) emergiu como uma técnica poderosa para síntese de novas vistas de alta qualidade e reconstrução 3D. No entanto, sua adoção em dispositivos móveis (smartphones, óculos de AR) enfrenta barreiras críticas:

• Custo Computacional Elevado: O processo de renderização tradicional depende de ordenação por profundidade (sorting) para realizar o alpha blending (mistura alfa) corretamente, garantindo que os Gaussianos mais próximos sejam renderizados antes dos mais distantes. Essa etapa de ordenação é um gargalo computacional severo, especialmente em GPUs móveis com recursos limitados.
• Custo de Armazenamento: As representações 3DGS originais exigem grandes quantidades de memória para armazenar parâmetros de milhões de Gaussianos, incluindo coeficientes de Harmônicos Esféricos (SH) de alta ordem, o que excede a capacidade de armazenamento e largura de banda de dispositivos móveis.
• Limitações de Métodos Atuais: Métodos leves existentes (como Scaffold-GS ou Mini-Splatting) ainda dependem da ordenação por profundidade ou não conseguem equilibrar adequadamente a qualidade visual com a velocidade de inferência em tempo real.

2. Metodologia

O Mobile-GS propõe um pipeline completo otimizado para dispositivos de borda, integrando quatro componentes principais para eliminar a ordenação, comprimir dados e manter a qualidade:

A. Renderização Independente de Ordem Consciente de Profundidade (Depth-Aware Order-Independent Rendering)

• Inovação: Substitui o alpha blending tradicional (que exige ordenação) por uma estratégia de ponderação independente da ordem.
• Mecanismo: Em vez de ordenar os Gaussianos, o método calcula a cor do pixel como uma acumulação ponderada de todos os Gaussianos relacionados.
• Função de Peso: Introduz uma função de peso $w_i$ que depende da profundidade ($d_i$) e da escala ($s_{max}$) do Gaussiano. Gaussianos mais distantes recebem pesos menores, enquanto os mais próximos e com maior escala recebem pesos maiores. Isso simula o efeito de alpha blending sem a necessidade de ordenação explícita, permitindo processamento paralelo massivo.

B. Melhoria Neural Dependente da Vista (Neural View-Dependent Enhancement)

• Problema Resolvido: A renderização independente de ordem pode causar artefatos de transparência em geometrias sobrepostas.
• Solução: Um MLP (Multi-Layer Perceptron) leve é treinado para prever um escalar de opacidade dependente da vista ($\phi_i$) e uma opacidade corrigida ($o_i$).
• Entradas do MLP: O vetor direção da câmera para o Gaussiano, escala, rotação e coeficientes de harmônicos esféricos.
• Resultado: O MLP aprende a modelar efeitos dependentes da vista e a suprimir a transparência indesejada em regiões ambíguas de profundidade, compensando a falta de ordenação estrita.

C. Destilação de Harmônicos Esféricos de Primeira Ordem e Quantização Vetorial Neural

• Destilação SH: Em vez de usar harmônicos esféricos de 3ª ordem (muitos parâmetros), o método destila os parâmetros para 1ª ordem (3x4 coeficientes) guiado por um modelo "professor" (Mini-Splatting).
• Quantização Vetorial Neural (NVQ): Os atributos dos Gaussianos são divididos em clusters via K-Means e quantizados usando múltiplos codebooks. Os coeficientes SH destilados são codificados por redes neurais leves (MLPs) em vez de serem armazenados diretamente, reduzindo drasticamente o tamanho do arquivo.
• Codificação: Uso de codificação Huffman para compressão final dos dados quantizados.

D. Poda Baseada em Contribuição (Contribution-Based Pruning)

• Estratégia: Remove Gaussianos redundantes durante o treinamento baseando-se em dois critérios simultâneos: opacidade (visibilidade) e escala (extensão geométrica).
• Mecanismo: Um sistema de "votação" acumula votos para Gaussianos que possuem baixa opacidade e pequena escala. Apenas quando um Gaussiano ultrapassa um limiar de votos é que ele é permanentemente removido, evitando flutuações ruidosas no início do treinamento.

3. Principais Contribuições

1. Primeiro Método GS em Tempo Real para Mobile: É a primeira implementação capaz de atingir taxas de quadros (FPS) em tempo real (acima de 100 FPS) em dispositivos móveis de ponta (Snapdragon 8 Gen 3) para cenas complexas.
2. Eliminação do Gargalo de Ordenação: A abordagem de renderização independente de ordem remove a etapa mais custosa do pipeline 3DGS tradicional.
3. Compressão Extrema: Reduz o tamanho do modelo de centenas de MBs (no 3DGS original) para ~4.8 MB sem perda significativa de qualidade visual.
4. Qualidade Visual Superior: Através da melhoria neural dependente da vista, o método supera métodos leves anteriores em qualidade de síntese de novas vistas, especialmente em efeitos dependentes da vista e geometrias complexas.

4. Resultados Experimentais

Os resultados foram validados em datasets padrão (Mip-NeRF 360, Tanks&Temples, Deep Blending) e em hardware móvel real:

• Desempenho em Dispositivo Móvel (Snapdragon 8 Gen 3):

  • Velocidade: Alcança 116 FPS na resolução 1600x1063 para a cena "Bicycle".
  • Armazenamento: Apenas 4.8 MB (vs. ~1.2 GB do 3DGS original ou ~30-80 MB de outros métodos leves).
  • Qualidade: PSNR de 27.12 (Mip-NeRF 360), superando ou igualando métodos como LightGaussian, AdR-Gaussian e SortFreeGS, com qualidade visual comparável ao 3DGS original.

• Desempenho em GPU Desktop (RTX 3090 Ti):

  • Alcança 1098 FPS em cenas ilimitadas, demonstrando a eficiência computacional extrema da remoção da ordenação.

• Análise de Ablação:

  • A remoção da renderização independente de ordem reduz a velocidade de 1125 FPS para 684 FPS.
  • A remoção da melhoria neural dependente da vista degrada drasticamente a qualidade visual (PSNR cai de 27.12 para 26.68), confirmando sua importância para corrigir artefatos.
  • A poda baseada em contribuição reduz o número de Gaussianos em ~15-20% sem perda de qualidade, enquanto a poda baseada apenas em um critério (opacidade ou escala) falha.

5. Significado e Impacto

O Mobile-GS representa um marco significativo na viabilidade de aplicações de Realidade Aumentada (AR) e Visualização 3D em tempo real em smartphones. Ao resolver o problema fundamental da ordenação por profundidade e otimizar agressivamente o armazenamento, o trabalho permite que cenas 3D de alta fidelidade sejam renderizadas fluidamente em hardware de consumo, eliminando a necessidade de servidores na nuvem para renderização. Isso abre caminho para aplicações práticas em navegação, jogos, e-commerce e manutenção industrial diretamente em dispositivos móveis.

O código e os modelos serão disponibilizados publicamente para garantir a reprodutibilidade.