EnerGS: Energy-Based Gaussian Splatting with Partial Geometric Priors

1. Formulação do Problema

O Gaussian Splatting 3D (3DGS) revolucionou a síntese de novas visões ao oferecer renderização em tempo real e alta qualidade fotorealista. No entanto, em cenários externos de grande escala e ilimitados (por exemplo, direção autônoma), o 3DGS enfrenta desafios significativos:

• Otimização Mal-Posta: Em regimes de poucas visões, o problema de otimização é mal-posto. Sem restrições suficientes, o sistema tende a superajustar as visões de treinamento, criando artefatos geometricamente inválidos conhecidos como "flutuadores" (primitivas gaussianas flutuando no espaço vazio) ou distorções próximas à câmera.
• Limitações dos Priors Geométricos Existentes: Métodos recentes incorporam priors geométricos (por exemplo, nuvens de pontos LiDAR) para restringir a otimização. No entanto, os dados LiDAR em cenas externas são frequentemente espacialmente incompletos e desiguais (por exemplo, campo de visão vertical limitado, esparsidade).
  • Tratar o LiDAR como uma restrição uniforme falha porque a não observabilidade geométrica não implica oclusão visual. Por exemplo, telhados ou fundos distantes podem ser invisíveis para o LiDAR, mas claramente visíveis para as câmeras.
  • Aplicar restrições de profundidade rígidas globalmente pode suprimir estruturas válidas em regiões não observadas.
  • Por outro lado, a falta de mecanismos estritos de exclusão em espaço livre verificado permite que artefatos se acumulem.

Desafio Central: Como aproveitar priors geométricos parciais, esparsos e ruidosos (LiDAR) para guiar a otimização do 3DGS sem suprimir geometria válida em regiões não observadas ou permitir artefatos em espaço livre conhecido.

---

2. Metodologia: EnerGS

Os autores propõem o EnerGS, um framework que reformula a otimização do 3DGS como inferência dentro de um campo de energia geométrica contínuo. Em vez de restrições rígidas, o EnerGS utiliza um potencial de energia adaptativo espacialmente para fornecer orientação suave.

A. Particionamento Espacial e Campo de Energia

O espaço 3D $\Omega$ é particionado em três regimes distintos com base na observabilidade do sensor:

1. Espaço Ocupado ($\Omega_{occ}$): Regiões com pontos LiDAR.
   • Mecanismo: Utiliza um estimador Welsch M como um atractor volumétrico.
   • Função: Puxa as primitivas gaussianas em direção ao ponto LiDAR mais próximo. É robusto a outliers (influência limitada), ao contrário da perda $L_2$ padrão, impedindo que ruído distante distorça a geometria.
2. Espaço Livre ($\Omega_{free}$): Regiões onde os raios LiDAR passaram sem atingir nada (vazio verificado).
   • Mecanismo: Utiliza uma barreira de Boltzmann (implementada via uma função Softplus).
   • Função: Atua como um repulsor estritamente monótono. Impõe um custo de energia linear para a profundidade de penetração, empurrando as primitivas para fora do espaço livre para eliminar flutuadores.
3. Espaço Desconhecido ($\Omega_{unk}$): Regiões sem cobertura LiDAR (por exemplo, céu, telhados, campo distante).
   • Mecanismo: Utiliza um prior fraco (estimador Welsch com alta variância).
   • Função: O gradiente de energia é próximo de zero. Isso permite que a otimização permaneça conforme, deixando que as pistas fotométricas (imagens da câmera) guiem a reconstrução da geometria nessas "pontos cegos" sem ser restringida por suposições geométricas incorretas.

B. Estratégia de Otimização Desacoplada

Uma inovação chave é o desacoplamento das atualizações geométricas e de aparência para resolver conflitos de gradiente:

• Abordagem Padrão: Minimiza conjuntamente a Perda Fotométrica ($L_{photo}$) e a Perda Geométrica ($L_{geom}$). Isso frequentemente leva a conflitos onde gradientes fotométricos ruidosos sobrepõem sinais geométricos, prendendo o otimizador em mínimos locais (flutuadores).
• Abordagem EnerGS:
  • Atualização de Posição ($\mu$): Atualizada exclusivamente pelo gradiente do campo de energia geométrica ($\nabla E_{geom}$). Isso garante descida monótona na paisagem geométrica, assegurando que as primitivas sejam fisicamente válidas (por exemplo, expulsas do espaço livre).
  • Atualização de Aparência/Forma ($\Sigma, \alpha, c$): Atualizada exclusivamente pela perda fotométrica ($L_{photo}$).
  • Resultado: Essa separação garante que a geometria seja estabilizada pelo campo de energia enquanto a aparência é otimizada para fidelidade visual, prevenindo a "memorização" das visões de treinamento.

C. Poda Discreta

Como mecanismo secundário de segurança, o método emprega poda discreta rígida. Periodicamente, qualquer primitiva gaussiana encontrada profundamente dentro do espaço livre verificado (além de um limite de margem) é explicitamente removida para prevenir a acumulação de artefatos que o campo contínuo possa perder.

---

3. Contribuições Principais

1. Framework Baseado em Energia: Introduz um campo de energia geométrica diferenciável que unifica atração de ocupação consciente de incerteza (estimador Welsch M) e exclusão de espaço livre (barreira de Boltzmann) em um único potencial.
2. Desacoplamento de Gradiente: Propõe uma estratégia de otimização desacoplada que garante teoricamente a eliminação de soluções degeneradas estáveis (flutuadores) em espaço livre confiável, preservando flexibilidade em regiões não observadas.
3. Análise Teórica: Provou que:
   • Soluções degeneradas não podem persistir em espaço livre confiável (Teorema 1).
   • O campo de atualização geométrica é Lipschitz contínuo, garantindo estabilidade no treinamento (Teorema 2).
   • Restrições geométricas desaparecem naturalmente em regiões desconhecidas, permitindo densificação fotométrica (Proposição 3).
4. Desempenho State-of-the-Art: Demonstrou resultados superiores em conjuntos de dados de direção autônoma de grande escala (KITTI, Waymo), reduzindo significativamente violações geométricas enquanto mantém alta qualidade de renderização.

---

4. Resultados Experimentais

O método foi avaliado no KITTI e no Waymo Open Dataset contra baselines como 3DGS vanilla, 2DGS, GeoGaussian e Mip-Splatting.

• Métricas Quantitativas:
  • Qualidade Geométrica: O EnerGS alcançou as menores pontuações "Leak" (menos primitivas no espaço livre) e as maiores pontuações "Margin" (melhor separação entre espaço ocupado e livre). Também mostrou maior OccCov (melhor cobertura do espaço ocupado).
  • Qualidade Fotométrica: Alcançou o maior PSNR e SSIM competitivo em ambos os conjuntos de dados, superando métodos que lutam com visões esparsas.
  • Eficiência: Mantive um número comparável de primitivas gaussianas às baselines, indicando uma representação mais compacta e fisicamente consistente.
• Resultados Qualitativos:
  • Em regiões além da cobertura LiDAR (por exemplo, telhados, céu, árvores distantes), o EnerGS reconstruiu com sucesso detalhes finos impulsionados por imagens de câmera, enquanto as baselines falharam em reconstruí-los ou produziram flutuadores.
  • No espaço livre verificado, o EnerGS eliminou completamente os artefatos "flutuantes" comuns em outros métodos.
• Estudos de Ablação: Confirmaram que a remoção de qualquer componente (por exemplo, a barreira de espaço livre, o prior fraco desconhecido ou a otimização desacoplada) levou a uma degradação consistente tanto na estabilidade geométrica quanto na qualidade de renderização.

---

5. Significado

O EnerGS aborda um gargalo crítico na aplicação do 3DGS a cenários reais de robótica e direção autônoma de grande escala.

• Robustez às Limitações dos Sensores: Oferece uma maneira principial de lidar com a esparsidade e incompletude inerentes dos sensores LiDAR sem depender de supervisão geométrica perfeita.
• Ponte entre Lacunas: Ao distinguir entre "espaço livre verificado", "espaço ocupado verificado" e "espaço desconhecido", ele preenche a lacuna entre dados de sensores determinísticos e dados visuais ambíguos.
• Generalização: A formulação baseada em energia é modular e pode ser integrada em outros pipelines de Gaussian Splatting (como demonstrado com SplatAD e StreetGS), tornando-se uma ferramenta versátil para melhorar a reconstrução 3D em ambientes ilimitados.

Em resumo, o EnerGS transforma a otimização de Gaussianas 3D de uma tarefa puramente fotométrica em um processo informado pela física, garantindo que a cena 3D resultante seja não apenas visualmente realista, mas também geometricamente plausível e livre de artefatos.