In Depth We Trust: Reliable Monocular Depth Supervision for Gaussian Splatting

Título: In Depth We Trust: Supervisão de Profundidade Monocular Confiável para Gaussian Splatting

1. O Problema

O Gaussian Splatting (3DGS) e técnicas relacionadas de campos de radiação têm revolucionado a síntese de vistas fotorealistas. No entanto, a reconstrução de cenas com superfícies sem textura ou dados de treinamento esparsos frequentemente resulta em artefatos geométricos. A supervisão de profundidade é crucial para mitigar esses problemas, mas a obtenção de mapas de profundidade precisos tradicionalmente requer hardware caro (câmeras RGB-D).

Modelos de Estimação de Profundidade Monocular (MDE) de base (foundation models) oferecem uma alternativa acessível, mas apresentam desafios significativos quando aplicados diretamente ao treinamento do 3DGS:

1. Ambiguidade de Escala: As previsões de profundidade monocular não possuem escala métrica absoluta e podem variar entre diferentes visões.
2. Inconsistência Multivista: Modelos MDE frequentemente geram previsões que não são geometricamente consistentes entre diferentes ângulos de visão.
3. Inacuracidade Local: Em regiões fora da distribuição de treinamento ou com pouca textura, os modelos MDE falham em recuperar detalhes finos.

A aplicação ingênua desses prios de profundidade ruidosos e mal alinhados no treinamento do 3DGS pode degradar o desempenho de renderização, corrompendo geometrias já bem reconstruídas e introduzindo artefatos, em vez de melhorá-los.

2. Metodologia Proposta

Os autores propõem um framework de treinamento versátil que integra prios de profundidade monocular de forma seletiva e robusta. O sistema é composto por três componentes principais:

A. Máscara de Inconsistência de Profundidade (DIM - Depth-Inconsistency Mask)

Para evitar que erros de profundidade monocular corrompam a geometria bem estabelecida, o método identifica regiões onde a reconstrução atual é fraca.

• Mecanismo: Simula um setup de "estéreo virtual" durante o treinamento. Uma câmera "esquerda" (real) e uma "direita" (pseudo, deslocada) são usadas para renderizar pares de profundidade.
• Detecção: Compara a profundidade renderizada na visão atual com a profundidade reprojetada a partir da visão virtual.
• Resultado: Gera uma máscara binária que identifica pixels com inconsistências multivista (onde os Gaussians estão mal reconstruídos). A supervisão de profundidade absoluta é aplicada apenas nessas regiões inconsistentes, protegendo as áreas já bem reconstruídas.

B. Perda de Alinhamento de Gradiente (GAL - Gradient-Alignment Loss)

Para lidar com a ambiguidade de escala e extrair informações geométricas úteis sem depender de valores absolutos, o método introduz uma perda baseada em gradientes.

• Mecanismo: Calcula a diferença $L1$ entre os derivadas espaciais de primeira ordem (gradientes horizontais e verticais) do mapa de profundidade monocular e o mapa de profundidade renderizado.
• Vantagem: Diferente de perdas baseadas em correlação de patches (como NCC), que tendem a suavizar excessivamente a geometria, o GAL preserva detalhes de alta frequência e estruturas finas, alinhando as variações relativas de profundidade.

C. Função de Supervisão Combinada

A supervisão total de profundidade ($R$) é uma combinação ponderada:
$$R = \alpha L_{abs} + \beta L_{rel}$$
Onde:

• $L_{abs}$: Perda de profundidade absoluta (escala-invariante) aplicada apenas nas regiões mascaradas pela DIM.
• $L_{rel}$: A perda de alinhamento de gradiente (GAL) aplicada globalmente para capturar a estrutura geométrica fina.

3. Contribuições Principais

1. Framework de Treinamento Confiável: Uma abordagem que permite o uso de prios de profundidade monocular facilmente disponíveis, mitigando os efeitos negativos da ambiguidade de escala e da imprecisão dos modelos MDE.
2. Máscara de Inconsistência (DIM): Um mecanismo inovador para detectar Gaussians mal reconstruídos e aplicar regularização de profundidade seletivamente, impedindo a propagação de erros para geometrias corretas.
3. Perda de Alinhamento de Gradiente (GAL): Uma nova função de perda que extrai cues geométricos confiáveis de profundidades relativas, superando as limitações de suavização de métodos baseados em correlação de patches.
4. Generalização: O método é agnóstico ao backbone do modelo de profundidade (funciona com DepthAnything V2, UniDepth, MoGe, etc.) e compatível com diferentes variantes de Gaussian Splatting (3DGS e 2DGS).

4. Resultados Experimentais

Os autores avaliaram o método em três conjuntos de dados do mundo real (ScanNet++, MipNeRF 360, TanksAndTemples) sob configurações de baixa e moderada densidade de vistas.

• Qualidade de Renderização: O método demonstrou melhorias consistentes na qualidade de síntese de novas vistas (PSNR, SSIM, LPIPS) em comparação com o baseline 3DGS sem supervisão de profundidade e com outros métodos de estado da arte (como DNGaussian, SparseGS, FSGS).
• Robustez a Dados Esparsos: Em cenários de "low-data" (poucas vistas), onde o alinhamento de escala via SfM é difícil, o método obteve ganhos superiores a 0.47 dB em PSNR sobre o baseline.
• Resistência a Ruído: Mesmo utilizando modelos MDE mais fracos (ex: Marigold), o método superou o baseline, enquanto a aplicação direta de perda de profundidade (Lsid) degradou a performance.
• Ablação: Estudos mostraram que a combinação de DIM e GAL é essencial. A DIM sozinha melhora a consistência, e o GAL adiciona detalhes finos, resultando na melhor performance global.
• Eficiência: O método é computacionalmente mais eficiente do que perdas baseadas em correlação de patches grandes (NCC), oferecendo treinamento mais rápido com melhor qualidade.

5. Significado e Impacto

Este trabalho resolve um dos principais gargalos na aplicação prática do Gaussian Splatting: a dependência de dados de profundidade precisos ou a degradação causada pelo uso de dados de profundidade ruidosos.

• Viabilidade Prática: Permite que pesquisadores e desenvolvedores utilizem modelos MDE "zero-shot" (sem treinamento específico) para melhorar a reconstrução 3D sem necessidade de hardware especializado.
• Segurança Geométrica: Ao isolar regiões problemáticas, o framework garante que a introdução de prios externos não destrua a geometria aprendida a partir de múltiplas vistas.
• Futuro: O método é "forward-compatible", ou seja, continuará a melhorar automaticamente à medida que os modelos de estimativa de profundidade monocular evoluem, tornando-se uma solução escalável para reconstrução de cenas em cenários complexos e do mundo real.