Resumo Técnico: SSA-3DGS

Definição do Problema

Métodos de Síntese de Novas Visões (NVS), particularmente o 3D Gaussian Splatting (3DGS), baseiam-se na premissa de que as imagens de entrada são limpas e consistentes entre múltiplas vistas. No entanto, capturas do mundo real frequentemente contêm artefatos no espaço da tela (screen-space artifacts): oclusões estáticas fixadas ao plano da imagem 2D, em vez de estarem fixadas à geometria 3D do mundo. Exemplos comuns incluem defeitos físicos de sensores, obstruções ambientais (chuva, lama na cobertura da lente), obstruções de captura (dedos, painéis de instrumentos) e sobreposições digitais (marcas d'água, elementos de interface de usuário).

Como esses artefatos são estáticos em relação ao sensor da câmera, eles "movem-se" em relação à geometria do mundo conforme a câmera percorre a cena. Algoritmos padrão de reconstrução 3D, que assumem consistência multi-vista, falham em rejeitar esses artefatos. Em vez disso, eles os incorporam erroneamente na geometria 3D como "floaters" (Gaussianas 3D próximas à câmera) ou efeitos dependentes da visão, degradando severamente a fidelidade das renderizações de novas visões. Métodos de robustez existentes (ex: NeRF-W, RobustNeRF, DeSplat) visam primariamente transientes no espaço do mundo ou objetos em movimento e têm dificuldade em distinguir ruído estático do espaço da tela da geometria da cena. Além disso, técnicas de restauração de imagem única carecem de conhecimento estrutural 3D, o que leva a cintilações temporais (flickering) e inconsistências geométricas quando aplicadas como um passo de pré-processamento.

Metodologia: SSA-3DGS

Os autores propõem o SSA-3DGS, um framework não supervisionado que otimiza conjuntamente uma representação de cena 3D e uma sobreposição 2D aprendível para desvincular artefatos do espaço da tela da geometria subjacente.

Formulação Central

O método estende o pipeline padrão do 3DGS introduzindo uma sobreposição 2D aprendível compartilhada entre todas as vistas de treinamento. A cor final do pixel prevista $\hat{C}(u)$ é modelada como uma mistura alfa entre a renderização da cena 3D limpa $\hat{C}_{3D}(u)$ e a sobreposição de artefato:
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
Onde:

• $W \in \mathbb{R}^{H \times W \times 3}$ é o Mapa de Cor do Artefato aprendível.
• $A \in \mathbb{R}^{H \times W \times 1}$ é o Mapa de Alpha do Artefato aprendível.
• Tanto $W$ quanto $A$ são definidos em coordenadas de pixel e permanecem constantes para todas as poses de câmera, ao contrário das Gaussianas 3D, que projetam de forma diferente por visão.

Otimização e Regularização

A decomposição é subdeterminada; sem regularização, o modelo poderia degenerar em soluções onde a cena 3D é excessivamente clareada ou escurecida por uma sobreposição uniforme, ou onde detalhes válidos da cena são absorvidos pela sobreposição. Para evitar isso, os autores introduzem uma função de perda composta:
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. Perda Fotométrica ($\mathcal{L}_{rgb}$): Perdas L1 e SSIM padrão entre a previsão composta e a verdade fundamental (ground truth).
2. Regularização de Esparsidade ($\mathcal{L}_{sparse}$): Incentiva o mapa de alpha $A$ a ser zero sempre que possível. Isso enviesa a otimização para explicar os pixels via geometria 3D primeiro, usando a sobreposição apenas quando necessário. Também evita a solução degenerada de "colapso de exposição".
3. Perda de Variação Total ($\mathcal{L}_{TV}$): Incentiva a sobreposição a consistir em regiões suavemente segmentadas. Isso suprime a absorção de ruído de alta frequência e impõe coerência espacial, refletindo a natureza de muitos artefatos reais (ex: marcas d'água, respingos de lama).

Inicialização

Em vez de inicializar a sobreposição com constantes, o método semeia $W$ e $A$ usando estatísticas por pixel do conjunto de treinamento. Pixels com intensidade estável entre as visões (provavelmente artefatos) começam quase opacos, enquanto pixels com alta variação multi-vista (provavelmente conteúdo da cena) começam quase transparentes.

Principais Contribuições

1. Desvinculação Não Supervisionada: Um método para recuperar uma cena 3DGS limpa e segmentar o artefato do espaço da tela simultaneamente a partir de gravações corrompidas de múltiplas visões, sem máscaras de verdade fundamental ou supervisão manual.
2. Esquema de Regularização: Uma combinação inovadora de restrições de esparsidade e variação total que direciona a otimização para explicações geométricas 3D, garantindo que a camada de artefato capture apenas o ruído real do espaço da tela.
3. Dataset do Mundo Real: A introdução de um dataset de mundo real capturado pelos próprios autores, contendo artefatos genuínos induzidos fisicamente (lama na cobertura de uma lente, oclusões de suportes/rigs) para testar o método além de composições sintéticas.

Resultados

Os autores avaliaram o SSA-3DGS no dataset Mip-NeRF 360 (com artefatos sintéticos) e em seu dataset de mundo real capturado.

• Desempenho Quantitativo: No benchmark sintético, o SSA-3DGS melhorou a fidelidade da reconstrução em até 9 dB de PSNR em relação ao 3DGS vanilla treinado nos mesmos inputs corrompidos. Ele superou consistentemente o 3DGS base e o método robusto a distratores, o DeSplat.
  • Com densificação MCMC, o SSA-3DGS alcançou um PSNR médio de 28,43 dB em inputs corrompidos, aproximando-se do desempenho do 3DGS treinado com dados limpos (29,57 dB).
  • No cenário real de "Lama" (Mud), o método melhorou o PSNR em 3,0 dB em relação ao baseline mais forte (DeSplat).
• Desempenho Qualitativo: Os resultados visuais demonstram que o SSA-3DGS remove com sucesso artefatos (marcas d'água, painéis, lama, elementos de UI) e recupera a geometria limpa, enquanto os baselines frequentemente incorporam os artefatos na cena como "floaters" semitransparentes. O método também reconstrói com sucesso o próprio artefato como uma sobreposição separada.
• Ablação: O estudo confirma que tanto a regularização de esparsidade quanto a de variação total são necessárias. A remoção delas resultou em uma queda de ~1,0 dB no PSNR e degradou os scores de FLIP, com o modelo falhando em separar adequadamente o artefato da cena.

Significância e Alegações

O artigo afirma que o SSA-3DGS oferece um caminho viável para reconstruções 3D confiáveis a partir de capturas "in-the-wild" não controladas, ao modelar explicitamente imperfeições de captura. Diferente de um denoising 2D genérico aplicado como pré-processamento, que quebra a consistência multi-vista, o SSA-3DGS preserva a coerência geométrica ao integrar a lógica de separação diretamente no loop de otimização 3D.

Os autores observam que o método depende de consenso multi-vista; portanto, capturas suficientemente densas são necessárias. Eles reconhecem uma limitação em relação a artefatos que são apenas aproximadamente estáticos (ex: oclusores com reflexos dependentes da visão), que são apenas parcialmente capturados pelo modelo de sobreposição estática, embora o método degrade graciosamente e supere os baselines nesses cenários. O trabalho sugere que modelar explicitamente obstruções do plano do sensor é um passo crítico para uma NVS robusta em aplicações do mundo real.