Resumo Técnico: Guiando o 3D Gaussian Splatting de Visão Esparsa com Informação de Fisher

Declaração do Problema

O 3D Gaussian Splatting (3DGS) estabeleceu-se como uma técnica líder para síntese de novas visões (NVS), oferecendo velocidades de renderização em tempo real e alta fidelidade em comparação com os Neural Radiance Fields (NeRF). No entanto, o 3DGS depende fortemente de visões de entrada densas para alcançar resultados satisfatórios. Em cenários de visão esparsa (por exemplo, 3 a 9 imagens de entrada), o modelo sofre de um overfitting severo devido à informação geométrica e de aparência insuficiente. Isso leva a artefatos perceptíveis, degradação da qualidade de renderização e baixa generalização para visões não vistas.

As abordagens existentes para mitigar este problema geralmente se dividem em duas categorias:

1. Aumento Baseado em Priors: Uso de modelos pré-treinados (ex: estimadores de profundidade) para gerar verdades fundamentais pseudo (pseudo ground truths). No entanto, esses métodos frequentemente dependem da amostragem aleatória de viewpoints ou do warping de visões de treinamento únicas, o que falha em explorar totalmente os priors geométricos estéreo e introduz áreas "ocas" nos dados aumentados.
2. Técnicas de Regularização: Métodos como o Dropout são usados para prevenir o overfitting. Contudo, o Dropout tradicional aplica uma probabilidade de remoção uniforme a todos os Gaussians. Essa falta de seletividade pode remover inadvertidamente Gaussians subotimizados (ex: aqueles que representam regiões ocluídas) enquanto preserva os sobreotimizados, levando à instabilidade e a artefatos visuais como a sobrecompensação.

Ambas as abordagens sofrem de uma aleatoriedade composta, introduzindo incerteza e instabilidade que limitam a fidelidade da síntese final.

Metodologia

Os autores propõem um novo framework que utiliza a Informação de Fisher para guiar quantitativamente tanto o aumento de dados quanto a regularização, passando de heurísticas aleatórias para uma seleção fundamentada. O método consiste em dois componentes principais:

1. Aumento Estéreo com Informação de Fisher (SAFI)

Para abordar os problemas de "Aumento Oco e Aleatório", o SAFI seleciona ativamente as visões de treinamento mais informativas para curar verdades fundamentais pseudo de alta qualidade.

• Amostragem de Viewpoint: Um novo viewpoint é amostrado perturbando a pose da câmera de treinamento existente (ruído aleatório na posição e orientação).
• Seleção de Visão Informativa: Em vez de selecionar visões de suporte aleatoriamente ou usar distância euclidiana simples, o método emprega o Ganho de Informação (IG) derivado da Informação de Fisher. Ele calcula a redução na incerteza do modelo quando uma visão candidata é adicionada.
  • O IG é aproximado usando o traço da matriz Hessiana (derivada da Informação de Fisher) para identificar visões que maximizam a similaridade visual e as restrições geométricas em relação ao viewpoint novel.
  • Um conjunto de visões de suporte é selecionado com base em um limiar relativo ao IG mínimo, garantindo consistência geométrica multi-visão.
• Curadoria de Pseudo Verdade Fundamental: Usando um modelo de profundidade pré-treinado (Depth-Anything-3), as visões selecionadas são desprojetadas em uma nuvem de pontos 3D e rasterizadas a partir do viewpoint novel para criar uma imagem de verdade fundamental pseudo de alta qualidade. Este conjunto de dados é então integrado ao conjunto de treinamento.

2. Regularização Consciente da Incerteza (UAR)

Para abordar a "Regularização sem Seletividade", o UAR ajusta adaptativamente a probabilidade de dropout para cada 3D Gaussian com base em seu status de otimização.

• Quantificação de Incerteza: O método calcula um score de incerteza ($U_i$) para cada Gaussian $G_i$ usando a matriz de Informação de Fisher. Um score mais alto indica que o Gaussian está subotimizado (perturbá-lo tem pouco impacto na renderização), enquanto um score mais baixo indica que está sobreotimizado.
• Dropout Seletivo Baseado em Ranking: Os Gaussians são ordenados por incerteza. O método prioriza a remoção de Gaussians sobreotimizados (baixa incerteza) enquanto preserva os subotimizados (alta incerteza). Isso garante que regiões ocluídas ou subtreinadas recebam otimização suficiente.
• Dropout de Escala Suave (Soft-scale): Diferente do Dropout tradicional, que zera completamente a opacidade dos Gaussians selecionados (causando a penetração de raios em regiões ocluídas e forçando a sobrecompensação), o UAR emprega uma estratégia de escala suave. Os Gaussians selecionados têm sua opacidade reduzida por um fator de decaimento $\lambda \in (0, 1)$ em vez de serem removidos inteiramente. Isso mantém uma presença suave na rasterização, protegendo os Gaussians ocluídos de atualizações errôneas.

Principais Contribuições

1. Estratégia SAFI: Uma nova estratégia de aumento que utiliza a Informação de Fisher para selecionar as visões mais informativas para curar verdades fundamentais pseudo, maximizando assim a utilidade dos priors geométricos e reduzindo a aleatoriedade no aumento de dados.
2. Estratégia UAR: Um mecanismo de regularização consciente da incerteza que mede quantitativamente o status de otimização de cada 3D Gaussian e ajusta adaptativamente as probabilidades de dropout, levando a uma otimização mais estável e maior fidelidade de renderização.
3. Dropout de Escala Suave: A integração de um mecanismo de dropout de escala suave para evitar artefatos de sobrecompensação associados a estratégias de remoção rígida em configurações de visão esparsa.

Resultados Experimentais

O método foi avaliado em três benchmarks padrão: LLFF, Mip-NeRF 360 e DTU, sob configurações de visão esparsa (3, 6 e 9 visões para LLFF/DTU; 12 e 24 visões para Mip-NeRF 360).

• Desempenho Quantitativo: O método proposto alcança desempenho de estado da arte (SOTA) em quase todas as métricas (PSNR, SSIM, LPIPS).
  • No LLFF (3-visões), supera o melhor método anterior (DropGaussian) em 0.36 dB em PSer.
  • No DTU (3-visões), atinge 22.44 dB de PSNR, superando significativamente os baselines como 3DGS (10.99 dB) e DropGaussian (21.44 dB).
  • No Mip-NeRF 360 (12-visões), melhora o PSNR em 0.35 dB sobre o SOTA anterior.
• Estabilidade: O método reduz significativamente o desvio padrão do PSNR entre múltiplas execuções (ex: de 0.084 para 0.027 em comparações de aumento), demonstrando melhor estabilidade de otimização.
• Resultados Qualitativos: Comparações visuais mostram que o método produz novas visões com menos artefatos (ex: áreas ocas, artefatos flutuantes) e melhor fidelidade estrutural em comparação com baselines como CoR-GS e DropGaussian.

Significância e Alegações

O artigo afirma estabelecer um novo estado da arte em síntese de nova visão de visão esparsa ao abordar os problemas fundamentais de aleatoriedade e falta de seletividade nas técnicas atuais de aumento e regularização. Ao fundamentar a seleção de verdades fundamentais pseudo e a aplicação de regularização na Informação de Fisher, os autores fornecem uma abordagem fundamentada para:

• Reduzir a incerteza e a instabilidade inerentes à amostragem aleatória e ao dropout uniforme.
• Utilizar totalmente os priors geométricos através de restrições de estéreo multi-visão.
• Diferenciar entre Gaussians sobreotimizados e subotimizados para evitar artefatos visuais como a sobrecompensação.

Os autores concluem que seu método mitiga efetivamente o overfitting no 3DGS de visão esparsa, resultando em uma fidelidade de renderização superior e otimização estável sem exigir dados de entrada adicionais densos.