ReSplat: Learning Recurrent Gaussian Splatting

Resumo Técnico: ReSplat

1. O Problema

A síntese de vistas a partir de poucas imagens (sparse view synthesis) é um desafio significativo na visão computacional. Embora os métodos baseados em otimização, como o 3D Gaussian Splatting (3DGS), produzam resultados de alta qualidade, eles são computacionalmente caros, exigindo milhares de iterações de otimização por cena, o que impede sua aplicação em tempo real ou em larga escala.

Por outro lado, os modelos de Gaussian Splatting Feed-Forward (que preveem diretamente os parâmetros 3D a partir das imagens) oferecem eficiência computacional, mas enfrentam duas limitações principais:

1. Escalabilidade: A maioria dos modelos existentes prevê um ou múltiplos Gaussianos por pixel, gerando milhões de primitivas 3D para cenas complexas ou de alta resolução, o que sobrecarrega a memória e o tempo de renderização.
2. Generalização: Eles dependem de uma única passagem (single-step) da rede neural, o que limita a qualidade em cenas complexas ou fora da distribuição de treinamento (out-of-distribution), pois não conseguem corrigir erros iterativamente.

2. Metodologia

O ReSplat propõe uma abordagem de Gaussian Splatting Recorrente Feed-Forward que combina a eficiência da inferência direta com a adaptabilidade da otimização iterativa, sem calcular gradientes explícitos.

A arquitetura opera em duas etapas principais:

• A. Reconstrução Inicial em Espaço Subamostrado (Compactação):

  • Diferente dos modelos que geram Gaussianos por pixel, o ReSplat prevê Gaussianos em um espaço 3D subamostrado 16x.
  • O modelo inicial (baseado na arquitetura DepthSplat) gera mapas de profundidade com 1/4 da resolução e os transforma em uma nuvem de pontos.
  • Isso resulta em 16x menos Gaussianos do que os métodos per-pixel, reduzindo drasticamente o custo computacional para as etapas subsequentes.
  • Para compensar a perda de informação devido à subamostragem, o modelo utiliza blocos de atenção kNN (vizinhos mais próximos) e atenção global para agregar contexto 3D local e global antes de decodificar os parâmetros dos Gaussianos.

• B. Atualização Recorrente Guiada por Erro de Renderização:

  • O núcleo da inovação é um network recorrente com pesos compartilhados que refina iterativamente os Gaussianos iniciais.
  • Mecanismo de Feedback: Em cada iteração $t$, o modelo renderiza as vistas de entrada usando os Gaussianos atuais. O erro de renderização (diferença entre a imagem renderizada e a imagem real de entrada) é calculado.
  • Propagação do Erro: Este erro não é usado para retropropagação de gradientes (backpropagation), mas sim como um sinal de feedback para a rede. O erro é propagado para os Gaussianos 3D através de uma camada de atenção global, permitindo que cada Gaussiano receba informações de todos os erros de renderização, não apenas locais.
  • A rede prevê atualizações incrementais ($\Delta$) para os parâmetros do Gaussiano (posição, opacidade, covariância, harmônicos esféricos) e seu estado oculto, refinando a reconstrução passo a passo.

3. Principais Contribuições

1. Arquitetura Recorrente Feed-Forward: Introduz o primeiro modelo que aplica iterações recorrentes para refinar Gaussianos 3D sem otimização por gradiente, simulando um processo de "aprendizado para otimizar" (Learning to Optimize).
2. Eficiência Extrema (16x Menos Gaussianos): Ao operar em um espaço subamostrado, o método reduz o número de Gaussianos em 16x em comparação com modelos per-pixel, mantendo a qualidade e permitindo atualizações recorrentes rápidas.
3. Sinal de Feedback Adaptativo: O uso do erro de renderização como sinal de feedback permite que o modelo se adapte a dados não vistos (diferentes datasets, contagens de vistas e resoluções) durante o tempo de inferência, superando a limitação de generalização dos modelos de passo único.
4. Velocidade de Inferência: O modelo é 100x mais rápido que a otimização baseada em 3DGS tradicional, mantendo a capacidade de melhoria iterativa.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados DL3DV, RealEstate10K e ACID, com várias configurações de vistas (2, 8, 16, 32) e resoluções.

• Desempenho em DL3DV (8 vistas, 512x960):
  • O ReSplat superou o 3DGS otimizado em 4.2 dB de PSNR, usando apenas 1/16 dos Gaussianos e sendo 100x mais rápido na reconstrução.
  • Superou modelos feed-forward existentes (MVSplat, DepthSplat) em 3.5 dB de PSNR, com uma velocidade de renderização 4x mais rápida.
• Generalização:
  • O modelo treinado apenas em DL3DV generalizou robustamente para o RealEstate10K e ACID (datasets não vistos), superando métodos de passo único.
  • Demonstrou robustez a diferentes resoluções de teste e contagens de vistas, onde modelos anteriores falhavam.
• Eficiência de Parâmetros:
  • Um modelo recorrente pequeno (ReSplat-Small, 77M parâmetros) superou consistentemente modelos de passo único muito maiores (como o WorldMirror com 1.2B parâmetros), provando que a correção iterativa de erros é mais eficiente do que simplesmente aumentar o tamanho do modelo.
• Velocidade:
  • A convergência ocorre em apenas 4 iterações. A cada iteração, o modelo é significativamente mais rápido que a otimização baseada em gradiente, pois elimina a necessidade de cálculo de gradientes.

5. Significado e Impacto

O ReSplat representa um avanço fundamental na síntese de vistas 3D ao fechar a lacuna entre a eficiência dos métodos feed-forward e a qualidade/adaptabilidade dos métodos de otimização iterativa.

• Viabilidade em Tempo Real: Ao reduzir drasticamente o número de Gaussianos e eliminar a otimização por gradiente, o método torna a síntese de vistas de alta qualidade viável para aplicações em tempo real, realidade aumentada (AR) e streaming.
• Paradigma de "Aprendizado para Otimizar": Demonstra que o erro de renderização pode ser usado como um sinal de controle eficaz para redes neurais recorrentes, permitindo que modelos compactos superem modelos massivos e métodos de otimização clássicos.
• Generalização Robusta: A capacidade de adaptar-se a novas distribuições de dados sem re-treinamento é crucial para aplicações do mundo real, onde as condições de captura variam constantemente.

Em resumo, o ReSplat redefine o estado da arte (SOTA) em síntese de vistas esparsas, oferecendo um equilíbrio superior entre qualidade visual, velocidade de inferência e eficiência de memória.