Resumo Técnico: VidSplat

Declaração do Problema

A reconstrução de geometria 3D a partir de imagens multivista é uma tarefa fundamental na visão computacional, com avanços recentes alcançados por meio de Campos Radiantes Neurais (NeRF) e Splatting Gaussiano 3D (3DGS). No entanto, esses paradigmas dependem fortemente da consistência fotométrica multivista, causando degradação significativa quando apenas algumas vistas de entrada estão disponíveis. Em configurações de poucas vistas, a otimização torna-se mal-posta e subconstrita.

As soluções existentes geralmente se enquadram em duas categorias: métodos generalizáveis que pré-treinam em grandes conjuntos de dados para aprender correspondências entre vistas e métodos específicos de cena que superajustam cenas únicas usando priores monoculares ou estéreo. Embora essas abordagens melhorem o desempenho, permanecem restritas à recuperação apenas das regiões visíveis das vistas de entrada fornecidas. Elas têm dificuldade em inferir geometria em regiões não vistas, ocluídas ou fracamente constritas além do campo de visão de entrada, resultando em superfícies incompletas e fragmentadas. Além disso, abordagens generativas recentes para síntese de novas vistas frequentemente exigem pré-treinamento custoso, falham em recuperar regiões extrapoladas (produzindo vazios) ou geram renderizações visualmente plausíveis, mas geometricamente inconsistentes.

Metodologia: VidSplat

Para abordar essas limitações, os autores propõem o VidSplat, um framework de reconstrução generativa sem treinamento. O VidSplat aproveita priores poderosos de difusão de vídeo para sintetizar iterativamente novas vistas que compensam a cobertura de entrada ausente, permitindo a recuperação de cenas 3D completas a partir de entradas esparsas (mesmo uma única imagem). O framework integra geração e reconstrução por meio de um loop de otimização iterativa envolvendo dois estágios principais: inicialização e treinamento.

1. Framework de Otimização

O processo começa com vistas de entrada esparsas $\{V_{input}\}_0$.

• Inicialização: Uma nuvem de pontos inicial é construída usando DUSt3R. Com base nisso, o sistema amostra trajetórias de câmera baseadas em visibilidade e renderiza imagens RGB e máscaras. Estas são alimentadas em um modelo de difusão de vídeo controlado por câmera (VDM) para sintetizar clipes de vídeo consistentes em 3D. Quadros-chave desses clipes formam um conjunto gerado $\{V_{gen}\}_0$, que é mesclado com a entrada para criar uma nuvem de pontos mais densa para inicializar Gausianas 2D.
• Treinamento Iterativo: Durante o treinamento das Gausianas, o sistema realiza múltiplos ciclos de refinamento. Em cada ciclo $t$, novas trajetórias são amostradas e novas sequências são geradas para formar $\{V_{gen}\}_t$. Estas são mescladas com o conjunto de vistas atual para expandir a cobertura. Diferentemente da fase de inicialização, as vistas geradas não são usadas para reinicialização, mas são retroprojetadas no espaço 3D por meio de profundidades monoculares para criar centros adicionais de Gausianas. A reconstrução é refinada iterativamente, e as superfícies finais são extraídas usando tetraedros marchantes.

2. Amostragem de Pose de Câmera Baseada em Visibilidade

Para explorar efetivamente regiões pouco cobertas, o VidSplat emprega uma estratégia de amostragem inovadora. Em vez de interpolação simples ou caminhos circulares, ele constrói trajetórias onde a câmera orbita pontos de interseção entre raios de câmera e a superfície da cena em uma esfera. As trajetórias são validadas com base na profundidade e na máscara dos quadros-chave para garantir que evitem oclusões próximas ao plano (por exemplo, paredes bloqueando a visão) e cubram uma quantidade adequada de regiões não vistas. Para mitigar a acumulação de alucinações, a trajetória é estendida em 25% durante a geração, e os quadros finais são descartados.

3. Geração de Vídeo Guiada por Geometria

A inovação central reside em uma estratégia de desruidamento sem treinamento e por estágios projetada para garantir consistência 3D. A geração de vídeo padrão frequentemente introduz desvio de conteúdo e dinâmicas que violam restrições geométricas. O VidSplat aborda isso por meio de:

• Inversão: Empregando inversão de difusão em imagens RGB e máscaras renderizadas para criar latentes ruidosos que codificam priores de layout induzidos pelo movimento da câmera.
• Mistura Adaptativa: Em cada etapa de desruidamento, o modelo mistura o latente previsto com o latente de referência invertido usando uma máscara espacial $M(t)$.
• Controle em Três Estágios:
  1. Estágio Inicial ($T_0 \to T_1$): A direção de desruidamento em regiões conhecidas é estritamente constrita a seguir as referências renderizadas ($M(t) = M_{ref}$). Isso ancora a estrutura da cena e previne o desvio de conteúdo.
  2. Estágio Intermediário ($T_1 \to T_2$): A restrição é gradualmente relaxada, permitindo que o modelo refine renderizações imperfeitas.
  3. Estágio Final ($T_2 \to 0$): A restrição é totalmente removida para sintetizar detalhes locais realistas e reparar artefatos.

4. Função de Perda

O objetivo de otimização combina perdas para vistas de entrada e vistas geradas. Para vistas de entrada, utiliza perda fotométrica padrão, regularização e um prior de normal. Para vistas geradas, a perda fotométrica é substituída por uma perda Laplaciana para mitigar artefatos de alta frequência, e um mapa de confiança por pixel derivado da fusão de nuvem de pontos é usado para ponderar a supervisão.

Contribuições Principais

1. Framework Generativo: Um framework inovador que incorpora iterativamente a geração de vídeo na reconstrução por Splatting Gaussiano, permitindo refinamento contínuo e a recuperação de cenas 3D completas a partir de entradas esparsas.
2. Desruidamento Guiado por Geometria: Uma estratégia de desruidamento sem treinamento e por estágios que guia adaptativamente o processo de difusão de vídeo em direção à geometria subjacente, garantindo consistência 3D sem exigir ajuste fino do modelo.
3. Desempenho de Ponta: O método alcança resultados superiores tanto em reconstrução de superfície quanto em síntese de novas vistas em benchmarks amplamente adotados do mundo real, superando métodos existentes de poucas vistas e métodos generativos.

Resultados Experimentais

Os autores avaliaram o VidSplat em diversos conjuntos de dados do mundo real, incluindo Tanks and Temples, Replica e DL3DV, cobrindo cenários internos e externos.

• Reconstrução de Superfície: Nos conjuntos de dados Tanks and Temples e Replica, o VidSplat alcançou métricas quantitativas significativamente melhores (Distância de Chamfer, Pontuação F, Consistência de Normal) em comparação com baselines como FSGS, MAtCha e GuidedVD. As visualizações demonstram a capacidade de reconstruir superfícies completas e de alta fidelidade sem buracos, mesmo com apenas 5 vistas de entrada.
• Síntese de Novas Vistas: No conjunto de dados DL3DV, o método alcançou as melhores pontuações de PSNR, SSIM e LPIPS para cenas internas e externas, renderizando com sucesso detalhes de alta qualidade em regiões esparsamente cobertas pelas entradas.
• Geração de Vídeo: Ao comparar com outros métodos de difusão de vídeo controlados por câmera (por exemplo, ViewCrafter, TrajectoryCrafter), o VidSplat demonstrou consistência superior com geometrias de verdade absoluta e maior diversidade generativa.
• Geração de Vista Única: O framework demonstrou com sucesso a capacidade de gerar cenas 3D completas a partir de uma única imagem de entrada, recuperando grandes regiões invisíveis.

Significado

O artigo afirma que o VidSplat representa um avanço significativo na reconstrução 3D de poucas vistas, ao efetivamente preencher a lacuna entre modelos generativos de vídeo e reconstrução geométrica. Ao introduzir uma estratégia de desruidamento guiada por geometria, os autores superam a limitação crítica de métodos generativos anteriores que falham em manter a consistência 3D ou inferir geometria não vista. A capacidade do framework de funcionar sem treinamento (sem treinamento) e sua robustez em diferentes backbones de difusão de vídeo (incluindo SVD e Hunyuan) destacam sua praticidade e escalabilidade. Em última análise, o VidSplat permite a recuperação de cenas 3D completas e de alta fidelidade a partir de dados extremamente limitados, abrindo novas possibilidades para aplicações na criação de conteúdo digital, VR/AR e inteligência incorporada, onde a captura densa multivista é impraticável.