AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model

Resumo Técnico: AnyRecon

1. O Problema

A reconstrução 3D a partir de visões esparsas (poucas imagens capturadas de forma casual e desordenada) é um desafio fundamental na visão computacional.

• Limitações Atuais: Métodos tradicionais (como NeRF e 3D Gaussian Splatting) exigem capturas densas e controladas. Abordagens baseadas em difusão recentes tentam mitigar a escassez de dados sintetizando novas visões, mas frequentemente falham em:
  • Consistência Geométrica: Muitos modelos condicionam-se apenas a uma ou duas imagens de referência (ex: primeira e última), o que limita a coerência global em cenas grandes.
  • Entradas Não Sequenciais: Modelos de difusão de vídeo tradicionais assumem continuidade temporal e usam compressão temporal, o que é inadequado para entradas esparsas com grandes lacunas de ponto de vista.
  • Escalabilidade: É difícil reconstruir cenas complexas e de grande escala em uma única passagem devido a restrições de memória e contexto.

2. Metodologia

O AnyRecon propõe um framework escalável que utiliza um modelo de difusão de vídeo para reconstrução 3D, permitindo entradas arbitrárias, não ordenadas e esparsas, mantendo controle geométrico explícito. O sistema opera em um ciclo iterativo de Geração-Reconstrução.

Componentes Principais:

• Memória Global de Cena (Global Scene Memory):

  • Para suportar um número arbitrário de visões de referência sem buffers fixos, o modelo insere as visões capturadas selecionadas no início de cada sequência como uma memória persistente de Key-Value (KV) dentro do Transformer de difusão.
  • Isso permite que o modelo condicione a geração em qualquer ponto da trajetória, independentemente da ordem de captura.

• Codificação Latente Não Compressiva (Non-Compressive Latent Encoding):

  • Ao contrário de modelos de vídeo que comprimem o tempo (ex: VAEs 3D), o AnyRecon remove a compressão temporal.
  • Utiliza um VAE 2D quadro a quadro para preservar o mapeamento um-a-um entre tokens latentes e coordenadas de pixels. Isso evita o emaranhamento de características entre visões com grandes lacunas de ângulo, mantendo a correspondência espacial precisa.

• Estratégia de Condicionamento Consciente de Geometria:

  • Memória Geométrica 3D Explícita: O sistema mantém uma nuvem de pontos global ($M_{geo}$) que é atualizada incrementalmente. Após gerar um segmento de nova trajetória, as novas imagens são retroprojetadas para atualizar a nuvem de pontos.
  • Seleção de Visão Guiada por Geometria: Em vez de usar similaridade de imagem ou campo de visão (FOV), o sistema renderiza a memória geométrica atual para criar um mapa de visibilidade. Ele seleciona as visões de captura que contribuem geometricamente para o ponto de vista alvo, filtrando visões ocluídas ou irrelevantes.
  • Isso cria um "loop fechado": a geração atualiza a geometria, e a geometria atualizada guia a próxima geração.

• Eficiência Computacional:

  • Atenção Esparsa de Janela de Contexto: Para lidar com a complexidade quadrática ($O(L^2)$) de sequências longas, o modelo restringe a atenção de cada quadro a uma janela temporal local e a um subconjunto selecionado de visões de referência alinhadas geometricamente.
  • Destilação de Difusão em 4 Passos: Utiliza Distribution Matching Distillation (DMD) para distilar um modelo pré-treinado em uma rede estudante capaz de gerar alta qualidade em apenas 4 passos, acelerando a inferência em até 20x.

3. Contribuições Chave

1. Framework de Reconstrução Esparsa Flexível: Um modelo baseado em difusão de vídeo que suporta um número arbitrário e não ordenado de visões de condicionamento, superando a limitação de 1-2 visões de referência.
2. Design de Condicionamento Consciente de Geometria: Acopla geração e reconstrução através de uma Memória Geométrica 3D explícita e seleção de visões baseada em sobreposição espacial e visibilidade, garantindo que a difusão seja guiada por observações espacialmente informativas.
3. Arquitetura de Difusão Eficiente: Elimina a compressão temporal para manter a fidelidade geométrica e adota atenção esparsa combinada com destilação de 4 passos, permitindo escalabilidade para cenas grandes com baixa latência.

4. Resultados

O AnyRecon foi avaliado nos conjuntos de dados DL3DV e Tanks and Temples, comparado a estados da arte como Difix3D+, ViewCrafter e Uni3C.

• Qualidade Visual e Métricas:

  • Superou consistentemente os baselines em métricas PSNR, SSIM e LPIPS tanto para Interpolação (preenchimento de lacunas entre visões distantes) quanto para Extrapolação (geração de conteúdo além do observado).
  • No DL3DV (Interpolação), alcançou 20.95 PSNR (vs. 17.88 do Difix3D+ e 15.86 do ViewCrafter).
  • Preservou detalhes finos e consistência estrutural em grandes lacunas de ponto de vista, onde outros métodos geravam artefatos ou inconsistências de cor.

• Eficiência:

  • Tempo de inferência drasticamente reduzido: 105 segundos por sequência de 40 frames (vs. 1200s do Difix3D+ e 340s do Uni3C).
  • A combinação de destilação e atenção esparsa proporcionou um aceleramento de 20x em relação à implementação densa original.

• Ablação:

  • A remoção da compressão temporal foi crucial para a fidelidade de estruturas finas.
  • A memória global de cena foi essencial para restaurar texturas complexas e evitar artefatos geométricos, superando o uso de apenas mapas renderizados de nuvem de pontos.

5. Significado e Impacto

O AnyRecon representa um avanço significativo na conversão de capturas casuais e esparsas do mundo real em ativos 3D exploráveis.

• Viabilidade Prática: Ao resolver o problema da escalabilidade e da consistência geométrica em grandes cenas, torna a reconstrução 3D viável para aplicações como realidade aumentada, ambientes virtuais imersivos e efeitos visuais, sem a necessidade de equipamentos de captura controlada.
• Paradigma Híbrido: Estabelece um novo padrão ao integrar explicitamente a geometria 3D no processo de geração de vídeo difusivo, criando um ciclo virtuoso onde a geração melhora a reconstrução e vice-versa, superando as limitações de abordagens puramente generativas ou puramente de otimização.