SceneExpander: Expanding 3D Scenes with Free-Form Inserted Views

Título: SceneExpander: Expansão de Cenas 3D com Vistas Inseridas de Forma Livre

1. O Problema

A construção de mundos virtuais (world building) para criação de conteúdo e simulação é frequentemente um processo iterativo, onde criadores precisam estender cenas existentes sob controle do usuário. O desafio central abordado neste trabalho é a expansão de cenas 3D via inserção de vistas livres.

• Cenário: Dada uma reconstrução 3D inicial baseada em imagens multiview capturadas de uma cena real, o usuário solicita a adição de uma nova vista (gerada por IA/texto) para revelar áreas não observadas ou estender estruturas além dos limites capturados.
• Desafio Principal: As vistas inseridas geradas por modelos generativos (AIGC) são frequentemente geometricamente desalinhadas (3D-misaligned) em relação à reconstrução original. Elas podem conter deslocamentos geométricos, conteúdo alucinado ou inconsistências de perspectiva.
• Falha dos Métodos Atuais:
  • Métodos de reconstrução feed-forward assumem que todas as entradas pertencem a uma cena coerente; a inserção de uma vista desalinhada degrada a reconstrução original ou suprime o novo conteúdo.
  • Métodos de edição 3D estrita exigem consistência perfeita, o que é custoso e difícil de garantir para prompts arbitrários.
  • Forçar a consistência multiview estrita leva a artefatos, geometria instável e "fantasmas" (ghosting) nas áreas de transição.

2. Metodologia: SceneExpander

O SceneExpander propõe um fluxo de trabalho centrado no usuário que integra uma vista gerada (possivelmente desalinhada) em uma reconstrução existente sem exigir que a geração seja geometricamente perfeita. A solução baseia-se em Adaptação no Tempo de Teste (Test-Time Adaptation - TTA) sobre um modelo de reconstrução feed-forward pré-treinado (baseado no WorldMirror).

O núcleo da metodologia utiliza dois sinais de destilação complementares para estabilizar a adaptação:

A. Configuração Teacher-Student:

• Student ($\theta$): O modelo que é adaptado no tempo de teste.
• Anchor Teacher ($\theta_A$): Uma cópia congelada do modelo original, usada para fornecer referências estáveis nas vistas capturadas.
• Generation Teacher ($\theta_G$): Um modelo atualizado via Exponential Moving Average (EMA) do estudante, que fornece rótulos "soft" (suaves) para a vista inserida.

B. Componentes Principais:

1. Destilação de Âncora (Anchor Distillation):

   • Objetivo: Preservar a fidelidade da região original capturada.
   • Mecanismo: O estudante é forçado a manter previsões geométricas (câmera, profundidade, normais) consistentes com as vistas capturadas originais, usando o Anchor Teacher como referência fixa. Isso impede que a nova vista desalinhada corrompa a geometria já conhecida.

2. Destilação Self na Vista Inserida (Inserted-View Self-Distillation):

   • Objetivo: Adaptar a geometria e aparência latente para acomodar a nova vista sem superajustar (overfitting) às suas inconsistências.
   • Mecanismo: Em vez de usar os pixels da imagem gerada como supervisão dura, o modelo usa o Generation Teacher (EMA) para gerar rótulos suaves e iterativamente refinados. A vista inserida atua como uma "restrição fraca", permitindo que o modelo explique o novo conteúdo enquanto retém previsões apoiadas pelas observações originais.

3. Amostragem de Subconjuntos e Augmentation de Perturbação Geométrica:

   • Para aumentar a robustez, o modelo é treinado em mini-lotes que amostram subconjuntos das vistas capturadas e aplicam perturbações geométricas (afins globais e por blocos). Isso simula inconsistências espaciais e força o modelo a reconciliar a nova vista com diferentes contextos, evitando o overfitting a uma configuração específica.

4. Restauração Estocástica (Stochastic Restoration):

   • A cada $K$ passos, uma fração aleatória dos parâmetros do estudante é restaurada para os pesos iniciais (pré-inserção). Isso atua como um mecanismo de segurança contra o acúmulo de erros e o desvio (drift) durante a adaptação contínua.

Função de Objetivo:
O modelo é otimizado minimizando uma combinação ponderada:
$$\mathcal{L} = \lambda_A \mathcal{L}_{\text{anchor}} + \lambda_G \mathcal{L}_{\text{gen}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}}$$
Onde $\lambda_A$ é alto para preservar a cena original e $\lambda_G$ é baixo para tratar a nova vista como uma sugestão flexível.

3. Contribuições Chave

1. Definição de uma Nova Tarefa: Formalização da expansão de cenas 3D em um fluxo de trabalho centrado no usuário, conectando geração de vistas por texto, integração de vistas inseridas e construção de mundos 3D editáveis.
2. Framework SceneExpander: Proposição de um método de ajuste no tempo de teste que utiliza destilação de âncora e auto-destilação para integrar robustamente vistas 3D-desalinhadas, preservando a fidelidade da cena original.
3. Validação Empírica: Demonstração de eficácia em cenas do conjunto de dados ETH e dados online, mostrando melhor equilíbrio entre preservação da cena original e qualidade da expansão em comparação com métodos state-of-the-art.

4. Resultados Experimentais

Os experimentos compararam o SceneExpander com métodos como WorldMirror, OmniVGGT, TTT3R e 3DGS (otimização clássica).

• Métricas de Preservação (Região Capturada):
  • O SceneExpander obteve os melhores resultados em PSNR (21.21), SSIM (0.776) e LPIPS (0.276), superando significativamente o WorldMirror (19.30 PSNR) e outros métodos que sofreram degradação severa ao tentar ajustar a vista desalinhada.
• Métricas de Qualidade de Expansão:
  • Avaliado por modelos de linguagem visual (GPT) e avaliação humana, o método alcançou as maiores pontuações em satisfação da inserção (GPT-IS: 3.72, H-IS: 4.56) e qualidade de renderização (GPT-RQ: 3.05, H-RQ: 4.53).
• Análise Qualitativa:
  • Enquanto métodos baseados em otimização pura (3DGS) geravam ruído e distorções, e modelos feed-forward falhavam em reconstruir a nova região ou geravam "fantasmas", o SceneExpander produziu geometria expandida plausível e aparência consistente, mantendo a região original intacta.
• Estudo de Ablação:
  • Confirmou-se que a destilação de âncora é crucial para a preservação da cena original.
  • A inserção probabilística ($p=0.5$) da vista gerada funcionou melhor do que a inserção constante ($p=1.0$), evitando o overfitting às inconsistências da imagem gerada.

5. Significado e Conclusão

O SceneExpander representa um avanço significativo na construção iterativa de mundos virtuais. Ao mudar o foco da "geração perfeita e consistente" para a "integração robusta de evidências conflitantes", o trabalho permite que criadores estendam cenas 3D reais de forma controlada e interativa, mesmo quando as ferramentas de geração de imagens não conseguem garantir consistência geométrica perfeita.

A abordagem demonstra que é possível expandir reconstruções 3D complexas sem a necessidade de supervisão 3D massiva ou geração de vistas perfeitamente alinhadas, abrindo caminho para fluxos de trabalho mais flexíveis em simulação, jogos e realidade virtual. O principal limite identificado é que, em casos de inconsistências iniciais extremas, o método pode não resolver totalmente todos os conflitos geométricos, mas mitiga-os significativamente melhor que as alternativas atuais.