Resumo Técnico: MoCam - Síntese Unificada de Novas Vistas via Dinâmicas de Remoção de Ruído Estruturada

1. Declaração do Problema

A síntese generativa de novas vistas enfrenta um dilema fundamental na conciliação de priores geométricos com priores de aparência.

• Piores Geométricos: Métodos que dependem de geometria reconstruída (por exemplo, mapas de profundidade, nuvens de pontos) fornecem alinhamento espacial essencial para trajetórias de câmera alvo. No entanto, sob mudanças de vista significativas ou entrada monoculares, esses priores tornam-se inevitavelmente esparsos, incompletos e errôneos devido à oclusão reversa e imprecisão de profundidade.
• Piores de Aparência: Imagens ou vídeos de origem oferecem detalhes visuais de alta fidelidade, mas carecem de correspondência geométrica com novos pontos de vista.
• O Conflito: Abordagens existentes ou propagam erros geométricos por todo o processo de geração (ao depender exclusivamente de andaimes) ou tentam fundir geometria e aparência de forma estática. A fusão estática leva a conflitos de sinal, onde fortes pistas de aparência causam deriva geométrica no início da geração, ou geometria defeituosa "cozinha" permanentemente erros estruturais na saída no final da geração. Isso resulta em colapso geométrico, artefatos visuais e instabilidade, particularmente em tarefas de re-câmera 4D (cenas dinâmicas) e reconstrução 3D de imagem única.

2. Metodologia: MoCam

O MoCam introduz um framework que unifica a síntese de vistas estáticas e dinâmicas empregando dinâmicas de remoção de ruído estruturada dentro de um processo de difusão. A ideia central é que os modelos de difusão têm necessidades representacionais distintas em diferentes fases de remoção de ruído: os estágios iniciais requerem ancoragem estrutural grosseira, enquanto os estágios posteriores demandam refinamento de alta frequência.

2.1 Visão Geral do Pipeline

O método opera em três etapas principais:

1. Geração de Andaime: Uma nuvem de pontos dinâmica é construída a partir do vídeo de entrada monoculares (ou uma única imagem replicada para $N$ quadros) usando um estimador de profundidade e projeção de perspectiva inversa. Essa nuvem de pontos é renderizada ao longo da trajetória da câmera alvo para criar um "vídeo de andaime" grosseiro ($x_{ren}^{tgt}$). Este andaime está alinhado espacialmente com o movimento alvo, mas contém artefatos significativos (buracos, distorções).
2. Arquitetura de Dupla Condição: O modelo utiliza dois sinais de condição distintos:
   • Condição de Andaime ($c_{ren}$): Derivada do vídeo de andaime renderizado, fornecendo priores fortes de movimento e estrutura.
   • Condição de Aparência de Referência ($c_{src}$): Derivada do vídeo de origem original, fornecendo textura de alta fidelidade e dinâmicas de objetos.
3. Geração por Etapas: Em vez de fundir esses sinais de forma estática, o MoCam os desacopla temporalmente com base no passo de tempo de remoção de ruído $t$.

2.2 Dinâmicas de Remoção de Ruído Estruturada

O processo de geração é governado por um contexto dependente do tempo $c(t)$, definido por uma troca em um limiar pré-definido $T_{switch}$ (definido empiricamente como 0,85):

$$c(t) = \begin{cases} c_{ren} & \text{se } t > T_{switch} \quad (\text{Estágio Inicial}) \\ c_{src} & \text{se } t \le T_{switch} \quad (\text{Estágio Posterior}) \end{cases}$$

• Estágio Inicial ($t > T_{switch}$): O modelo condiciona-se exclusivamente ao andaime ($c_{ren}$). Como a variável latente é predominantemente ruído, a tarefa principal é estabelecer estrutura global e coerência de movimento. O modelo é forçado a aderir à trajetória da câmera alvo, tolerando deliberadamente a incompletude geométrica do andaime para ancorar o layout da cena.
• Estágio Posterior ($t \le T_{switch}$): O modelo muda para condicionar-se exclusivamente à aparência de origem ($c_{src}$). Até este estágio, uma estrutura de baixa frequência coerente já foi estabelecida. O modelo usa o vídeo de referência de alta fidelidade para sintetizar detalhes, refinar texturas e corrigir ativamente os erros geométricos e preencher regiões ocluídas herdadas do andaime. Isso impede que as falhas do andaime sejam permanentemente cozidas na saída final.

O framework é construído sobre modelos generativos de vídeo latente pré-treinados (por exemplo, Wan2.2), operando em um espaço latente comprimido via um Autoencoder Variacional (VAE).

3. Contribuições Chave

1. Identificação do Conflito de Sinal: O artigo identifica a tensão fundamental entre priores geométricos e de aparência na síntese generativa de vistas, argumentando que a fusão estática leva a interferência de sinal e propagação de erros.
2. Dinâmicas de Remoção de Ruído Estruturada: Os autores propõem uma solução principiante que desacopla temporalmente esses sinais. Ao alinhar o andaime com a ancoragem estrutural inicial e a aparência com o refinamento de estágio posterior, o método alcança um desentrelaçamento robusto de geometria-aparência.
3. Framework Unificado: O MoCam apresenta um único framework aplicável tanto à reconstrução 3D de imagem única quanto à re-câmera 4D de vídeo. Demonstra que a condição por etapas generaliza-se através de modalidades de entrada, abordando o desafio de sintetizar vistas sob geometria não confiável sem exigir otimização por cena.

4. Resultados Experimentais

O método foi avaliado no conjunto de dados OpenVid-1M (vídeos monoculares "in-the-wild") e no conjunto de dados multi-visão do iPhone.

• Desempenho Quantitativo: O MoCam supera significativamente os métodos mais avançados (GEN3C, TrajCrafter, ReCam) em múltiplas métricas:
  • Qualidade Perceptiva: Alcança pontuações superiores nas métricas VBench (Consistência de Fundo, Consistência de Sujeito, Qualidade de Imagem) e menores pontuações FVD-V (por exemplo, 255,16 vs. 289,37 para o GEN3C em reconstrução 3D).
  • Precisão de Pose: Mantém os menores erros de rotação e translação, demonstrando controle preciso da câmera.
  • Métricas Pixel a Pixel: No conjunto de dados do iPhone, o MoCam alcança o maior PSNR, SSIM e os menores LPIPS e FVD, indicando alta fidelidade em relação ao ground truth.
• Robustez à Degradação Geométrica: Experimentos variando a magnitude do movimento da câmera (órbitas de 30° a 90°) mostram que o MoCam mantém desempenho consistente à medida que a esparsidade geométrica aumenta. Concorrentes sofrem com deriva catastrófica ou colapso estrutural sob grandes mudanças de vista, enquanto a abordagem por etapas do MoCam previne a deriva e corrige erros esparsos.
• Estudos de Ablação:
  • Apenas Andaime: Resulta em métricas colapsadas, confirmando que a condição geométrica persistente cozinha erros.
  • Andaime-Inicial: Evita os piores artefatos, mas produz detalhes borrados em regiões ocluídas sem o sinal de aparência de estágio posterior.
  • Ambos-Estáticos: Sofre de instabilidade geométrica catastrófica (altos erros de rotação/translação) devido à interferência de sinal, validando a necessidade de desacoplamento temporal.
  • Generalização: O método desempenha consistentemente em diferentes arquiteturas de base (Wan2.1 e Wan2.2).

5. Significado e Alegações

O artigo afirma que o MoCam aborda o desafio subjacente de sintetizar vistas sob geometria não confiável transformando o processo de remoção de ruído em uma progressão estruturada de alinhamento para realismo.

• Robustez: O método alcança um desentrelaçamento robusto de geometria-aparência, gerando resultados coerentes e fotorrealistas mesmo quando as nuvens de pontos contêm buracos graves ou distorções.
• Correção de Erros: Diferentemente de métodos anteriores que propagam erros, a condição de aparência de estágio posterior do MoCam corrige ativamente imprecisões geométricas.
• Abordagem Unificada: Destaca que o mesmo princípio de geração se aplica tanto à síntese de vistas estáticas quanto dinâmicas, oferecendo uma solução unificada para reconstrução 3D e re-câmera 4D sem a necessidade de dados densos multi-visão ou otimização por cena.

Os autores concluem que seu design por etapas estabelece novos padrões para síntese de vistas controlável, mitigando efetivamente as limitações de reconstruções monoculares imperfeitas.