MemCam: Memory-Augmented Camera Control for Consistent Video Generation

1. O Problema

A geração de vídeos interativos, onde os usuários controlam a trajetória da câmera, tem grande potencial para simulação de cenas e criação de jogos. No entanto, os métodos existentes enfrentam desafios significativos ao gerar vídeos longos sob controle dinâmico de câmera:

• Inconsistência de Cena: Os modelos tendem a "esquecer" o conteúdo gerado anteriormente ao longo de sequências temporais extensas.
• Falha em Retornos de Câmera: Quando a câmera retorna a uma região já visualizada após movimentos complexos (como rotações de 360°), os métodos atuais frequentemente produzem discrepâncias no conteúdo da mesma cena em diferentes pontos no tempo.
• Limitações de Memória: Abordagens atuais dependem apenas de informações de câmera sem memória explícita (ex: CameraCtrl) ou utilizam janelas de contexto fixas e limitadas (ex: DFoT). Métodos baseados em reconstrução 3D (ex: GeometryForcing) sofrem com acúmulo de erros e limitações inerentes dos modelos de reconstrução.

2. Metodologia (MemCam)

O MemCam é uma abordagem de geração de vídeo interativo aumentada por memória que trata quadros previamente gerados como memória externa, utilizando-os como condicionamento contextual para garantir consistência a longo prazo.

Componentes Principais:

• Módulo de Compressão de Contexto:

  • Para evitar ineficiência computacional ao condicionar o modelo em todos os quadros históricos, o MemCam introduz um módulo que comprime quadros selecionados em representações compactas.
  • Utiliza uma Rede Neural Convolucional (CNN) treinada para processar a parte do contexto, substituindo a camada de patchify do modelo base.
  • A compressão ocorre nas dimensões espaciais (redução de 2x em altura e largura), mantendo a dimensão temporal intacta, resultando em tokens de contexto com 1/4 do tamanho original.
  • Utiliza Rotary Positional Encoding (RoPE) para suportar comprimentos de entrada variáveis.

• Seleção de Contexto Baseada em Co-Visibilidade:

  • Em vez de usar apenas quadros recentes ou aleatórios, o sistema seleciona dinamicamente os quadros históricos mais relevantes para cada quadro de previsão.
  • Calcula uma pontuação de co-visibilidade (sobreposição de campo de visão - FOV) entre a câmera atual e as câmeras históricas.
  • A co-visibilidade é estimada via amostragem de Monte Carlo de pontos 3D, definindo a interseção sobre a união (IoU) dos conjuntos de pontos visíveis.
  • Apenas os quadros históricos com maior sobreposição são recuperados e concatenados como entrada contextual.

• Controle de Câmera:

  • Adiciona um codificador de câmera (MLP de uma camada) a cada bloco Diffusion Transformer (DiT).
  • A informação da câmera (matriz de rotação e vetor de translação) é mapeada para a dimensão de canal das características principais e adicionada elementarmente às características de entrada.

• Treinamento e Inferência:

  • Treinamento: Um quadro fixo inicial é concatenado diretamente. Para cada quadro de previsão, um quadro de contexto é selecionado com base na co-visibilidade e processado pelo compressor.
  • Inferência: Adota uma abordagem de geração por segmentos. Para cada quadro previsto, o quadro histórico com a maior pontuação de co-visibilidade é recuperado. A memória é atualizada após cada segmento gerado.

3. Contribuições Chave

1. Framework MemCam: Uma nova arquitetura que utiliza quadros históricos e informações posicionais como pistas contextuais para geração de vídeo interativo consistente.
2. Módulo de Compressão de Contexto: Uma estratégia inovadora que filtra e comprime informações de quadros históricos através de seleção baseada em co-visibilidade, fornecendo suporte contextual rico para previsões de longo prazo sem sobrecarga computacional excessiva.
3. Desempenho Superior: Evidência experimental de que o método supera abordagens de base e métodos state-of-the-art de código aberto, especialmente em cenários de vídeos longos com grandes rotações de câmera.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados Context-as-Memory e no RealEstate10K (para generalização zero-shot), comparando com métodos como I2V (apenas primeiro quadro), DFoT (janela fixa) e GeometryForcing (3D).

• Métricas Quantitativas:

  • O MemCam obteve os melhores resultados em FVD (Fréchet Video Distance) em todos os cenários, indicando superior consistência temporal e qualidade visual.
  • No cenário de 360° Round-trip (rotação completa e retorno), o MemCam alcançou um PSNR de 14.81 e FVD de 167.87 no Context-as-Memory, superando significativamente o DFoT (FVD 1188.34) e o GeometryForcing (FVD 852.05).
  • O método demonstrou robustez onde outros falharam: o DFoT perdeu conteúdo inicial em sequências longas, e o GeometryForcing sofreu com acúmulo de erros de reconstrução.

• Resultados Qualitativos:

  • O MemCam preservou a estrutura da cena fielmente mesmo após grandes rotações de câmera, reconstruindo a aparência original da cena quando a câmera retornou ao ponto de partida.
  • Métodos concorrentes exibiram "drift" (desvio) visual e alucinação de conteúdo (texturas inconsistentes ou layouts alterados).

• Estudos de Ablação:

  • A estratégia de seleção baseada em co-visibilidade superou estratégias de "Recentes", "Aleatórios" e "TopK", especialmente em rotações de 360°.
  • O módulo de compressão permitiu usar contextos mais longos (76 quadros) com custo computacional similar a contextos curtos sem compressão, melhorando a qualidade sem penalidade de tempo.

5. Significado e Conclusão

O MemCam representa um avanço significativo na geração de vídeos interativos ao resolver o problema fundamental da consistência de cena em longas sequências temporais. Ao tratar quadros passados como memória externa e empregar uma seleção inteligente baseada na sobreposição geométrica (co-visibilidade), o modelo consegue "lembrar" e reconstruir cenas complexas sob grandes mudanças de perspectiva.

A principal contribuição é demonstrar que é possível alcançar consistência de longo prazo e alta qualidade sem depender de módulos pesados de reconstrução 3D ou janelas de contexto limitadas. Embora a velocidade de inferência ainda seja um desafio devido à atenção bidirecional, o trabalho abre caminho para futuras otimizações via destilação de difusão e treinamento em escalas maiores, sendo crucial para aplicações em simulação de mundos virtuais e geração de conteúdo para jogos.