Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting

1. O Problema

O controle preciso de câmera para "reshooting" (regravação) de vídeos dinâmicos é fundamental para a narrativa cinematográfica e para tarefas como robótica. No entanto, o desenvolvimento de modelos robustos para essa tarefa enfrenta um gargalo crítico: a escassez severa de dados emparelhados de múltiplas vistas (vídeos da mesma cena capturados de diferentes ângulos simultaneamente) para cenas não rígidas e dinâmicas.

As abordagens existentes falham em dois cenários principais:

• Dados Sintéticos: Modelos treinados apenas em dados sintéticos sofrem com a lacuna de generalização "sintético para real", produzindo artefatos visuais em interações complexas do mundo real.
• Abordagens Baseadas em Âncora (Anchor-only): Métodos que dependem apenas de reconstruções 3D/4D (como nuvens de pontos distorcidas) propagam erros de reconstrução e artefatos diretamente para a saída final, especialmente quando a qualidade da âncora é baixa.

2. Metodologia

Os autores propõem o Reshoot-Anything, um framework auto-supervisionado altamente escalável que treina modelos utilizando apenas vídeos monoculares da internet, sem necessidade de anotações 3D explícitas.

2.1. Geração de Triplets Pseudo-Multi-Vista

O núcleo da metodologia é a criação de dados de treinamento a partir de um único vídeo de entrada ($V$):

1. Criação de Fonte e Alvo ($V_s$ e $V_t$): O sistema extrai dois clipes distintos do mesmo vídeo original utilizando trajetórias de "passeio aleatório suave" (smooth random-walk) independentes. Isso simula duas câmeras movendo-se dinamicamente pela mesma cena, criando uma relação temporal sincronizada, mas espacialmente desalinhada.
2. Geração da Âncora Sintética ($V_a$): Para servir como condição geométrica, o modelo gera uma âncora sintética fazendo o forward-warping (deformação para frente) do primeiro quadro da fonte ($V_s[0]$) para alinhar com a trajetória do vídeo alvo ($V_t$). Isso é feito usando um campo de fluxo denso de rastreamento 2D (AllTracker).
   • Propósito: Essa deformação intencional cria oclusões, buracos e distorções que simulam os artefatos esperados em inferência (baseada em nuvens de pontos), forçando o modelo a não confiar cegamente na âncora.

2.2. Aprendizado Implícito de Estrutura 4D

O treinamento força o modelo a resolver um "gargalo de informação":

• Como a fonte e o alvo não estão alinhados espacialmente, o modelo não pode simplesmente copiar quadros correspondentes.
• Para preencher regiões ocluídas no alvo (que não aparecem no quadro correspondente da fonte), o modelo é obrigado a buscar texturas em outros quadros temporais do vídeo de origem.
• Isso ensina o modelo a aprender implicitamente estruturas 4D (espaço-tempo), roteando e re-projetando texturas de alta fidelidade através do tempo e de pseudo-pontos de vista.

2.3. Arquitetura e Condicionamento

O modelo adapta um modelo de difusão pré-treinado (baseado em DiT - Diffusion Transformer, especificamente WAN 2.2):

• Fusão Tokenizada: Em vez de usar camadas de cross-attention separadas (que se mostraram ineficazes), os vídeos de Fonte ($V_s$) e Âncora ($V_a$) são codificados em latentes e concatenados temporalmente como tokens dentro do mecanismo de self-attention principal.
• Offset RoPE: Para evitar confusão posicional, aplica-se um "Offset" (deslocamento fixo) nas posições temporais dos tokens da fonte, desacoplando a posição percebida da fonte da trajetória de denoising do alvo.
• Augmentations Técnicas: Para robustez, utilizam-se:
  • Fundo fluorescente (ex: rosa) nas áreas mascaradas da âncora para delimitar bordas claras.
  • Ruído 3D-aware injetado no quadro de referência antes do warping para impedir a cópia de texturas da âncora.
  • Perda de reconstrução auxiliar nos tokens de saída da fonte para garantir a retenção de conteúdo de alta fidelidade.

3. Principais Contribuições

1. Pipeline Auto-Supervisionado Escalável: Uma estratégia que gera triplets de treinamento (Fonte, Âncora, Alvo) a partir de qualquer vídeo monocular, eliminando a dependência de dados multi-vista caros e raros.
2. Arquitetura Eficiente de Condicionamento: Uma adaptação minimalista de modelos de difusão existentes, utilizando concatenação de tokens e Offset RoPE para gerenciar múltiplos fluxos de vídeo sem alterar drasticamente a estrutura base.
3. Aprendizado de Priors 4D Implícitos: Demonstrar que o modelo pode aprender a reconstrução 4D e o roteamento de texturas dinâmicas resolvendo apenas um problema de roteamento 2D complexo, sem anotações 3D explícitas.

4. Resultados

O modelo foi avaliado em um conjunto de dados diversificado de vídeos dinâmicos do mundo real, comparado com o estado da arte (SOTA) como ReCamMaster, EX-4D e TrajectoryCrafter.

• Consistência Temporal e Qualidade: O Reshoot-Anything alcançou o melhor desempenho na maioria das métricas do VBench (qualidade estética, sem flickering) e consistência temporal.
• Controle de Câmera: O modelo demonstrou alta precisão na execução de trajetórias de câmera complexas, superando métodos baseados apenas em âncora que sofrem com deriva de textura.
• Sincronização de Vista: Métricas como FVD-V (Frechet Video Distance vs. Fonte) e CLIP-V indicaram que o modelo preserva melhor os detalhes finos e a identidade do objeto original.
• Estudo Ablativo:
  • A mistura híbrida de dados (95% monoculares reais + 5-15% sintéticos) provou ser crucial: os dados reais garantem realismo físico e texturas, enquanto os sintéticos ajudam em trajetórias de câmera extremas (fora da distribuição).
  • A abordagem de concatenação de tokens superou significativamente o uso de cross-attention na preservação de detalhes finos.

5. Significado e Impacto

O Reshoot-Anything representa um avanço significativo na geração e edição de vídeo ao:

• Democratizar o Controle de Câmera: Permitir a regravação de vídeos dinâmicos complexos sem a necessidade de câmeras multi-view ou equipamentos de captura 3D caros.
• Superar a Lacuna Sintético-Real: Ao aprender diretamente de vídeos da internet, o modelo generaliza melhor para cenários do mundo real do que modelos treinados exclusivamente em renderizações.
• Estabelecer um Novo Paradigma de Aprendizado: Demonstra que a compreensão profunda de estruturas 4D pode emergir de dados 2D através de estratégias de treinamento auto-supervisionado inteligentes que forçam o "raciocínio" sobre oclusões e movimento.

Em suma, o trabalho oferece uma solução prática e de alta fidelidade para a regravação de vídeos em cenários do mundo real, superando as limitações de dados e generalização das abordagens anteriores.