ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration

Resumo Técnico: ONE-SHOT

1. Problema e Motivação

O avanço recente em Modelos Fundamentais de Vídeo (VFMs) revolucionou a síntese de vídeos centrados em humanos. No entanto, a edição fina e independente de sujeitos (pessoas) e cenários (ambientes) permanece um desafio crítico. As abordagens atuais enfrentam três gargalos principais:

1. Processamento 3D Oneroso: Métodos existentes dependem pesadamente de alinhamento geométrico 3D explícito (ex: nuvens de pontos) com o movimento humano, o que limita a escalabilidade e a aplicabilidade prática.
2. Comprometimento da Capacidade Generativa: O ajuste fino (fine-tuning) intensivo em tarefas específicas com condicionamento rígido muitas vezes degrada a diversidade criativa e a flexibilidade expressiva inerente aos VFMs pré-treinados.
3. Síntese de Curto Prazo: A maioria dos frameworks falha em manter a consistência espaço-temporal global em sequências de longa duração (minutos), resultando em deriva de identidade ou artefatos no ambiente.

O objetivo do ONE-SHOT é permitir a geração composicional de vídeos de humanos em ambientes com controle independente sobre movimento, aparência, geometria do cenário e trajetória da câmera, sem exigir pré-processamento 3D complexo.

2. Metodologia

O ONE-SHOT é um framework eficiente em parâmetros construído sobre um VFM pré-treinado (Wan2.1). A sua inovação central reside na fatorização do processo generativo em sinais desacoplados, evitando o fenômeno de "super-condicionamento" (onde entradas estruturais densas dominam a geração).

Componentes Principais:

• Arquitetura ControlNet-Style: O modelo utiliza um ramo lateral leve (ControlNet) para injetar condições no VFM congelado, otimizando apenas um conjunto esparsos de parâmetros via LoRA (Low-Rank Adaptation).
• Injeção de Movimento em Espaço Canônico (Decoupled Motion Injection):
  • Em vez de fundir espacialmente o movimento humano com o cenário, o movimento é injetado através de camadas de atenção cruzada (cross-attention) dedicadas.
  • O movimento humano é representado em um espaço canônico (usando SMPL-X, centralizado e sem deslocamento global), enquanto o cenário é tratado separadamente.
  • Isso desacopla os priores de movimento humano das pistas ambientais, preservando a flexibilidade semântica do VFM.
• Dynamic-Grounded-RoPE (Posicionamento Híbrido):
  • Para resolver a discrepância espacial entre o espaço canônico do movimento e a grade de tokens do vídeo (ambiente), o método propõe uma variante de Rotary Position Embedding (RoPE) ancorada dinamicamente.
  • Este mecanismo escala adaptativamente as posições rotacionais com base em uma caixa delimitadora (bounding box) aproximada do humano no vídeo, estabelecendo correspondências espaciais precisas sem alinhamento 3D heurístico.
• Integração de Contexto Híbrido (Hybrid Context Integration):
  • Para síntese de longa duração (minutos), o sistema utiliza dois tipos de tokens de contexto:
    1. Referência Estática: Mantém a identidade do sujeito (rosto e corpo) consistente.
    2. Memória Dinâmica: Rastreia a aparência geral e o estado do ambiente ao longo do tempo, prevenindo a deriva de identidade e artefatos em cenas longas.
• Fluxo de Trabalho: O pipeline sintetiza primeiro uma sequência apenas do ambiente (projeções 2D de nuvens de pontos), e depois sobrepõe o layout humano. Isso elimina a necessidade de alinhamento de coordenadas complexo entre domínios espaciais distintos.

3. Contribuições Chave

1. Framework ONE-SHOT: Uma arquitetura eficiente que permite controle independente sobre aparência, dinâmica humana, ambiente e câmera, utilizando apenas LoRA para ajuste fino.
2. Mecanismo de Injeção Desacoplado: Mitiga a competição de condicionamento entre priores rígidos de movimento e prompts de texto, garantindo controle preciso sem sacrificar a diversidade criativa.
3. Dynamic-Grounded-RoPE: Uma nova estratégia de embedding posicional que alinha domínios espaciais diferentes (canônico vs. vídeo) diretamente na atenção, eliminando a necessidade de pré-alinhamento 3D frágil.
4. Consistência de Longo Prazo: A integração de contexto híbrido permite a geração de vídeos consistentes por minutos, mantendo a identidade do sujeito e a coerência do cenário mesmo com mudanças de trajetória da câmera.

4. Resultados Experimentais

O método foi avaliado em comparação com state-of-the-art (como Uni3C, RealisMotion, WanAnimate) em tarefas de reconstrução própria e composição cruzada (troca de identidade/movimento/cenário).

• Métricas Quantitativas: O ONE-SHOT alcançou os melhores resultados em FID (qualidade visual) e FVD (realismo temporal) em ambos os cenários. Também superou os concorrentes em Suavidade de Movimento (MS) e Consistência de Fundo (BC).
• Qualidade Visual: Em comparações qualitativas, o ONE-SHOT demonstrou superioridade na preservação da estrutura do cenário e na fidelidade da dinâmica do movimento, evitando problemas comuns como "drift" de fundo, inconsistências estruturais ou colaplos locais sob movimento de câmera.
• Composição Cruzada: O modelo conseguiu trocar identidades e movimentos entre diferentes cenários com alta fidelidade, mantendo a coerência visual onde outros métodos falhavam (ex: sujeitos desbotados ou movimentos borrados).
• Edição Guiada por Texto: O modelo manteve a capacidade de edição baseada em prompts de texto (ex: mudar o objeto segurado ou o estilo), demonstrando compatibilidade com a capacidade nativa do VFM.

5. Significado e Impacto

O ONE-SHOT representa um avanço significativo na síntese de vídeo controlável ao resolver o dilema entre controle preciso e flexibilidade generativa.

• Escalabilidade: Ao eliminar a dependência de pré-processamento 3D complexo e alinhamento geométrico rigoroso, o método torna a geração de vídeos humanos em ambientes 3D mais acessível e escalável.
• Aplicações Práticas: A capacidade de gerar vídeos longos e consistentes com controle fino abre portas para aplicações em e-commerce, jornalismo digital, educação e entretenimento multimídia.
• Eficiência: A abordagem baseada em LoRA e injeção desacoplada demonstra que é possível obter alto controle sem a necessidade de re-treinar massivamente os modelos fundamentais, preservando sua inteligência original.

Em suma, o ONE-SHOT estabelece um novo padrão para a síntese composicional de humanos e ambientes, equilibrando rigor estrutural com liberdade criativa.