Grounded Forcing: Bridging Time-Independent Semantics and Proximal Dynamics in Autoregressive Video Synthesis

Título: Grounded Forcing: Conectando Semânticas Independentes do Tempo e Dinâmicas Proximais na Síntese de Vídeo Autoregressiva

1. O Problema

A síntese de vídeo autoregressiva (AR) oferece um caminho promissor para a geração de vídeos de horizonte infinito e interativos, essenciais para simuladores de mundo imersivos. No entanto, a extensão da geração de clipes curtos para fluxos contínuos e longos enfrenta três desafios fundamentais e interligados que as abordagens atuais não resolvem adequadamente:

1. Esquecimento Semântico (Semantic Forgetting): Devido às limitações da janela de contexto, os modelos tendem a esquecer as informações semânticas iniciais (como a identidade do sujeito ou o layout da cena) à medida que a geração avança. Métodos existentes que ancoram a atenção apenas no primeiro frame são rígidos e falham ao incorporar novos conteúdos semânticos dinâmicos.
2. Deriva Visual (Visual Drift): A extrapolação posicional ocorre quando os índices temporais excedem o intervalo de treinamento do modelo. Isso faz com que os embeddings posicionais (RoPE) entrem em regimes fora da distribuição (OOD), levando a artefatos acumulativos, tremores de movimento e colapso de qualidade.
3. Perda de Controlabilidade (Controllability Loss): Durante a troca de instruções interativas (prompts), os métodos atuais frequentemente utilizam atualizações de cache KV (Key-Value) uniformes ou completos. Isso causa "choque semântico" (mudanças visuais abruptas) ou ignorância de novas instruções, falhando em manter a coerência narrativa e a identidade do sujeito durante transições.

2. Metodologia: Grounded Forcing

O Grounded Forcing é um novo framework que conecta semânticas independentes do tempo (estáveis) com dinâmicas proximais (locais e em movimento) através de três mecanismos interligados:

A. Cache KV de Memória Dupla (Dual Memory KV Cache)
Para combater o esquecimento semântico, o método desacopla o armazenamento de memória em duas partes:

• Memória Temporal Local (LTM): Funciona como uma janela deslizante padrão que armazena os quadros recentes para capturar alta frequência de movimento e dinâmicas proximais.
• Memória de Consistência Global (GCM): Armazena um conjunto esparsos de quadros-chave que ancoram a identidade semântica do vídeo. Diferente da LTM, os quadros na GCM são protegidos contra exclusão padrão.
• Estratégia de Atualização Consciente da Diversidade: A GCM não é estática; ela é atualizada dinamicamente. Novos quadros com alta novidade semântica (baixa similaridade com a GCM atual) substituem âncoras redundantes (alta similaridade entre si), garantindo que a memória global cubra o espaço semântico evolutivo sem perder a identidade central.

B. Injeção de RoPE de Dupla Referência (Dual-Reference RoPE Injection)
Para suprimir a deriva visual, o método modifica como as posições são codificadas:

• Para a GCM (Semântica): Os índices temporais injetados no RoPE são fixos (ex: $t=0$). Isso torna a memória global "agnóstica ao tempo", permitindo que o modelo a trate como uma referência semântica atemporal (identidade do sujeito), evitando a deriva à medida que o vídeo cresce.
• Para a LTM (Movimento): Os índices temporais são injetados de forma relativa dentro da janela deslizante atual, mantendo-os sempre dentro do intervalo de treinamento seguro do modelo (ex: $[0, 21]$). Isso previne que os embeddings posicionais entrem em regimes OOD.

C. Recache de Proximidade Assimétrica (Asymmetric Proximity Recache - APR)
Para resolver a perda de controlabilidade durante a troca de prompts:

• Em vez de atualizar o cache KV uniformemente, o APR utiliza uma ponderação baseada na proximidade temporal.
• Quadros Recentes: Recebem um peso alto de atualização ($\alpha_t$ alto) para aderir imediatamente às novas instruções.
• Quadros Distantes: Recebem um peso baixo de atualização ($\alpha_t$ baixo), preservando a herança semântica e a identidade do contexto anterior.
• Isso cria uma "ponte semântica" suave, eliminando o choque visual e permitindo transições lógicas entre prompts.

3. Principais Contribuições

• Identificação e Desacoplamento: O trabalho identifica o emaranhamento entre semânticas estáticas e movimento dinâmico como um gargalo crítico e propõe desacoplá-los estruturalmente.
• Arquitetura Híbrida de Memória: Introdução do Dual Memory KV Cache, que garante coerência de longo prazo (via GCM) sem sacrificar a fidelidade do movimento local (via LTM).
• Estabilidade Posicional e Interatividade: Desenvolvimento da Dual-Reference RoPE Injection (para estabilidade visual) e Asymmetric Proximity Recache (para controle interativo suave), resolvendo simultaneamente deriva e rigidez de prompts.
• Desempenho em Tempo Real: O framework opera eficientemente, permitindo geração de vídeos longos com coerência semântica e estabilidade de identidade adequadas para aplicações em tempo real.

4. Resultados

Os experimentos foram conduzidos no backbone Wan2.1-T2V-1.3B, comparando o Grounded Forcing com métodos de ponta como LongLive, Rolling Forcing e Infinity-RoPE.

• Métricas Quantitativas (Vídeos de 240s):
  • O método alcançou o melhor desempenho em Consistência de Fundo (0.9265) e Consistência de Sujeito (0.9163).
  • Mantém um equilíbrio favorável entre dinâmica de movimento e estabilidade, superando os baselines em estabilidade temporal e qualidade de imagem.
• Resultados Qualitativos:
  • Em geração multi-tiro (ex: homem $\to$ Hulk $\to$ Wyvern Prateado), o método mantém a identidade e incorpora novos elementos sem esquecer o contexto anterior, ao contrário do Infinity-RoPE que sofre de deriva de identidade.
  • Em transições de prompt (ex: "Iron Man" $\to$ "laser" $\to$ "explosão"), evita saltos visuais abruptos observados em outros métodos.
• Estudo com Usuários:
  • Em uma escala Likert de 5 pontos, o Grounded Forcing obteve a maior pontuação em todas as categorias, especialmente em Consistência de Sujeito (3.66 vs ~3.0 dos baselines) e Aderência ao Texto (3.72).

5. Significado e Impacto

O Grounded Forcing representa um avanço significativo na síntese de vídeo interativa de longo prazo. Ao resolver o triângulo de desafios (esquecimento, deriva e controlabilidade), o trabalho transforma modelos causais padrão em motores robustos para simulação imersiva.

• Viabilidade de Horizonte Infinito: Demonstra que é possível gerar vídeos coerentes por minutos (ex: 1 minuto com múltiplos personagens e cenas) sem degradação de qualidade.
• Interatividade Real: Permite que usuários alterem o curso da narrativa em tempo real sem quebrar a consistência do mundo virtual.
• Futuro: Estabelece uma base sólida para o desenvolvimento de simuladores de mundo verdadeiramente interativos e eficientes, superando as limitações de latência e coerência dos modelos de difusão bidirecionais tradicionais.