Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation

Título: Relax Forcing: Memória KV Relaxe para Geração Consistente de Vídeos Longos

1. O Problema: Geração de Vídeos Longos e o Dilema da Memória

Os modelos de difusão de vídeo autoregressivos (AR) emergiram como uma solução promissora para a geração de vídeos longos (minutos de duração), superando as limitações de janelas temporais dos modelos bidirecionais. No entanto, a extensão para horizontes temporais longos enfrenta desafios significativos:

• Acúmulo de Erros e Deriva Temporal: Mesmo com estratégias de treinamento como Self Forcing (que alinha o treinamento e a inferência condicionando o modelo às suas próprias previsões), a geração autoregressiva sofre de "viés de exposição". Erres residuais acumulam-se ao longo do tempo, levando a uma degradação visual e à perda de consistência da identidade do sujeito (deriva).
• Limitações da Memória Densa: A abordagem padrão utiliza uma memória de chave-valor (KV) densa e cronológica, onde todas as frames históricas são mantidas na janela de atenção.
• A Descoberta Crítica: Os autores demonstram empiricamente que aumentar a quantidade de memória histórica não melhora consistentemente a geração. Pelo contrário, uma memória densa introduz redundância, restringe a evolução do movimento (tornando-o rígido ou repetitivo) e não resolve a deriva temporal. Além disso, a posição temporal das frames históricas é mais importante do que a quantidade total; frames do meio do histórico influenciam a dinâmica do movimento de forma diferente das frames recentes ou antigas.

2. Metodologia: Relax Forcing e Memória KV Estruturada

O artigo propõe o Relax Forcing, um mecanismo de memória esparsa e estruturada que substitui a janela cronológica densa por uma seleção dinâmica de frames históricas com funções específicas.

A memória temporal é decomposta em três componentes funcionais distintos:

1. Sink (Âncoras Globais): Um conjunto fixo de frames iniciais (ex: as primeiras 2 frames) que atua como uma âncora global para preservar a identidade visual e a estabilidade da cena ao longo de todo o vídeo.
2. Tail (Contexto Recente): As frames mais recentes (ex: a última frame) que garantem a continuidade temporal de curto prazo e a suavidade imediata.
3. History (Seleção Dinâmica): Em vez de usar todas as frames intermediárias, o método seleciona dinamicamente um subconjunto pequeno de frames do meio do histórico.

Mecanismo de Seleção (Scoring de Relaxação):
Para selecionar as frames de History, o modelo calcula um "score de relaxação" para cada candidato, equilibrando dois fatores:

• Estabilidade Global: Similaridade com o Sink (para manter a identidade).
• Redundância Local: Dissimilaridade com o Tail (para evitar repetição e permitir evolução do movimento).
  A fórmula básica é: $r(h) = S(h) - \lambda R(h)$, onde $S(h)$ é a similaridade com o Sink, $R(h)$ é a similaridade com o Tail e $\lambda$ controla o trade-off. Apenas as frames com os melhores scores são mantidas na memória de atenção.

Ajuste de Posicionamento (Position Embedding):
Como a memória selecionada não é contígua no tempo, o método utiliza um esquema híbrido de Rotary Position Embedding (RoPE):

• O Tail mantém seus índices temporais absolutos reais.
• O Sink e o History recebem índices relativos posicionados imediatamente antes do Tail, preservando a ordem funcional sem forçar uma contiguidade temporal artificial que distorceria a percepção de distância.

3. Contribuições Principais

• Análise Sistemática da Memória Temporal: O trabalho identifica que o gargalo para vídeos longos não é a capacidade de memória, mas a utilização da memória. Mostra que a memória densa é heterogênea e que diferentes regiões temporais desempenham papéis funcionais distintos (estabilidade vs. dinâmica).
• Relaxed KV Memory: Propõe um mecanismo de memória esparsa que seleciona ativamente as frames mais informativas, eliminando redundância e permitindo uma evolução de movimento mais natural.
• Treinamento Livre (Training-Free): A abordagem é aplicada durante a inferência, complementando estratégias de treinamento existentes (como Self Forcing) sem exigir retreinamento do modelo base.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark VBench-Long (vídeos de 30s e 60s).

• Desempenho Geral: O Relax Forcing alcançou o melhor escore geral em ambos os cenários (80.87% para 30s e 80.88% para 60s), superando métodos de ponta como Deep Forcing, Rolling Forcing e Self Forcing.
• Dinâmica de Movimento: Houve uma melhoria significativa na métrica Dynamic Degree (66.8% de melhoria em relação à linha de base), indicando que o método permite movimentos mais fluidos e menos restritos, evitando a "congelamento" comum em métodos com memória densa.
• Consistência: A consistência do sujeito e do fundo permaneceu competitiva, demonstrando que a seleção esparsa não compromete a fidelidade visual.
• Eficiência: Ao reduzir o número de frames na atenção (de uma janela densa para uma estrutura esparsa de ~7 frames efetivas), o método reduziu o tempo de atenção em 1.58x e acelerou a geração end-to-end em 1.26x.
• Avaliação Humana: Em um estudo de preferência, os usuários preferiram consistentemente os vídeos gerados pelo Relax Forcing em termos de qualidade de movimento (65.4% de preferência) e alinhamento texto-vídeo.

5. Significado e Impacto

O trabalho redefine a compreensão sobre como modelos autoregressivos devem gerenciar o contexto temporal para geração de vídeos longos.

• Mudança de Paradigma: Move o foco de "quantidade de memória" para "qualidade e função da memória".
• Escalabilidade: A abordagem de memória estruturada e esparsa é essencial para escalar a geração de vídeo para durações de minutos ou horas, resolvendo o problema de deriva sem sacrificar a dinâmica.
• Aplicabilidade: Sendo uma técnica de inferência, pode ser integrada a diversos modelos de difusão existentes para melhorar sua robustez em tarefas de geração contínua e interativa.

Em resumo, o Relax Forcing demonstra que uma gestão inteligente e estruturada do passado (separando âncoras, contexto recente e histórico estrutural) é a chave para gerar vídeos longos que são ao mesmo tempo visualmente consistentes e dinamicamente evolutivos.