MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens

Resumo Técnico: MemRoPE

1. O Problema

Os modelos de difusão autoregressivos para geração de vídeo permitem a criação de fluxos de quadros em tempo real. No entanto, ao gerar vídeos longos (de minutos a horas), as abordagens atuais enfrentam desafios críticos:

• Degradação de Fidelidade e Identidade: Métodos baseados em janelas deslizantes (sliding-window) com evicção FIFO (First-In, First-Out) descartam o contexto passado, levando à perda de identidade do sujeito e inconsistências na cena.
• Estagnação de Movimento: A falta de contexto dinâmico resulta em vídeos onde o movimento para ou se torna repetitivo.
• Falhas nas Abordagens Atuais:
  • Sinks Estáticos: Manter apenas os primeiros quadros como "âncoras" (sinks) não reflete a evolução do conteúdo do vídeo.
  • Compressão Participativa (Deep Forcing): Seleciona tokens com base em pontuações de atenção cumulativa, mas tende a convergir para um conjunto estático de tokens antigos. Quando novos tokens são admitidos, causam mudanças visuais abruptas e instabilidade temporal.
  • Problema de Posição: Agregar tokens de diferentes momentos no tempo é matematicamente problemático quando as posições rotacionais (RoPE) já foram aplicadas, pois a média de vetores rotacionados de diferentes fases não produz uma representação válida.

2. Metodologia: MemRoPE

O MemRoPE é um framework sem treinamento (training-free) projetado para permitir a geração de vídeos ilimitados com um cache de tamanho fixo. Ele introduz dois componentes co-projetados:

A. Memory Tokens (Tokens de Memória)
Em vez de descartar quadros antigos ou manter apenas um conjunto estático, o MemRoPE comprime continuamente todo o histórico de chaves (keys) passadas em dois fluxos de memória paralelos usando Médias Móveis Exponenciais (EMA):

• Fluxo de Longo Prazo ($\mu_L$): Com uma taxa de decaimento baixa ($\alpha_L$), acumula o histórico completo de geração, mantendo a identidade global e a consistência da cena.
• Fluxo de Curto Prazo ($\mu_S$): Com uma taxa de decaimento mais alta ($\alpha_S$), rastreia a dinâmica recente e mudanças rápidas.
• Mecanismo: Quando a janela local está cheia, os quadros mais antigos são agregados (pools espaciais) e atualizam esses dois tokens de memória. Isso permite que o modelo "lembre" do passado sem aumentar o custo de memória, mantendo uma representação que evolui suavemente.

B. Online RoPE Indexing (Indexação RoPE Online)
Para que a agregação via EMA seja matematicamente válida, as chaves não podem ter a codificação de posição (RoPE) aplicada permanentemente antes da agregação (pois RoPE não é distributiva sobre a adição).

• Armazenamento Livre de Posição: Todas as chaves no cache são armazenadas em sua forma bruta (não rotacionada).
• Aplicação Dinâmica: A cada passo de atenção, o sistema atribui índices relativos de bloco (block-relative) dinamicamente e aplica o RoPE "on-the-fly".
• Benefício: Isso resolve o problema de extrapolação posicional (garantindo que os índices nunca ultrapassem o intervalo de treinamento) e permite a agregação temporal limpa, pois as chaves são combinadas antes de receberem suas posições específicas.

Estrutura do Cache de Três Níveis:
O cache final consiste em:

1. Sink: Quadros iniciais de alta qualidade.
2. Memória: Os dois tokens de memória (Longo e Curto Prazo).
3. Janela Local: Os quadros mais recentes.

3. Principais Contribuições

1. Framework Training-Free: MemRoPE pode ser plugado em qualquer modelo de difusão autoregressivo pré-treinado sem necessidade de re-treinamento ou ajuste de hiperparâmetros complexos.
2. Geração Ilimitada: Permite a geração de vídeos contínuos de horas de duração com um orçamento de memória fixo, superando as limitações de janelas deslizantes.
3. Decomposição Posicional e Temporal: A combinação de Online RoPE Indexing e Memory Tokens resolve simultaneamente o problema de extrapolação posicional e a necessidade de retenção de contexto de longo prazo.
4. Estabilidade Temporal: Elimina as mudanças visuais abruptas comuns em métodos de compressão de cache, garantindo transições suaves.

4. Resultados Experimentais

Os autores avaliaram o MemRoPE em modelos base como Self-Forcing e LongLive, comparando com métodos state-of-the-art (Deep Forcing, $\infty$-RoPE).

• Métricas Quantitativas (VBench-Long):

  • O MemRoPE superou consistentemente todos os métodos de base e concorrentes em métricas de Qualidade Estética, Qualidade de Imagem e Consistência do Sujeito.
  • Em gerações de 120s, 240s, 480s e 1 hora, o MemRoPE manteve pontuações superiores, enquanto outros métodos sofreram degradação significativa à medida que a duração aumentava.
  • Em 1 hora de geração, o MemRoPE alcançou uma pontuação média de 87.99 (vs. 87.01 do $\infty$-RoPE), demonstrando escalabilidade.

• Resultados Qualitativos:

  • Em vídeos de 2 minutos e 1 hora, o MemRoPE preservou a identidade do sujeito (ex: número de filhotes, características faciais) e a consistência do fundo, enquanto os baselines apresentavam colapso estrutural, mudanças de cor e perda de detalhes.
  • Estudos com Usuários e Avaliação via VLM (Gemini 3.1-Pro) confirmaram a preferência esmagadora pelo MemRoPE em termos de consistência de cor, sujeito e fundo.

• Eficiência:

  • O método não adiciona latência significativa e, em alguns casos (como no Self-Forcing), até acelera a inferência ao reduzir o tamanho do cache (substituindo uma janela deslizante grande por um cache compacto de três níveis).

5. Significado e Impacto

O MemRoPE representa um avanço fundamental na geração de vídeo de longa duração. Ele demonstra que a chave para a coerência de longo horizonte não é apenas reter mais quadros (o que é inviável em termos de memória), mas lembrá-los melhor através de uma agregação inteligente e contínua.

Ao resolver o dilema entre retenção de contexto e extrapolação posicional sem custo de treinamento, o MemRoPE abre caminho para aplicações práticas como:

• Simulação contínua de mundos virtuais.
• Tomadas cinematográficas longas e imersivas.
• Geração de dados sintéticos para treinamento de modelos de visão computacional em escalas temporais extensas.

Em resumo, o MemRoPE transforma a geração de vídeo autoregressiva de uma tarefa limitada a curtas sequências para uma capacidade de criar narrativas visuais contínuas e coerentes de horas de duração.