Train Short, Inference Long: Training-free Horizon Extension for Autoregressive Video Generation

1. Problema Identificado

Os modelos de difusão de vídeo autoregressivos (AR) emergiram como uma paradigma escalável para a geração de vídeos longos, superando gargalos computacionais de atenção bidirecional. No entanto, eles enfrentam um problema crítico de extrapolação: quando o horizonte de inferência excede significativamente o horizonte de treinamento, ocorre uma falha severa de extrapolação. Isso se manifesta como:

• Acúmulo rápido de erros: Degradação temporal significativa (drift).
• Artefatos visuais e de movimento: Perda de consistência e dinâmica.
• Causas Raiz Identificadas:
  1. Viés Espectral nos Posicionamentos (Spectral Bias): As embeddings posicionais 3D (RoPE) sofrem de exposição de treinamento desequilibrada. Componentes de baixa frequência (essenciais para estrutura global de longo prazo) são sub-treinados, enquanto a interpolação padrão comprime uniformemente todas as frequências, prejudicando componentes de alta frequência (detalhes finos).
  2. Falta de Priors Dinâmicos na Amostragem de Ruído: Estratégias existentes usam correlações positivas no ruído inicial para garantir consistência, o que acaba suprimindo a diversidade de conteúdo e a energia do movimento, levando a vídeos monótonos e com dinâmica degradada em sequências longas.

2. Metodologia: Framework FLEX

O artigo propõe o FLEX (Frequency-aware Length EXtension), um framework de inferência sem treinamento (training-free) que atua como um plug-and-play para modelos AR pré-treinados. Ele consiste em três componentes principais:

A. Modulação de RoPE 3D Consciente de Frequência (Frequency-aware RoPE Modulation)

Inspirado no método NTK-by-parts de Grandes Modelos de Linguagem (LLMs), esta técnica adapta a interpolação de posições temporais:

• Análise de Exposição: Calcula a "exposição de treinamento" ($r_m$) para cada dimensão rotativa, baseada no número de ciclos completos de rotação durante o treinamento.
• Estratégia Híbrida:
  • Baixa Frequência (Sub-treinada): Aplica interpolação para remapear componentes que não completaram ciclos de rotação de volta ao domínio de fase familiar, estabilizando a estrutura global.
  • Alta Frequência (Bem treinada): Aplica extrapolação (preservando os ângulos originais) para manter a discriminabilidade temporal de detalhes finos, evitando a compressão uniforme que causa vídeos estáticos.

B. Amostragem de Ruído em Antifase (Antiphase Noise Sampling - ANS)

Para combater a monotonia e a falta de movimento:

• Mecanismo: Introduz uma inicialização de ruído estruturada onde as perturbações de ruído adjacentes exibem covariância negativa ($\rho < 0$).
• Efeito Espectral: Isso redistribui a potência do ruído para frequências mais altas (comportamento de filtro high-pass).
• Resultado: Injeta "priors dinâmicos" de alta frequência no espaço latente inicial, garantindo que o modelo tenha energia suficiente para gerar variações temporais ricas e movimentos complexos, evitando o colapso para estados estáticos.

C. Attention Sink Apenas para Inferência (Inference-only Attention Sink)

Para manter a consistência global sem modificar a arquitetura ou re-treinar:

• Mecanismo: Mantém as primeiras $N$ janelas de atenção locais fixas como "âncoras" temporais persistentes.
• Função: Serve como um ancoramento semântico e estrutural global, prevenindo o desvio (drift) de identidade e contexto à medida que a geração avança, sem necessidade de fine-tuning.

3. Contribuições Principais

1. Análise Sistemática: Identificação e formalização de dois modos de falha de inferência que limitam a extensão de horizonte em modelos de vídeo AR: o viés espectral do RoPE 3D e a falta de priors dinâmicos na amostragem de ruído.
2. Framework FLEX: Desenvolvimento de uma solução completa sem treinamento que combina modulação de frequência, amostragem de ruído antifase e attention sinks para equilibrar consistência temporal e dinâmica de movimento.
3. Desempenho Superior: Demonstração de que abordagens baseadas em princípios de inferência podem superar métodos que exigem fine-tuning longo e custoso.

4. Resultados Experimentais

Os resultados foram avaliados no benchmark VBench-Long e em prompts do MovieGen:

• Extensão 6x (30 segundos): O FLEX superou os modelos mais avançados (SOTA), incluindo métodos baseados em fine-tuning como LongLive.
  • Pontuação de Qualidade: 83.01 (vs. 82.78 do LongLive).
  • Deriva de Qualidade: Apenas -0.06 (vs. -1.32 do LongLive), indicando estabilidade excepcional.
• Extensão 12x (60 segundos): O FLEX alcançou desempenho comparável ao LongLive (que foi treinado especificamente para vídeos longos), mas sem custo de treinamento adicional.
  • Pontuação de Qualidade: 82.68.
  • Melhoria em Dinâmica: Aumento significativo no grau de movimento (Dynamic Degree), passando de 29.38 (Self Forcing base) para 44.32.
• Geração em Minutos (4 minutos): Ao integrar o FLEX no modelo LongLive, foi possível gerar vídeos de 240s com consistência de identidade e textura preservada, reduzindo a deriva de imagem de -2.19 para -1.17.
• Estudos de Ablação: Confirmaram que a remoção de qualquer um dos três componentes (RoPE, ANS ou Sink) resulta em degradação significativa em consistência, dinâmica ou qualidade geral.

5. Significado e Impacto

O trabalho FLEX representa um avanço significativo na geração de vídeo de longa duração ao romper a restrição tradicional de "Treinar Longo, Inferir Longo".

• Eficiência: Elimina a necessidade de fine-tuning computacionalmente proibitivo em grandes conjuntos de dados de vídeos longos.
• Versatilidade: Funciona como uma extensão "plug-and-play" para qualquer modelo autoregressivo pré-treinado, permitindo que modelos treinados em clipes curtos (ex: 5s) gerem vídeos consistentes e dinâmicos de minutos de duração.
• Qualidade: Resolve o dilema entre consistência temporal e riqueza de movimento, provando que a manipulação inteligente de frequências e priors de ruído na fase de inferência é suficiente para superar as limitações de extrapolação.

Em resumo, o FLEX empurra os limites da geração de vídeo autoregressiva, permitindo síntese robusta de vídeos de alta qualidade em escala de minutos sem custos adicionais de treinamento.