Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation

1. O Problema

A geração de vídeo em streaming (SVG) visa criar vídeos longos e contínuos frame a frame, permitindo aplicações em tempo real. No entanto, os métodos atuais enfrentam dois desafios principais:

• Perda de Contexto Histórico: A maioria das abordagens utiliza Atenção em Janela Deslizante (SWA) para manter a causalidade e a eficiência. À medida que a janela avança, os frames antigos são removidos da memória (KV Cache). Isso causa o acúmulo de erros ao longo do tempo, levando a uma coerência temporal degradada e instabilidade em vídeos longos (deriva de câmera, perda de consistência de objetos).
• Ineficiência Computacional: Embora a SWA reduza o custo em comparação com a atenção bidirecional completa, ela ainda possui complexidade quadrática dentro da janela local. Além disso, métodos existentes que tentam mitigar a perda de contexto (como manter apenas o primeiro frame como "sink") sacrificam a diversidade de movimento e não capturam dependências de longo prazo de forma eficaz.
• Desafios de Treinamento: A destilação de modelos bidirecionais pré-treinados para arquiteturas autoregressivas (AR) frequentemente leva a colapso de modo (movimento congelado ou repetitivo) e instabilidade devido a discrepâncias nas posições temporais (RoPE) e à falta de supervisão adequada durante o treinamento de longo prazo.

2. Metodologia: Hybrid Forcing

Os autores propõem o Hybrid Forcing, um framework unificado que combina uma nova arquitetura de atenção com uma estratégia de treinamento otimizada.

A. Mecanismo de Atenção Híbrida

O núcleo da proposta é uma arquitetura de atenção que divide o processamento em duas vias complementares:

1. Atenção Temporal Linear (Histórico de Longo Prazo):

   • Em vez de descartar frames antigos, o modelo mantém um estado compacto de Chave-Valor (KV) que agrega incrementalmente os tokens evitados.
   • Utiliza uma atenção linear leve para comprimir o histórico distante em um estado aprendível, permitindo modelar dependências de longo alcance com custo de memória e computação constante (negligível), independentemente da duração do vídeo.
   • Isso permite reduzir o tamanho da janela local sem perder o contexto global.

2. Atenção Esparsa em Janela Deslizante (Modelagem Local):

   • Dentro da janela local recente, o modelo emprega atenção esparsa baseada em blocos.
   • Identifica e poda conexões locais redundantes (baixa importância), calculando a atenção apenas nos blocos mais ativos.
   • Isso reduz o custo computacional da modelagem de curto prazo, liberando capacidade de processamento para as dependências mais críticas.

Resultado: A saída final é a soma da atenção de histórico linear (global) e da atenção esparsa local, garantindo coerência temporal e eficiência.

B. Estratégias de Treinamento e Estabilização

Para garantir que o modelo aprenda eficazmente essa arquitetura híbrida, são introduzidas três inovações no pipeline de treinamento:

1. Destilação Desacoplada (Decoupled Distillation):

   • O treinamento ocorre em duas fases. Primeiro, uma fase de destilação densa (sem atenção híbrida) para consolidar representações semânticas ricas e estáveis.
   • Somente depois, a atenção híbrida é ativada para aprender a compressão estruturada do histórico. Isso evita que estados históricos "imaduros" ou ruidosos prejudiquem o aprendizado inicial.

2. Restrição Relativa de RoPE (Rotary Positional Embedding):

   • Para evitar erros de extrapolação em índices temporais longos, o modelo impõe um limite superior consistente no índice RoPE tanto no treinamento quanto na inferência, representando posições como deslocamentos relativos. Isso melhora a robustez em gerações ilimitadas.

3. Função de Perda de Regularização (Regularization Loss):

   • Para combater o colapso de modo (ex: câmera travada ou movimento repetitivo), adiciona-se uma perda auxiliar que supervisiona o primeiro passo de geração do estudante com os resultados de "rollout" (desempenho completo) do modelo professor. Isso preserva a diversidade de movimento e a dinâmica temporal.

3. Principais Contribuições

• Framework Hybrid Forcing: Uma arquitetura unificada que integra atenção linear para retenção de histórico e atenção esparsa para eficiência local, superando as limitações da SWA pura.
• Pipeline de Destilação Desacoplada: Uma estratégia que separa o aprendizado de representação semântica do modelamento de histórico estruturado, estabilizando o treinamento de longo prazo.
• Soluções para Estabilidade: Introdução de restrições de RoPE relativas e regularização guiada pelo professor para mitigar a deriva temporal e o colapso de modo.
• Desempenho em Tempo Real: Capacidade de gerar vídeos ilimitados em alta resolução sem quantização ou compressão de modelo agressiva.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks de geração de vídeo de curto e longo prazo (VBench e VBench-Long), comparando com modelos de ponta como Self-Forcing, LongLive, CausVid e o modelo bidirecional Wan2.1.

• Desempenho de Qualidade: O Hybrid Forcing alcançou o estado da arte (SOTA) em todas as métricas, incluindo Qualidade Total, Semântica e Dinâmica.
  • Em vídeos longos (30 segundos), superou o segundo melhor método em 19,3% na métrica de Dinâmica.
  • Superou o modelo bidirecional Wan2.1 em desempenho geral, com uma taxa de transferência (throughput) 30 vezes maior.
• Eficiência (FPS):
  • Alcançou 29,5 FPS em um único GPU NVIDIA H100 para geração de vídeo em streaming de 832×480.
  • Isso representa um aumento de 35% em relação ao segundo melhor método de streaming (que operava em ~21,8 FPS), mantendo a coerência global mesmo com uma janela local menor (9 frames vs. 21 frames em outros métodos).
• Estabilidade Visual: Qualitativamente, o modelo demonstrou superioridade na manutenção da consistência de objetos e diversidade de movimento em vídeos de longa duração (ex: mais de 10 minutos), evitando a saturação e a deriva de câmera comuns em outros métodos.

5. Significado e Impacto

Este trabalho representa um avanço significativo na viabilidade da geração de vídeo interativa e em tempo real. Ao resolver o dilema entre a retenção de contexto de longo prazo e a eficiência computacional, o Hybrid Forcing permite:

• A geração de vídeos ilimitados sem degradação de qualidade.
• A implementação prática em hardware de ponta (H100) com latência suficiente para aplicações interativas.
• Uma nova direção para arquiteturas de atenção em modelos de difusão, demonstrando que a combinação de mecanismos lineares e esparsos, quando devidamente desacoplada no treinamento, supera as abordagens tradicionais de janela deslizante.

O código e os modelos treinados foram disponibilizados publicamente, facilitando a reprodução e o avanço futuro na área de geração de vídeo.