Resumo Técnico: LVSA: Atenção Esparsa para Vídeo Longo Livre de Treinamento

1. Declaração do Problema

Os Video Diffusion Transformers (DiTs), como o Wan e o HunyuanVideo, enfrentam dois gargalos críticos ao gerar vídeos longos:

1. Custo Computacional: A autoatenção densa padrão escala quadraticamente ($O(N^2)$) com o comprimento da sequência (número de quadros). Isso torna a inferência para vídeos longos proibitivamente cara.
2. Degradação de Qualidade: Além do horizonte de treinamento (ex: 81 quadros para Wan, 129 para HunyuanVideo), a atenção densa faz com que o modelo converja para saídas quase estáticas, "congeladas" ou em loop. Isso resulta em uma perda de movimento e variação temporal, tornando o vídeo de baixa qualidade.

As soluções existentes são insuficientes: algumas exigem retreinamento custoso, enquanto outras (como janela deslizante ou atenção radial) falham em eliminar artefatos de repetição temporal de longo alcance. Por outro lado, métodos de extrapolação que preservam a qualidade (ex: RIFLEx, UltraViCo) frequentemente falham em reduzir os custos computacionais, pois ainda dependem de matrizes de atenção densas.

2. Metodologia: Long Video Sparse Attention (LVSA)

Os autores propõem o LVSA, um mecanismo de atenção esparsa de bloco (block-sparse) livre de treinamento e agnóstico ao modelo, projetado para equilibrar eficiência computacional com coerência temporal.

Mecanismo Central

O LVSA restringe o conjunto de quadros $A(t)$ aos quais um quadro de consulta $t$ presta atenção, substituindo o conjunto completo $\{0, \dots, T-1\}$ pela união de dois componentes:
$$A(t) = G \cup W(t)$$

1. Âncoras Globais Rotativas ($G$):

   • Em vez de uma grade fixa de quadros globais (que causa viés onde quadros intermediários são vistos apenas localmente), o LVSA emprega quadros globais periódicos rotativos.
   • Em cada etapa de denoising $s$, o conjunto de quadros globais $G_s$ desloca-se por $s \pmod{T_{per}}$.
   • Ao longo de $T_{per}$ etapas consecutivas, cada quadro serve como uma âncora global exatamente uma vez. Isso elimina o viés de grade fixa e evita o empobrecimento sistemático das representações dos quadros intermediários, reduzindo assim artefatos temporais de longo alcance, como repetição e deriva de identidade.

2. Janelas Adaptativas Expandidas ($W(t)$):

   • Cada quadro presta atenção a uma janela temporal local de tamanho $W$.
   • Para garantir um orçamento de atenção constante por quadro de consulta, os autores introduzem limites de janela expandidos. Se a janela local sobrepor-se aos quadros globais, a janela é dinamicamente estendida para compensar a sobreposição, garantindo que $|A(t)| \approx C$ (um orçamento alvo) para todos os quadros.
   • O orçamento alvo $C$ é tipicamente definido como o horizonte de treinamento do modelo (ex: 21 quadros para Wan 2.1 1.3B), garantindo que o custo de inferência corresponda ao custo de treinamento.

Complexidade

Ao fixar o número de quadros atendidos para $C$, a complexidade da atenção por consulta torna-se $O(C \cdot P \cdot d)$, levando a uma complexidade total de $O(T \cdot C \cdot P^2 \cdot d)$. Isso é assintoticamente linear em relação ao número de quadros $T$, permitindo a geração escalável de vídeos longos.

Benchmark de Avaliação: VQeval

Os autores introduzem o VQeval, uma ferramenta de avaliação personalizada projetada para pontuar adequadamente falhas de vídeos "em loop" ou estáticos. Diferente de avaliadores de última geração como o VBench-Long, que recompensam a similaridade entre quadros (e, portanto, inadvertidamente pontuam vídeos congelados de forma alta), o VQeval penaliza explicitamente a falta de movimento e artefatos de loop através de suas dimensões de "qualidade dinâmica" e "qualidade de loop".

3. Principais Contribuições

• Algoritmo LVSA: Um novo padrão de atenção esparsa, livre de treinamento, combinando âncoras globais rotativas e janelas adaptativas expandidas para remover o viés de grade fixa e reduzir o processamento.
• Benchmark VQeval: Uma nova métrica especificamente calibrada para detectar e penalizar os modos de falha estáticos/em loop comuns na extrapolação de vídeos longos, abordando as deficiências das métricas atuais.
• Validação de Arquitetura Cruzada: Prova experimental de eficácia em três arquiteturas distintas de DiT (Wan 2.1 1.3B, Wan 2.1 14B e HunyuanVideo 1.5) e plataformas de hardware (GPUs e NPUs).
• Implementação Open-Source: O método é lançado como um plugin para plataformas open-source populares.

4. Resultados Experimentais

Eficiência Computacional

• Acelerações: Em uma GPU de 80GB, o LVSA combinado com um kernel FlashInfer alcança acelerações significativas em comparação com a atenção densa:
  • 3.17× no Wan 2.1 1.3B (horizonte de 6×).
  • 2.98× no Wan 2.1 14B (horizonte de 6×).
  • 3.33× no HunyuanVideo 1.5 (horizonte de 1.5×).
• Viabilidade de Memória: O LVSA permite a geração em horizontes onde a atenção densa falha devido a erros de Out-Of-Memory (OOM). Por exemplo, a geração do HunyuanVideo 1.5 em um horizonte de 2× (257 quadros) é inviável com atenção densa em uma única GPU de 80GB, mas roda com sucesso com LVSA (pico de memória ~60 GB).
• Desempenho em NPU: Em NPUs, o LVSA alcança acelerações de 2.71× (Wan 2.2 A14B) e 3.24× (Wan 2.1 1.3B) em um horizonte de 6×.

Qualidade do Vídeo

• Horizonte de Treinamento: No horizonte de treinamento nativo (1×), o LVSA é neutro em qualidade em comparação com a atenção densa em todas as métricas.
• Horizontes Estendidos: Além do horizonte de treinamento, o LVSA supera significativamente a atenção densa.
  • No Wan 2.1 1.3B (horizonte de 6×), o LVSA-FI pontua +12.1 no composto VQeval comparado à atenção densa, que colapsa para uma saída quase estática.
  • VBench-Long vs. VQeval: Enquanto as pontuações do VBench-Long muitas vezes sobem para a atenção densa em horizontes estendidos (devido ao seu viés para consistência estática), o VQeval identifica corretamente isso como uma falha de qualidade. O LVSA mantém o movimento genuíno, resultando em pontuações VQeval mais altas.
• Comparação com SOTA: O LVSA supera o RIFLEx e o UltraViCo tanto em computação quanto em qualidade:
  • Velocidade: O LVSA é até 3.27× mais rápido que o UltraViCo e 2.41× mais rápido que o RIFLEx no Wan 2.1 1.3B.
  • Qualidade: O LVSA alcança as maiores pontuações compostas do VQeval em todos os horizontes testados, enquanto o RIFLEx é estatisticamente indistinguível da atenção densa em termos de colapso de qualidade, e o UltraViCo incorre em altos custos de latência.

5. Significância e Alegações

O artigo afirma que o LVSA aproveita com sucesso o equilíbrio entre computação e qualidade para a difusão de vídeos longos. Ao remover o viés de grade fixa inerente aos padrões esparsos estáticos e utilizar uma estratégia de âncora global rotativa, o LVSA evita os artefatos de vídeo "congelado" que assolam a geração de longo horizonte.

Os autores enfatizam que sua abordagem é livre de treinamento e agnóstica ao modelo, tornando-a imediatamente aplicável às arquiteturas DiT existentes sem necessidade de retreinamento. Além disso, a introdução do VQeval destaca uma falha crítica nos padrões de avaliação atuais, argumentando que métricas que recompensam a consistência estática são enganosas para a geração de vídeos longos. O trabalho demonstra que é possível gerar vídeos de alta qualidade e longa duração em GPUs e NPUs individuais com escalonamento linear, superando as barreções de memória e computação quadrática da atenção densa.