🤖 machine learning

Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation

O artigo apresenta o "Sparse Forcing", um paradigma treinável que utiliza atenção esparsa nativa e um mecanismo eficiente de kernel GPU (PBSA) para melhorar a qualidade visual e reduzir a latência e o uso de memória em modelos de geração de vídeo difusivo autoregressivo, especialmente em sequências de longa duração.

Autores originais: Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li

Publicado 2026-04-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando escrever um livro de aventuras muito longo, capítulo por capítulo, sem nunca olhar para trás para revisar o que já escreveu.

O problema é que, à medida que a história fica mais longa, você começa a esquecer detalhes importantes: a cor do cavalo do herói muda, o nome da cidade se altera e a lógica da trama começa a fazer pouco sentido. Além disso, tentar lembrar de tudo o que aconteceu desde a primeira página exige uma memória tão grande que seu cérebro (ou computador) fica lento e cansado.

É exatamente esse o problema que o Sparse Forcing resolve para a criação de vídeos por Inteligência Artificial.

Aqui está uma explicação simples do que os pesquisadores descobriram e criaram:

1. O Problema: A Memória que "Enlouquece"

Atualmente, para criar vídeos longos, as IAs usam um método chamado "difusão autoregressiva". Elas criam um quadro, depois o próximo baseado no anterior, e assim por diante.

O erro: Com o tempo, pequenos erros se acumulam. Se a IA erra um pouco a cor do céu no quadro 10, no quadro 100 o céu pode ficar roxo ou o sol sumir.
O custo: Para evitar isso, a IA tenta guardar toda a história na memória (chamada de KV Cache). Para um vídeo de 1 minuto, essa memória é gigantesca, deixando a geração lenta e cara.

2. A Descoberta: O que a IA realmente lembra?

Os pesquisadores observaram algo curioso: mesmo que a IA tente olhar para tudo, ela naturalmente foca a atenção em apenas alguns momentos-chave da história.

Analogia: Pense em um filme. Você não lembra de cada segundo de cada cena, mas lembra das "cenas marcantes" (o momento em que o herói entra, o vilão aparece, a explosão). O resto é apenas "cenário" ou movimento contínuo.
A IA também percebeu que, no momento atual, ela só precisa olhar para os vizinhos imediatos, não para o filme inteiro de novo.

3. A Solução: O "Sparse Forcing" (Forçamento Esparsos)

O Sparse Forcing é como dar um "filtro de memória inteligente" para a IA. Em vez de tentar lembrar de tudo, ela aprende a fazer três coisas:

Guardar os "Momentos Ícones" (Memória Persistente): A IA identifica e guarda apenas os blocos de vídeo mais importantes que definem a história (quem são os personagens, qual é o cenário). Ela mantém esses "âncoras" vivas na memória o tempo todo, como se fossem fotos fixas na parede para não esquecer a identidade da cena.
Esquecer o Resto (Memória Local Esparsa): Para o que está acontecendo agora, ela não olha para todos os quadros anteriores. Ela olha apenas para uma pequena janela de vizinhança e escolhe, de forma dinâmica, apenas os detalhes mais importantes dentro dessa janela. É como ler apenas os parágrafos essenciais de um capítulo, ignorando as repetições.
Aprender a Fazer Sozinha: Diferente de métodos antigos que usavam regras fixas, esse sistema é "treinável". A IA aprende, durante o treino, quais momentos guardar e quais ignorar, ajustando-se sozinha para não errar a história.

4. O Resultado: Vídeos Melhores e Mais Rápidos

Graças a essa técnica (e a um "motor" especial de computador chamado PBSA que faz os cálculos rapidíssimos), os resultados são impressionantes:

Qualidade: Os vídeos longos (de 1 minuto) mantêm a coerência. O cavalo continua sendo o mesmo cavalo, e a cor do céu não muda aleatoriamente. A IA não "alucina" tanto.
Velocidade: Como a IA não precisa processar toda a memória antiga a cada novo quadro, ela gera o vídeo muito mais rápido (cerca de 1,2x a 1,3x mais rápido em vídeos longos).
Memória: O computador precisa de muito menos memória RAM para rodar o vídeo, permitindo criar filmes longos em máquinas mais comuns.

Resumo em uma Metáfora Final

Imagine que você está dirigindo um carro por uma estrada longa:

O método antigo (Self-Forcing): Você tenta olhar para o retrovisor o tempo todo, tentando lembrar de cada curva que fez desde o início da viagem. Isso cansa, você se distrai e acaba saindo da pista.
O método novo (Sparse Forcing): Você olha para o retrovisor apenas para lembrar de onde você começou e quem está no banco do passageiro (os momentos ícones). Para o resto da estrada, você foca apenas no asfalto à frente e nas curvas imediatas. Você dirige mais rápido, com mais segurança e chega ao destino com a história intacta.

Em suma, o Sparse Forcing ensina a IA a ter uma memória seletiva e inteligente, permitindo criar filmes longos e bonitos sem que o computador fique sobrecarregado ou a história perca o sentido.

Título: Sparse Forcing: Atenção Esparsa Nativa Treinável para Geração de Vídeo Autoregressivo em Tempo Real

1. O Problema

A geração de vídeo de alta fidelidade, especialmente em horizontes longos (vídeos de 20 segundos a 1 minuto), enfrenta dois desafios principais quando utiliza modelos de difusão autoregressivos (AR):

Acúmulo de Erros (Exposure Bias): Em modelos AR, o modelo deve condicionar suas previsões futuras em suas próprias previsões passadas. Isso leva a um descompasso entre o treinamento (onde se usa o histórico real) e a inferência (onde se usa o histórico gerado), causando erros cumulativos, "drift" (desvio) de cor e instabilidade temporal ao longo do tempo.
Ineficiência Computacional e de Memória: A atenção completa (bidirecional ou causal densa) sobre toda a sequência de tokens tem complexidade quadrática em relação ao comprimento do contexto. Para vídeos longos, o cache de Chaves e Valores (KV Cache) torna-se proibitivo em termos de memória (ex: 44,9 GB para um vídeo de 1 minuto em um modelo de 1,3B parâmetros) e a latência de decodificação é alta.

Técnicas existentes de esparsidade muitas vezes são estáticas (padrões fixos) ou não são treináveis nativamente, falhando em capturar a dinâmica complexa de memória necessária para vídeos longos.

2. Metodologia: Sparse Forcing

Os autores propõem o Sparse Forcing, um paradigma de treinamento e inferência que combina uma observação empírica sobre o comportamento da atenção com um mecanismo de esparsidade nativa treinável.

Observações Empíricas Chave:
Ao analisar rollouts (gerações sequenciais) de difusão autoregressiva, os autores identificaram dois padrões de atenção:

Persistência Agrupada Verticalmente: Um pequeno subconjunto de blocos visuais históricos (âncoras persistentes) concentra a maior parte da atenção ao longo do tempo, formando uma "memória implícita" que mantém a identidade do sujeito e o layout da cena.
Esparsidade de Blocos Localmente Estruturada: Dentro da janela de contexto recente, a atenção exibe um padrão esparsamente diagonal, indicando que apenas vizinhanças locais específicas são relevantes, permitindo a remoção de computação redundante.

Arquitetura Proposta:
O Sparse Forcing decompõe a memória em duas partes dentro do KV Cache:

Memória Persistente ( $P_t$ ): Um conjunto fixo e limitado de blocos espaciais-temporais que atuam como âncoras globais. Esses blocos são selecionados dinamicamente com base em sua relevância histórica (usando um mecanismo de Top-C sobre representações comprimidas de blocos) e são mantidos ao longo de todo o processo de geração.
Janela Local ( $L_t$ ): Uma janela deslizante contendo os blocos mais recentes. Dentro desta janela, aplica-se Atenção Esparsa de Blocos (Block-Sparse Attention), onde apenas um subconjunto dinâmico de blocos vizinhos (selecionado via Top-K) é computado para cada bloco de consulta.

Mecanismo de Treinamento:
Para evitar o descompasso entre treinamento e teste, o modelo é treinado com a própria lógica de cache dinâmico e atenção esparsa. Utiliza-se Distribution Matching Distillation (DMD) para distilar um modelo de difusão bidirecional pré-treinado em um gerador causal autoregressivo, aprendendo a atualizar a memória persistente e a selecionar blocos locais durante o processo de difusão.

Implementação Eficiente (PBSA):
Para viabilizar isso em escala, os autores desenvolveram o kernel Persistent Block-Sparse Attention (PBSA). Este kernel GPU otimizado (usando ThunderKittens) suporta:

Transporte de memória persistente entre passos autoregressivos.
Seleção dinâmica de blocos não persistentes.
Atualizações seletivas de memória, reduzindo drasticamente a sobrecarga de E/S e computação.

3. Contribuições Principais

Identificação de Fenômeno Empírico: Demonstraram que tokens de vídeo em modelos AR exibem persistência espacial-temporal forte no KV Cache, que é ignorada por métodos de condicionamento baseados apenas em recência.
Sparse Forcing: Introduziram um paradigma de esparsidade nativa treinável que melhora a consistência visual de longo prazo e reduz a latência, mantendo uma memória compacta de "âncoras" e aplicando esparsidade local.
Kernel PBSA: Desenvolveram uma implementação de kernel de GPU altamente eficiente que acelera a atenção esparsa e as atualizações de memória, tornando o treinamento e a inferência de vídeos longos viáveis e rápidos.

4. Resultados Experimentais

Os experimentos foram realizados em um modelo base de 1,3B parâmetros (baseado no Wan2.1) gerando vídeos de 5 segundos, 20 segundos e 1 minuto.

Qualidade (VBench):
- Em vídeos de 5 segundos, o Sparse Forcing superou o Self-Forcing (baseline) com uma pontuação VBench de +0,26, mantendo maior coerência semântica e qualidade visual.
- Em vídeos de 20 segundos, a melhoria foi de +0,68 pontos VBench.
- Em vídeos de 1 minuto, a melhoria foi dramática, com +2,74 pontos VBench, demonstrando uma capacidade superior de manter a estabilidade e evitar o drift visual em horizontes longos.
Eficiência e Latência:
- Velocidade: O método entregou um speedup de 1,11x a 1,17x em vídeos curtos e 1,22x a 1,27x em vídeos longos (20s e 1min) em comparação com o Self-Forcing.
- Memória: Redução de 42% na pegada de pico do KV Cache, permitindo a geração de vídeos longos em hardware com memória limitada.
Desempenho do Kernel: O kernel PBSA mostrou speedups de 1,16x a 11,11x em relação ao FlashAttention-2, dependendo do nível de esparsidade e do tamanho da sequência.

5. Significado e Impacto

O trabalho do Sparse Forcing é significativo porque:

Resolve o Dilema Qualidade-Eficiência: Mostra que a esparsidade não é apenas uma otimização de hardware, mas uma ferramenta para controlar a propagação de erros em modelos generativos, melhorando a qualidade da geração ao mesmo tempo que reduz custos computacionais.
Viabiliza Vídeo Longo em Tempo Real: Ao reduzir drasticamente a memória e a latência, torna possível a geração de vídeos de minutos de duração em tempo real ou quase real, algo que era proibitivo com atenção densa.
Avanço em Arquiteturas Híbridas: Estabelece um novo padrão para modelos de difusão autoregressivos, combinando a estabilidade da difusão com a eficiência da atenção esparsa nativa e treinável, superando as limitações de métodos de condicionamento estático ou baseados apenas em janelas deslizantes.

Em resumo, o Sparse Forcing oferece uma solução robusta para a escalabilidade de modelos de vídeo, permitindo gerações longas, estáveis e de alta qualidade com recursos computacionais reduzidos.