💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad é um framework de destilação de atenção subquadrática que comprime Video Diffusion Transformers pré-treinados para alcançar uma complexidade de $\mathcal{O}(n\sqrt{n})$ , entregando qualidade de geração de vídeo de nível quadrático com custos computacionais significativamente reduzidos e velocidades de inferência mais rápidas.

Autores originais: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A criação de imagens em movimento com inteligência artificial tornou-se uma das fronteiras mais empolgantes da computação moderna. Esses sistemas, conhecidos como modelos de difusão de vídeo, funcionam começando com uma nuvem caótica de ruído estático e refinando-a gradualmente em uma cena coerente, quadro a quadro, com base em uma descrição de texto. Para entender como eles fazem isso, imagine uma vasta grade de minúsculos pixels digitais, onde cada pixel é um token carregando informações sobre cor, forma e tempo. O motor que impulsiona esses modelos é um mecanismo chamado autoatenção (self-attention). Esse mecanismo permite que cada um dos tokens do vídeo observe todos os outros tokens para decidir como eles devem se relacionar entre si. É essa conexão constante e onipresente que confere ao vídeo sua qualidade realista e garante que o movimento de um personagem no primeiro segundo corresponda à sua aparência no último. No entanto, esse poder vem com um preço alto. À medida que o vídeo se torna mais longo ou detalhado, o número de conexões que o sistema deve calcular explode, tornando o processo incrivelmente lento e caro, muitas vezes limitando os criadores a apenas alguns segundos de filmagem.

Pesquisadores da Qualcomm AI Research desenvolveram uma nova abordagem chamada SQuad para resolver esse problema sem sacrificar a qualidade do vídeo. Em vez de tentar simplificar as conexões complexas ou substituir o mecanismo central por uma alternativa mais barata e fraca, eles encontraram uma maneira de reorganizar como o sistema observa os dados. No método padrão, cada token deve verificar cada outro token, um processo que se torna ingerenciável à medida que o tamanho do vídeo aumenta. A equipe percebeu que, na geração de vídeo, a maioria dessas conexões é, na verdade, muito fraca; apenas um pequeno grupo crítico de tokens realmente precisa prestar atenção uns aos outros em qualquer momento dado. Com base nessa observação, eles projetaram um processo de duas etapas. Primeiro, o sistema agrupa tokens próximos em pequenas janelas e permite que eles misturem informações localmente. Em seguida, realiza uma segunda passagem para permitir que essas janelas se comuniquem entre si através de todo o vídeo. Essa estrutura permite que o modelo mantenha uma visão completa da cena enquanto reduz drasticamente o número de cálculos necessários.

Os resultados da aplicação deste método a um grande modelo de geração de vídeo chamado Wan 2.2 são impressionantes. Os pesquisadores pegaram um modelo poderoso, pré-treinado, e o ensinaram a usar este novo método de atenção simplificado através de um processo de destilação, onde o novo sistema aprende a imitar o comportamento do original. O resultado é um modelo que produz vídeos com qualidade visual quase idêntica ao original, pontuando quase o mesmo em testes rigorosos de qualidade, mas com uma redução massiva de custo. Enquanto o modelo original exigia 100 etapas para gerar um vídeo, a nova versão alcança resultados semelhantes em apenas seis etapas. Em termos de velocidade, o tempo necessário para processar uma única etapa da geração de vídeo caiu de aproximadamente 47 milissegundos para apenas 4 milissegundos. A quantidade de poder computacional necessário para essas etapas caiu por um fator de quase 67.

Este ganho de eficiência não é apenas uma melhoria teórica; ele se traduz diretamente no que o usuário experimenta. Ao serem testados em uma tarefa padrão de geração de vídeo de alta definição, o novo método gerou um vídeo em cerca de metade do tempo total do sistema original, mesmo considerando todo o pipeline de geração. Os pesquisadores compararam seu método com outras tentativas de acelerar a geração de vídeo, algumas das quais dependem de arquiteturas híbridas complexas que adicionam milhões de parâmetros extras ao modelo. Em contraste, a abordagem SQuad não requer memória adicional ou hardware especializado, encaixando-se perfeitamente nos sistemas existentes. Estudos com usuários confirmaram que as pessoas não conseguiram distinguir de forma confiável os vídeos feitos pelo modelo original, pesado, daqueles feitos pela nova versão eficiente. De fato, em uma comparação direta, uma parte significativa dos espectadores humanos preferiu os vídeos gerados pelo novo método.

A significância deste trabalho reside em seu equilíbrio. Tentativas anteriores de tornar esses modelos mais rápidos envolveram a substituição do poderoso mecanismo de atenção por aproximações lineares mais simples, o que frequentemente resultava em uma queda perceptível na qualidade do vídeo. O método SQuad evita essa armadilha mantendo intacta a operação matemática central, mas mudando a ordem em que ela é aplicada. Ele prova que a complexidade quadrática total de verificar cada token contra todos os outros não é estritamente necessária para alcançar resultados de alta fidelidade. Ao estruturar cuidadosamente o fluxo de informação, os pesquisadores mostraram que é possível gerar vídeos longos e de alta resolução com uma fração do custo computacional. Isso abre as portas para gerar cenas mais longas e complexas em hardware padrão, aproximando o campo do objetivo de criar conteúdo de vídeo ilimitado e de alta qualidade sem os atuais gargalos de tempo e energia.

Resumo Técnico: SQuad: Destilação de Atenção Sub-Quadrática para Geração de Vídeo Eficiente

Declaração do Problema

A geração de vídeo usando Diffusion Transformers (DiTs) é atualmente limitada pelo custo computacional do mecanismo de Auto-Atenção Softmax. Em DiTs padrão, a complexidade da atenção escala quadraticamente, $O(n^2)$ , com o número de tokens latentes $n$ . Para a geração de vídeo, onde $n$ representa um volume espaço-temporal (frequentemente atingindo dezenas de milhares de tokens), esse termo quadrático domina tanto o tempo de execução quanto a memória, limitando a resolução, duração e o rendimento (throughput) alcançáveis.

Soluções existentes tentam mitigar isso substituindo a Auto-Atenção Softmax por aproximações lineares $O(n)$ ou de baixo posto (low-rank) $O(nk)$, ou utilizando máscaras esparsas e arquiteturas híbridas. No entanto, essas abordagens frequentemente sofrem de um "gap de qualidade persistente", pois sacrificam a não-linearidade e a seletividade nítida e dependente da entrada do Softmax completo. Além disso, designs híbridos que intercalam blocos quadráticos caros com blocos eficientes introduzem complexidade arquitetônica e muitas vezes mantêm uma dependência das mesmas operações quadráticas que visam reduzir.

Metodologia: SQuad

Os autores propõem o SQuad (Sub-Quadratic Attention Distillation), um framework que reduz a complexidade da atenção para $O(n\sqrt{n})$ enquanto retém a operação Softmax genuína em todo o processo. Em vez de treinar um novo Video DiT do zero, o SQuad destila um DiT pré-treinado de softmax completo (especificamente os modelos Wan 2.2 5B e Wan 2.1 1.3B) para uma arquitetura modificada.

1. Operador de Atenção SQuad

A inovação central é um mecanismo de atenção de dois estágios que fatoriza a atenção completa $O(n^2)$ em uma Passagem Local e uma Passagem Global:

Passagem Local ( $Attn_L$ ): Os tokens se misturam dentro de janelas fixas de tamanho $w$ .
Passagem Global ( $Attn_G$ ): Tokens na mesma posição relativa dentro de cada janela se misturam através de todas as janelas.
Composição: A saída da passagem local é alimentada no fluxo de valor da passagem global. Esse aninhamento permite que a passagem global opere sobre tokens que já foram misturados localmente, recuperando um campo receptivo completo.
Complexidade: Ao definir o tamanho da janela como $w = \sqrt{n}$ , o método alcança uma complexidade de $O(n\sqrt{n})$ . Crucialmente, ambas as passagens utilizam o Softmax padrão, preservando a expressividade perdida em aproximações lineares.

2. Estratégia de Destilação

Como a substituição do operador de atenção altera a função computada pela rede, os pesos pré-treinados não são mais ótimos. Os autores empregam um processo de destilação de dois estágios:

Ajuste Fino Supervisionado de Flow-Matching (SFT): A rede é ajustada finamente em dados de vídeo (dataset VIPE 1M) para reposicionar os pesos sob a nova arquitetura de SQuad-Attention.
Destilação de Correspondência de Distribuição (DMD2): Um método de destilação de passo aprimorado é aplicado para recuperar a qualidade de geração perdida durante a mudança arquitetônica e para reduzir o número de Avaliações Funcionais Neurais (NFEs) necessárias para a amostragem.

Principais Contribuições

Complexidade Sub-Quadrática com Softmax Completo: O SQuad alcança complexidade $O(n\sqrt{n})$ sem abandonar a operação Softmax, abordando o gap de qualidade inerente às aproximações lineares ou de baixo posto.
Framework de Destilação: O artigo demonstra que um DiT quadrático pré-treinado pode ser efetivamente ajustado em uma arquitetura sub-quadrática via um processo de destilação de dois estágios (SFT + DMD2), evitando o custo proibitivo de treinar do zero.
Eficiência de Hardware: O método é projetado para ser amigável ao hardware, não exigindo kernels fundidos especializados ou otimizações de dispositivo, baseando-se, em vez disso, em reshaping de tensores padrão e blocos de atenção padrão.

Resultados Experimentais

O método foi avaliado nos modelos de texto-para-vídeo Wan 2.2 5B e Wan 2.1 1.3B.

Preservação de Qualidade: No Wan 2.2 5B, o SQuad alcança uma pontuação Total VBench de 83.20, igualando efetivamente a linha de base original de softmax completo (83.08). Em estudos de preferência do usuário, 35% dos usuários preferiram as gerações do SQuad sobre a linha de base, enquanto 31% as consideraram indistinguíveis.
Ganhos de Eficiência:
- Latência: O SQuad reduz a latência de atenção por bloco em aproximadamente 11× (de 47.10ms para 4.27ms) e a latência end-to-end do DiT em 2× (de 667ms para 314ms em modo compilado).
- Computação: Os TFLOPs de atenção são reduzidos em ~67× (de 4.205 para 0.063).
- Velocidade de Amostragem: O modelo destilado gera vídeos de alta qualidade em 6 NFEs, comparado aos 100 NFEs padrão do modelo original.
Comparação: O SQuad supera outros métodos de atenção eficiente (como VSA, Jenga, Radial Attention e Attention Surgery) em termos de latência e TFLOPs, mantendo qualidade comparável ou superior, sem exigir parâmetros aprendíveis adicionais (ao contrário de métodos que adicionam 72M–283M de pesos).

Significância e Alegações

O artigo afirma que o SQuad valida a hipótese de que a complexidade total $O(n^2)$ da comunicação token-a-token pode não ser necessária para a geração de vídeo de alta fidelidade. Ao propor um "meio termo" que retém a expressividade do Softmax através de uma fatoração sub-quadrática estruturada, o SQuad oferece um caminho prático para gerar vídeos mais longos e de maior resolução no hardware atual.

Os autores posicionam o SQuad não apenas como um alvo de destilação para modelos existentes, mas também como um candidato a mecanismo de atenção para pré-treinamento de grandes modelos do zero. Eles reconhecem que sua estratégia atual acopla a destilação de atenção com a destilação de passo (DMD2) e sugerem que trabalhos futuros poderiam isolar a mudança de atenção da aceleração de amostragem ou explorar a composição de mais de duas passagens para trocar profundidade por eficiência.