Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation

1. Declaração do Problema

Os Transformadores de Difusão (DiTs) são a arquitetura mais avançada para geração de vídeo de alta qualidade, mas sofrem com problemas graves de latência. O principal gargalo é a complexidade computacional quadrática dos mecanismos de autoatenção espaço-temporal 3D. Por exemplo, gerar um vídeo de 5 segundos com o HunyuanVideo em uma GPU A100 leva quase uma hora, sendo que a atenção responde por mais de 80% do tempo de execução.

Embora a atenção esparsa (calculando apenas tokens "críticos") ofereça uma solução teórica, os métodos existentes falham em alcançar equilíbrios ótimos entre qualidade e eficiência devido a duas falhas fundamentais:

1. Identificação Inexata de Tokens Críticos: Os métodos atuais agrupam tokens com base na posição (por exemplo, agrupando tokens consecutivos em blocos) em vez de semântica. Isso leva a representações agregadas (via pooling médio/máximo) que não são representativas das ativações reais dos tokens, causando a seleção de tokens não críticos e a omissão de tokens críticos.
2. Desperdício Excessivo de Computação: Mesmo que tokens críticos sejam identificados, eles frequentemente estão dispersos de forma não contígua no tensor. O hardware moderno (por exemplo, Tensor Cores da NVIDIA) é otimizado para multiplicação de matrizes densa e contígua. Processar tokens dispersos exige preenchimento com tokens não críticos para atender às restrições de hardware (por exemplo, blocos de 16x16), levando a até 80% de computação desperdiçada.

2. Metodologia: SVG2

Os autores propõem o SVG2, um framework livre de treinamento que alcança uma fronteira de Pareto entre qualidade de geração e eficiência. A inovação central é a Permutação Consciente de Semântica, integrada ao controle dinâmico de orçamento e kernels personalizados.

A. Permutação Consciente de Semântica (A Ideia Central)

Em vez de agrupar tokens por posição, o SVG2 os agrupa por similaridade semântica usando agrupamento k-means nos vetores de Query ($Q$) e Key ($K$) antes da etapa de atenção.

• Agrupamento: Os tokens $Q$ e $K$ são agrupados independentemente em $C_q$ e $C_k$ grupos. Tokens dentro do mesmo grupo compartilham ativações semânticas similares.
• Permutação: Os tokens são reordenados (permutados) para que tokens semanticamente similares estejam fisicamente contíguos na memória.
• Benefício:
  • Identificação Aprimorada: Representações agregadas (centroides) desses grupos semanticamente coerentes são altamente precisas, permitindo uma estimativa precisa das pontuações de atenção.
  • Redução de Desperdício: Tokens críticos agrupam-se naturalmente. Após a permutação, os tokens críticos formam blocos densos e contíguos, eliminando a necessidade de preenchimento e maximizando a utilização do hardware.
• Equivalência Matemática: As matrizes de permutação ($\pi_q, \pi_k$) são aplicadas de modo que a saída final $O'$ seja matematicamente equivalente à saída original de atenção densa $O$, garantindo nenhuma perda na expressividade teórica.

B. Seleção Top-p Baseada em Centroides

Para determinar dinamicamente o orçamento computacional sem ajuste manual:

• Aproximação por Centroides: Em vez de calcular pontuações de atenção completas, o SVG2 calcula pontuações entre centroides de grupos.
• Estratégia Top-p: Os grupos são classificados por suas pontuações de atenção estimadas. O sistema seleciona grupos sequencialmente até que a pontuação cumulativa atinja um limiar predefinido $p$. Isso permite a alocação dinâmica da "densidade" (porcentagem de tokens computados) com base na complexidade do quadro ou prompt específico.

C. Co-Design Sistema-Algoritmo

Para garantir que o método seja prático e rápido:

1. Cache de Centroides: Como as ativações do DiT mudam lentamente entre os passos de remoção de ruído, o SVG2 armazena em cache os centroides do passo anterior para inicializar o k-means no próximo passo. Isso reduz o tempo de convergência do k-means em 76×.
2. Kernel de Atenção Personalizado: Bibliotecas existentes (por exemplo, FlashAttention) suportam tamanhos de blocos fixos. O SVG2 implementa um kernel personalizado (compatível com FlashInfer, FA2 e FA3) que lida com tamanhos de blocos dinâmicos. Ele usa carregamento esparsa para tokens Key/Value dispersos e computação densa para tokens Query contíguos, alcançando >85% do desempenho de pico teórico sem desperdício de preenchimento.

3. Principais Contribuições

1. Permutação Consciente de Semântica: Uma técnica inovadora que reordena tokens com base na similaridade semântica em vez de posição, resolvendo simultaneamente os problemas de precisão de identificação e desperdício de hardware.
2. Framework Livre de Treinamento: Diferentemente de muitos métodos de aceleração que exigem ajuste fino, o SVG2 é plug-and-play e funciona com modelos DiT pré-treinados existentes.
3. Alcanço da Fronteira de Pareto: O SVG2 supera consistentemente os métodos existentes de atenção esparsa (tanto estáticos quanto dinâmicos) no espaço de compromisso qualidade-eficiência.
4. Implementação de Sistema: O desenvolvimento de um kernel de atenção personalizado e um mecanismo de cache de centroides que preenche a lacuna entre esparsidade algorítmica e eficiência de hardware.

4. Resultados Experimentais

O framework foi avaliado no HunyuanVideo (13B) e no Wan 2.1 (14B) para geração de vídeo em 720p em GPUs NVIDIA H100.

• Aceleração:
  • HunyuanVideo: Alcançou até 2,30× de aceleração ponta a ponta (Latência reduzida de 30 min para ~13 min).
  • Wan 2.1: Alcançou até 1,89× de aceleração (Latência reduzida de 30 min para ~16 min).
• Qualidade:
  • Mantive alta fidelidade visual com PSNR de até 30,45 (Hunyuan) e 25,81 (Wan).
  • Superou as linhas de base (Sparse VideoGen, SpargeAttention, XAttention) nas métricas PSNR, SSIM e LPIPS na mesma densidade computacional.
• Eficiência:
  • Reduziu a densidade computacional (FLOPs) em até 2,3× enquanto mantinha a mesma qualidade de geração que a atenção densa.
  • O kernel personalizado reduziu significativamente o desperdício de computação em comparação com abordagens de tamanho de bloco estático.

5. Significado

Este artigo aborda um gargalo crítico na implantação de modelos de vídeo generativos. Ao migrar da esparsidade baseada em posição para a baseada em semântica, o SVG2 demonstra que o design algorítmico consciente de hardware pode desbloquear acelerações massivas sem sacrificar a alta fidelidade exigida para geração de vídeo profissional. A natureza "livre de treinamento" da abordagem torna-a imediatamente aplicável ao cenário em rápida evolução de modelos de vídeo de código aberto, potencialmente democratizando o acesso à geração de vídeo de alta qualidade ao reduzir custos e tempo de inferência.