DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion

Resumo Técnico: DynamicRad

1. O Problema

Os geradores de vídeo baseados em difusão (como HunyuanVideo e Wan2.1) alcançaram alta fidelidade visual, mas escalar esses modelos para horizontes temporais longos e alta resolução permanece um desafio crítico.

• Custo Computacional Quadrático: O mecanismo de autoatenção (self-attention) cresce quadraticamente com o número de tokens espaciotemporais ($O(N^2)$), tornando-se um gargalo de memória e computação.
• Limitações das Soluções Atuais:
  • Padrões Estáticos: Métodos que usam máscaras fixas (ex: Radial Attention) são eficientes, mas rígidos. Eles falham em cenas complexas com movimento dinâmico, onde dependências de longo alcance são essenciais.
  • Esparsidade Dinâmica: Métodos que se adaptam ao conteúdo frequentemente introduzem sobrecarga computacional excessiva (overhead) ou instabilidade durante a inferência em escala.

2. Metodologia: DynamicRad

O DynamicRad propõe um paradigma unificado de atenção esparsa que combina esparsidade estruturada com adaptabilidade baseada no conteúdo, fundamentado em um prior de localidade radial.

Componentes Principais:

• Estrutura de Janela Radial Logarítmica:

  • A atenção é restrita a uma janela que decai exponencialmente com a distância temporal e espacial.
  • Utiliza uma partição de vizinhança dinâmica onde a largura da janela $L(t)$ é calculada com base na distância temporal $t$ e um fator de decaimento $\gamma$.
  • Introduz um fator de "longo alcance" ($\lambda$) para capturar dependências periódicas (ex: movimentos repetitivos), permitindo a seleção de quadros distantes com base em uma regra de "split" (divisão).

• Estratégia de Duplo Modo (Dual-Mode):
  O sistema opera em dois modos mutuamente exclusivos dentro do mesmo conjunto de candidatos estruturados:

  1. Modo Static-Ratio (Foco em Throughput): Seleciona tokens com base em uma taxa de retenção fixa determinada pelo estado de decaimento. Ideal para implantação otimizada para velocidade, sem sobrecarga de pontuação de conteúdo.
  2. Modo Dynamic-Threshold (Foco em Qualidade): Usa os logits de atenção (pré-softmax) como proxies de importância. Aplica um limiar adaptativo para filtrar tokens, preservando interações críticas de longo alcance que padrões estáticos poderiam cortar.

• Roteador de Movimento Semântico (Semantic Motion Router):

  • Para evitar a busca online cara, o sistema utiliza um módulo leve (MLP de 2 camadas) que mapeia os embeddings do prompt de texto para um regime de movimento global (Baixo, Médio, Alto).
  • Isso permite prever a configuração de esparsidade ideal antes da geração do vídeo.

• Otimização Bayesiana Offline (Offline BO):

  • Em vez de buscar parâmetros durante a inferência, o DynamicRad utiliza um pipeline de Otimização Bayesiana (BO) em uma tarefa proxy baseada em física (simulando a evolução de características de vídeo).
  • O BO otimiza o erro de reconstrução (MSE) da atenção esparsa em relação à densa, gerando uma tabela de consulta (lookup table) de configurações ótimas para cada regime de movimento.

• LoRA Consciente de Máscara (Mask-Aware LoRA):

  • Para compensar a perda de informação causada pela esparsidade agressiva, aplica-se um ajuste fino eficiente em parâmetros (PEFT) apenas nas camadas de projeção sensíveis à máscara, melhorando a coerência temporal sem re-treinar todo o modelo.

3. Contribuições Chave

1. Framework Unificado: Combina a eficiência de hardware de padrões estáticos (como Radial Attention) com a flexibilidade de métodos dinâmicos, sem redes auxiliares complexas.
2. Implantação Robusta e Rápida: A combinação de roteamento semântico e configuração via BO offline permite adaptação instantânea (< 2ms de overhead) sem necessidade de busca online ou re-treinamento do backbone.
3. Desempenho Superior: Demonstra que a esparsidade não precisa sacrificar a qualidade; em alguns cenários de sequências longas, o modo dinâmico supera a linha de base densa.

4. Resultados Experimentais

Os experimentos foram realizados nos modelos HunyuanVideo e Wan2.1-14B com resoluções de até 768p e sequências longas (até 241 quadros).

• Aceleração de Inferência:
  • O DynamicRad alcança um speedup de 1.7× a 2.54× em comparação com a atenção densa original.
  • No cenário HunyuanVideo-241f, o modo estático reduziu o tempo de inferência para 324s (vs. 824s da original), um ganho de 2.54×.
• Qualidade e Eficiência:
  • Alcança >80% de esparsidade efetiva.
  • O modo dinâmico, em alguns casos, supera a linha de base densa em métricas de qualidade (ex: VisionReward 0.131 vs. 0.116 no HunyuanVideo-241f), devido ao efeito de filtragem de ruído e tokens irrelevantes.
  • A coerência temporal (VBench S.C.) é mantida ou melhorada, especialmente com o uso do LoRA consciente de máscara.
• Eficiência Computacional:
  • O roteador de movimento e a pontuação proxy adicionam menos de 0.5ms por camada, um custo insignificante comparado à economia de tempo na multiplicação de matrizes (GEMM).

5. Significado e Impacto

O DynamicRad representa um avanço significativo na viabilidade de geração de vídeo de longa duração em hardware comercial.

• Quebra do Dilema Eficiência-Qualidade: Demonstra que é possível obter acelerações massivas sem degradar a fidelidade visual, superando a fronteira de Pareto atual.
• Adaptabilidade Inteligente: A abordagem de usar o prompt de texto para prever regimes de movimento e ajustar a esparsidade dinamicamente resolve o problema de rigidez dos métodos estáticos anteriores.
• Escalabilidade: Oferece uma solução prática para modelos de difusão de vídeo de próxima geração, permitindo a geração de vídeos longos e complexos sem exigir clusters de GPU massivos para inferência.

Em resumo, o DynamicRad estabelece um novo padrão para atenção esparsa em vídeo, equilibrando rigor matemático (decaimento de energia radial), otimização offline inteligente e adaptação em tempo real ao conteúdo semântico.