Resumo Técnico: FAST-AR

Declaração do Problema

Modelos de difusão autoregressivos de vídeo permitem a geração em streaming, facilitando a síntese de longa duração, modelos de mundo de vídeo e motores de jogos neurais interativos. No entanto, esses modelos enfrentam um gargalo crítico durante a inferência: o cache KV (Key-Value) cresce linearmente com o número de quadros gerados. Esse crescimento leva a dois problemas fundamentais:

1. Latência Crescente: À medida que o cache se expande, o custo de atenção por etapa escala linearmente (e o trabalho cumulativo escala quadraticamente, $O(T^2)$), fazendo com que a velocidade de geração degrade progressivamente ao longo de rollouts longos.
2. Explosão de Memória: O cache em expansão consome cada vez mais memória de GPU, muitas vezes forçando janelas de contexto curtas que prejudicam a consistência temporal de longo alcance.

Soluções existentes de NLP (compressão de KV para LLMs) não se transferem diretamente para a difusão de vídeo, e métodos recentes específicos para vídeo oferecem apenas acelerações modestas, muitas vezes ao custo da qualidade visual ou ao falharem em estabilizar o uso de memória ao longo do tempo.

Metodologia: FAST-AR

Os autores propõem o FAST-AR (Fast AutoRegressive diffusion), um framework de atenção unificado, livre de treinamento (training-free), projetado para explorar a redundância na geração de vídeo autoregressiva. O framework consiste em três componentes principais, todos aproveitando o correspondência de Vizinho Mais Próximo Aproximado (ANN - Approximate Nearest Neighbor) rápido para reduzir a computação e a memória sem retreinar o modelo subjacente.

1. Motivação: Fontes de Redundância

Os autores identificam três fontes persistentes de redundância na difusão de vídeo autoregressiva:

• Redundância de Chave Temporal (Temporal Key Redundancy): Chaves em cache entre quadros são frequentemente quase duplicatas, pois o conteúdo semântico evolui lentamente.
• Evolução Semântica de Query/Key: Queries e chaves são amplamente semânticas e evoluem lentamente, tornando o cálculo de muitos escores de atenção redundante.
• Esparsidade de Cross-Attention: Em prompts longos, apenas um pequeno subconjunto de tokens é relevante para sintetizar um quadro específico; atender a todos os tokens é computacionalmente dispendioso.

2. Componentes Principais

A. TempCache (Compressão de Cache Temporal)

• Objetivo: Comprimir o cache KV identificando e fundindo tokens temporalmente correspondentes.
• Mecanismo: Em vez de computar matrizes de atenção completas para encontrar correspondências, o método utiliza ANN leve (Locality-Sensitive Hashing ou Quantização) para encontrar o vizinho mais próximo (top-1) de cada query do quadro atual em quadros anteriores.
• Base Teórica: Baseado no Lema 5.1, os autores provam que fundir chaves idênticas não acarreta erro de aproximação se os valores forem agregados (média) e os logits forem deslocados pelo tamanho do grupo. Na prática, as chaves são fundidas com base em um limiar de similaridade.
• Benefício: Isso limita o crescimento do cache KV, garantindo que o uso de memória e a latência permaneçam constantes, independentemente do comprimento da geração.

B. AnnCA (Cross-Attention de Vizinho Mais Próximo Aproximado)

• Objetivo: Acelerar a cross-attention selecionando apenas tokens de prompt relevantes para o quadro.
• Mecanismo: O método projeta tanto as queries latentes quanto as chaves do prompt em um espaço de embedding compartilhado (LSH ou quantizado). Ele identifica tokens de prompt que compartilham um "bucket" com pelo menos uma query do quadro atual. Tokens que não possuem um bucket correspondente são podados para aquele quadro.
• Benefício: Reduz drasticamente o número de tokens de prompt processados por quadro sem computar mapas de atenção densos.

C. AnnSA (Self-Attention de Vizinho Mais Próximo Aproximado)

• Objetivo: Tornar a self-attention esparsa, restringindo as queries a chaves semanticamente correspondentes.
• Mecanismo: Reutilizando os buckets semânticos descobertos durante a fase de poda da cross-attention, o método restringe a query de cada token para atender apenas às chaves dentro do mesmo bucket (ou buckets) semântico.
• Benefício: Impõe localidade semântica e reduz o custo quadrático da self-attention para uma operação de esparsidade de bloco (block-sparse) usando kernels eficientes (ex: FlashInfer).

Resultados Principais

Experimentos foram conduzidos em modelos de estado da arte (Rolling-Forcing e LongVie2) utilizando os datasets LongVBench e LongVGenBench.

• Aceleração (Speedup): O FAST-AR alcança acelerações end-to-end de 5× a 10.8× em comparação com a FlashAttention-3 (FA3) densa.
  • O TempCache sozinho proporciona um aumento de ~3×.
  • Combinar o TempCache com AnnSA e AnnCA gera os ganhos máximos (até ×10.8).
• Preservação de Qualidade: O método mantém uma qualidade visual quase idêntica à da baseline densa.
  • As pontuações PSNR, SSIM e LPIPS permanecem comparáveis à atenção densa.
  • As pontuações VBench (qualidade perceptual) são preservadas (~84.0 vs. 84.1 da baseline).
  • Em contraste, as baselines de atenção esparsa existentes (SVG, RadialAttn) degradam significativamente a qualidade (VBench cai para ~33–61) ou falham em manter o throughput.
• Estabilidade:
  • Throughput: Enquanto a atenção densa e outras baselines desaceleram conforme o contexto cresce (3000 quadros), o FAST-AR mantém um FPS constante.
  • Memória: O uso de memória de GPU de pico permanece quase constante ao longo de rollouts longos, enquanto as baselines exibem crescimento linear de memória.

Significância e Alegações

O artigo afirma que o FAST-AR é a primeira aplicação livre de treinamento (training-free) de atenção baseada em ANN especificamente para modelos de difusão autoregressivos. Sua principal significância reside em:

1. Escalabilidade: Permite a geração de vídeos de vários minutos (ex: 3000 quadros) em uma única GPU com latência e memória estáveis, uma capacidade anteriormente restrita pelo escalonamento $O(T^2)$ da atenção.
2. Eficiência sem Retreinamento: Ao contrário de métodos que exigem fine-tuning ou receitas de treinamento complexas, o FAST-AR opera como um framework de inferência plug-in compatível com backbones existentes.
3. Robustez: Aborda com sucesso os padrões específicos de redundância da difusão de vídeo (correspondência temporal e esparsidade semântica) que métodos genéricos de compressão de NLP ou aceleração de vídeo offline não conseguem lidar efetivamente.

Os autores enfatizam que sua abordagem desbloqueia a viabilidade prática de modelos de mundo de vídeo autoregressivos e síntese de longa duração ao remover as barreiras computacionais e de memória que atualmente limitam a extensão de seus rollouts.