Resumo Técnico: Atender Localmente, Lembrar Linearmente (ARL2)

1. Declaração do Problema

A difusão de vídeo autoregressiva (AR) emergiu como um paradigma líder para geração de vídeo em streaming e interativa devido à sua formulação causal, por blocos. No entanto, os modelos existentes de difusão de vídeo AR dependem de auto-atenção softmax dentro de Transformers de Difusão (DiTs). Essa dependência introduz um gargalo fundamental de escalabilidade:

• Cálculo Quadrático e Memória Linear: O mecanismo de atenção padrão incorre em complexidade computacional $O(N^2)$ e uso de memória $O(N)$ em relação ao comprimento da sequência $N$ (quadros de vídeo).
• Crescimento do Cache KV: Para manter a consistência temporal, esses modelos acumulam um cache de Chave-Valor (KV) que cresce linearmente a cada bloco gerado. Para um vídeo de 5 segundos em 480p, o cache KV pode exceder 34 GB, superando os próprios parâmetros do modelo.
• Limitações das Remédios Existentes: Soluções atuais como atenção esparsa, quantização de cache KV ou descarte reduzem custos por passo ou limitam a memória, mas falham em eliminar simultaneamente o crescimento linear da memória e gerenciar efetivamente o contexto em streaming. A atenção esparsa ainda depende de um cache em crescimento; o descarte elimina irreversivelmente o contexto passado.

O desafio central é converter um modelo pré-treinado de difusão de vídeo AR em uma arquitetura híbrida que alcance memória constante ($O(1)$) e escalabilidade de tempo linear sem sacrificar a fidelidade espacial das interações intra-quadro ou a consistência temporal da geração inter-quadro.

2. Metodologia: ARL2

Os autores propõem ARL2 (Atender Localmente, Lembrar Linearmente), um módulo de atenção híbrida que decompõe a auto-atenção em dois ramos distintos para abordar a natureza heterogênea da atenção em vídeo:

2.1 Decomposição da Atenção Híbrida

O modelo divide a atenção em:

1. Ramo Intra-Quadro (Atender Localmente): Preserva a atenção bidirecional softmax original dentro de cada quadro. Este ramo captura correlações espaciais de alta granularidade e dependências locais, que são críticas para a fidelidade visual. Ele reutiliza as projeções pré-treinadas congeladas para manter o detalhe espacial sem introduzir latência adicional, pois todos os tokens de um quadro são decodificados conjuntamente.
2. Ramo Inter-Quadro (Lembrar Linearmente): Substitui o cache KV em crescimento por um estado recorrente de tamanho fixo ($S$). Este ramo utiliza mecanismos de Rede Delta com Portão (GDN) para manter o contexto temporal de longo alcance.
   • Adaptação: Como as projeções pré-treinadas $Q, K, V$ são otimizadas para softmax, o modelo introduz mapas de características agrupados $1\times1$ por cabeça ($\phi_q, \phi_k, \phi_v$) para adaptar as representações ao domínio de recorrência linear.
   • Atualização do Estado: O estado $S_N$ é atualizado usando uma regra com portão: $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$, onde $\alpha$ (portão de esquecimento) e $\beta$ (taxa de aprendizado) são projeções aprendidas por token.
   • Saída: A saída inter-quadro é calculada como $O_{inter} = Q'_N S_{N-1}$.

2.2 Gerenciamento do Estado de Memória

Para evitar que o estado recorrente seja corrompido por passos intermediários ruidosos ou introduza assimetria intra-quadro, o ARL2 emprega dois mecanismos específicos:

• Acesso por Nível de Quadro: Todos os tokens dentro de um único quadro consultam o mesmo estado pré-atualização ($S_{N-1}$). O estado é atualizado apenas após todo o quadro ser processado. Isso garante contexto cruzado consistente para todos os tokens no quadro atual.
• Atualizações de Passagem Limpa: Durante o loop de remoção de ruído de múltiplos passos, o modelo consulta o estado, mas não o atualiza. O estado é atualizado apenas após a produção da última passagem "limpa" do quadro. Isso impede que intermediários ruidosos contaminem a memória de longo alcance e reduz as escritas de estado de uma por passo de remoção de ruído para uma por quadro.

2.3 Pipeline de Treinamento: Destilação em Duas Etapas

Em vez de treinar do zero, os autores propõem um pipeline eficiente de destilação em duas etapas para converter um modelo pré-treinado de Forçamento Causal:

• Etapa 1 (Destilação e Seleção por Camada): Cada uma das 30 camadas de atenção é destilada independentemente. Os autores introduzem a análise de Taxa de Recuperação de Atenção (ARR) para classificar as camadas em "Recuperáveis-Híbridas" (HR) e "Sensíveis-Híbridas" (HS).
  • Dimensões HR: Consistência do sujeito, consistência do fundo, suavidade do movimento e qualidade estética (recuperáveis >85%).
  • Dimensões HS: Qualidade da imagem (sensíveis, recuperando apenas ~25%).
  • Seleção de Camada: Um mecanismo de pontuação ($p_\ell$) prioriza a substituição de camadas que são menos sensíveis à dimensão HS, garantindo que camadas críticas para a qualidade da imagem mantenham a atenção softmax.
• Etapa 2 (Destilação Conjunta): O modelo híbrido (com camadas selecionadas substituídas) é ajustado conjuntamente de ponta a ponta contra o professor congelado, correspondendo ao campo de velocidade previsto para garantir operação coerente em todas as camadas.

3. Principais Contribuições

1. Primeira Difusão de Vídeo AR Híbrida: Este é o primeiro trabalho a converter um modelo pré-treinado de difusão de vídeo AR em uma arquitetura de atenção linear híbrida, permitindo geração em streaming com memória constante sem retreinamento do zero.
2. Decomposição Consciente de Função: O design respeita explicitamente a heterogeneidade da atenção em vídeo, mantendo softmax bidirecional para detalhe espacial enquanto usa recorrência linear para memória temporal.
3. Gerenciamento de Estado Estável: A introdução de acesso por nível de quadro e atualizações de passagem limpa resolve os desafios específicos de aplicar atenção linear recorrente à remoção de ruído iterativa de difusão, prevenindo assimetria de contexto e corrupção de memória.
4. Estratégia de Destilação Eficiente: Um pipeline de destilação em duas etapas guiado por sensibilidade que minimiza a degradação de desempenho enquanto maximiza os ganhos de eficiência.

4. Resultados Experimentais

Os autores avaliaram o ARL2 no benchmark VBench em vários comprimentos de vídeo (de 81 a 921 quadros) usando um modelo de 1,3 bilhão de parâmetros.

• Eficiência:
  • Memória: Alcançou até 54% de redução de memória (ex: 40,5 GB vs. 87,9 GB para 921 quadros) e manteve uso de memória constante independentemente do comprimento do vídeo, enquanto as linhas de base falharam em 1005 quadros devido a OOM (esgotamento de memória).
  • Velocidade: Alcançou até 2,26× de aceleração no tempo real em 921 quadros. A aceleração escala com o comprimento do vídeo à medida que a sobrecarga do cache KV se torna dominante.
• Qualidade:
  • ARL2 (50% de substituição): Igualou ou superou o professor softmax na qualidade geral, com melhorias específicas em Piscar Temporal (+0,99) e Suavidade do Movimento (+1,35).
  • ARL2 (75% de substituição): Mantive qualidade competitiva (dentro de ~1% da linha de base na Qualidade da Imagem) enquanto alcançava ganhos máximos de eficiência.
  • Comparação: O ARL2 (50%) superou outros modelos destilados e igualou o muito maior MAGI-1 (4,5B) com 3,5× menos parâmetros.
• Ablações:
  • Remover o ramo híbrido ou usar acesso por nível de token degradou o desempenho, confirmando a necessidade de ambos os ramos e do compartilhamento de estado por nível de quadro.
  • O portão por cabeça forneceu o melhor equilíbrio entre desempenho e eficiência de parâmetros.

5. Significado e Alegações

O artigo afirma que o ARL2 aborda fundamentalmente o gargalo de escalabilidade da difusão de vídeo autoregressiva. Ao desacoplar a modelagem espacial e temporal, ele permite síntese de vídeo de longa duração que era anteriormente inviável devido a restrições de memória. Os autores enfatizam que sua abordagem permite geração de vídeo em streaming com memória constante, tornando-a adequada para aplicações interativas e em tempo real.

O trabalho demonstra que é possível manter a modelagem espacial de alta qualidade da atenção softmax enquanto substitui o mecanismo temporal intensivo em memória por um estado recorrente linear. A destilação em duas etapas proposta prova que tais mudanças arquitetônicas podem ser transferidas eficientemente para modelos pré-treinados com parâmetros treináveis mínimos (<2%) e custo computacional (~156 horas de GPU H100), oferecendo um caminho prático para a geração de vídeo escalável.