VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

Resumo Técnico: VideoMLA

Declaração do Problema
Modelos de difusão de vídeo causal com longos rollouts tornaram-se a abordagem dominante para geração de vídeo em streaming na escala de minutos. Esses modelos geralmente dependem de um cache de Chave-Valor (KV) de janela deslizante de tamanho fixo para manter a geração autoregressiva. Embora trabalhos recentes tenham inovado dentro dessa estrutura alterando a seleção de tokens, codificação posicional (por exemplo, Infinity-RoPE) ou estratégias de treinamento (por exemplo, Self-Forcing), eles preservam em grande parte o layout KV por cabeça. Na atenção densa padrão, cada token armazenado no cache guarda chaves e valores completos para todas as cabeças de atenção. Para um modelo como o Wan-1.3B, isso resulta em uma pegada de memória massiva (aproximadamente 6,0 GB para um cache de 21 quadros latentes), o que limita tamanhos de lote, vazão e o comprimento viável de rollouts de vídeo. Métodos eficientes existentes ou alteram completamente o mecanismo de atenção (por exemplo, atenção linear) ou armazenam em cache apenas camadas específicas, mas poucos abordam o custo de memória do estado KV por token, por cabeça, em todas as camadas armazenadas em cache.

Metodologia: VideoMLA
O artigo introduz o VideoMLA, a primeira aplicação de Atenção Latente Multi-Cabeça (MLA) à difusão de vídeo autoregressiva. O VideoMLA reestrutura fundamentalmente o cache KV substituindo chaves e valores densos por cabeça por uma representação de baixo posto compartilhada.

1. Latente de Conteúdo de Baixo Posto Compartilhado: Em vez de armazenar chaves ($K$) e valores ($V$) separados para cada uma das $n_h$ cabeças, o VideoMLA comprime o conteúdo de um token $x_t$ em um único vetor latente compartilhado $c^{KV}_t$ por meio de uma matriz de projeção para baixo $W^{KV}_\downarrow$. Esse latente possui dimensão $d_c \ll n_h d_h$.
2. Reconstrução Sob Demanda: Durante o cálculo da atenção, as chaves de conteúdo por cabeça ($k^{nope}_{t,h}$) e os valores ($v_{t,h}$) são reconstruídos a partir do latente compartilhado usando matrizes de projeção para cima específicas de cada cabeça ($W^K_\uparrow, W^V_\uparrow$).
3. 3D-RoPE Desacoplado: Para lidar com informações posicionais sem incorporá-las ao latente compartilhado (o que impediria o compartilhamento entre cabeças), o método divide a dimensão por cabeça em um subespaço de conteúdo ($d^{nope}_h$) e um subespaço posicional ($d^{rope}_h$). Uma única chave posicional compartilhada entre cabeças $k^R_t$ é calculada e rotacionada usando 3D-RoPE. O cache armazena o par $(c^{KV}_t, k^R_t)$ em vez de estados densos por cabeça.
4. Redução de Memória: Esse design reduz o estado armazenado em cache por token de $2n_h d_h$ escalares para $d_c + d^{rope}_h$. Na configuração padrão ($d_c=192, d^{rope}_h=32$), isso resulta em uma redução de 92,7% na memória do cache KV por camada.

Principais Descobertas e Análise Espectral
Uma contribuição central do artigo é resolver um enigma teórico sobre por que a MLA funciona na difusão de vídeo.

• O Enigma: Em modelos de linguagem, a MLA é frequentemente motivada pela suposição de que as matrizes pré-treinadas $W^K$ e $W^V$ são intrinsecamente de baixo posto. No entanto, a análise espectral do backbone de vídeo Wan-1.3B revela que o operador conjunto $[W^K; W^V]$ não é de baixo posto; seu posto efetivo de 99% de energia excede 1300, muito acima das dimensões latentes práticas ($d_c=192$).
• A Resolução: Os autores demonstram que o posto efetivo do operador composto aprendido no VideoMLA é determinado pelo gargalo arquitetural ($d_c$), e não pelo espectro pré-treinado. Tanto a inicialização por SVD quanto a inicialização aleatória saturam o orçamento de posto imposto desde o início, e o treinamento preserva esse orçamento enquanto se adapta dentro dele. Assim, o VideoMLA tem sucesso não por recuperar uma estrutura de baixo posto oculta, mas por impor um orçamento de posto que o modelo aprende a utilizar efetivamente.

Resultados

• Qualidade: No VBench, o VideoMLA iguala as linhas de base de streaming de curto horizonte e alcança a melhor pontuação geral em horizontes longos (60s) entre os métodos avaliados. Ele mantém a identidade do sujeito, a estrutura da cena e a dinâmica do movimento, evitando a degradação estática observada em outros métodos de compressão.
• Eficiência: O método melhora a vazão de inferência em 1,23× em uma única GPU B200 em comparação com as linhas de base.
• Escalabilidade: Sob um orçamento de memória fixo (B200), o VideoMLA permite tamanhos de lote 8,0× maiores do que a Atenção Multi-Cabeça (MHA) densa na configuração padrão $d_c=192$, e até 11,4× maiores em configurações de $d_c$ mais baixas, sem erros de memória insuficiente (OOM).

Significado e Alegações
O artigo afirma que o VideoMLA identifica o layout KV por token como uma alavanca direta e eficaz para escalar a difusão de vídeo de longo horizonte eficiente, ortogonal aos métodos existentes que focam na seleção de tokens ou reparametrização posicional. Ao reduzir a memória KV por token em 92,7% enquanto preserva a fidelidade visual e a consistência do movimento, o VideoMLA permite a geração de vídeo na escala de minutos com latência significativamente menor e maior vazão. O trabalho muda a questão de design de "qual é o posto intrínseco da atenção de vídeo?" para "qual orçamento latente preserva a qualidade de vídeo?", demonstrando que restrições arquitetônicas podem guiar com sucesso o aprendizado mesmo quando o espectro pré-treinado é de alto posto.