LinVideo: A Post-Training Framework towards O(n) Attention in Efficient Video Generation

O artigo apresenta o LinVideo, uma framework de pós-treinamento livre de dados que substitui seletivamente módulos de atenção quadrática por atenção linear em modelos de difusão de vídeo, utilizando correspondência de distribuição para alcançar acelerações de 1,25 a 2,00 vezes (e até 15,92 vezes em modelos destilados) sem comprometer a qualidade de geração.

O essencial

Imagine que você tem um cinematógrafo mágico (um modelo de Inteligência Artificial) capaz de criar filmes incríveis, com personagens realistas e movimentos suaves. O problema é que esse cinematógrafo é lento e caro de operar.

Por que? Porque, para criar cada quadro do filme, ele precisa olhar para todos os outros quadros ao mesmo tempo e comparar cada um com todos os outros. É como se, para escrever uma cena de um filme, o roteirista tivesse que ler e comparar cada palavra de todo o livro antes de escrever a próxima. Isso faz o tempo de processamento explodir: se o filme tem o dobro de duração, o trabalho quadruplica.

Os cientistas tentaram resolver isso usando "atenção linear" (uma versão mais rápida e simples do roteirista), mas quando tentaram trocar o roteirista original pelo novo, o filme ficava estranho, com personagens se deformando ou a história fazendo pouco sentido. Era como trocar o motor de um carro de Fórmula 1 por um de um carro popular: o carro anda, mas não é mais o mesmo.

Aqui entra o LINVIDEO, a solução proposta neste artigo. Eles não querem reescrever todo o livro do zero (o que exigiria anos de treino). Em vez disso, eles criaram um framework de "pós-treino" (um ajuste fino) que faz duas coisas mágicas:

1. A Troca Seletiva (O Cirurgião Preciso)

Imagine que o cinematógrafo é uma equipe de 30 diretores de cena trabalhando juntos. O LINVIDEO descobre que nem todos os diretores são igualmente importantes para a velocidade.

• Alguns diretores (camadas profundas) são essenciais para a qualidade; se você os trocar, o filme estraga.
• Outros (camadas superficiais) podem ser substituídos por uma versão mais rápida sem estragar o resultado.

O LINVIDEO usa um "cirurgião inteligente" que testa automaticamente quais diretores podem ser trocados. Ele não faz um corte aleatório; ele escolhe exatamente quais peças do motor podem ser trocadas por versões mais leves, mantendo a performance do carro de corrida.

2. O Espelho de Tempo (A Regra de Ouro)

O maior desafio era: como treinar esse novo motor rápido para que ele não perca a qualidade?
Métodos antigos tentavam apenas fazer o novo motor imitar o resultado final do filme. O problema é que isso cria "artefatos" (como tremores ou piscadas estranhas no vídeo), porque o motor novo não aprendeu a caminho para chegar lá, apenas o destino.

O LINVIDEO introduz uma técnica chamada "Correspondência de Distribuição em Qualquer Momento" (ADM).

• A Analogia: Imagine que você está ensinando um aluno a desenhar um cavalo.
  • Método antigo: Você mostra o desenho final e diz "faça igual". O aluno tenta adivinhar e sai um cavalo torto.
  • Método LINVIDEO: Você segura um espelho mágico que mostra o desenho do mestre em cada segundo do processo. Se o mestre desenha a pata esquerda primeiro, o aluno vê isso. Se o mestre desenha orelha depois, o aluno vê também.
  • O aluno (o novo modelo) é forçado a seguir o mesmo caminho passo a passo que o mestre, não apenas o resultado final. Isso garante que o vídeo final seja suave, sem tremores, mesmo sendo gerado muito mais rápido.

O Resultado?

Com essa abordagem, o LINVIDEO consegue:

• Tornar o processo 1,4 a 1,7 vezes mais rápido apenas trocando as peças certas.
• Se combinado com uma técnica de "destilação" (ensinar o modelo a pular etapas), ele pode gerar vídeos 16 a 21 vezes mais rápido, com uma perda de qualidade quase imperceptível.

Em resumo: O LINVIDEO é como pegar um supercomputador lento, identificar quais partes dele podem ser trocadas por versões leves, e usar um "espelho de tempo" para garantir que, mesmo sendo mais leve, ele continue criando filmes de Hollywood perfeitos, sem precisar reescrever o código do zero. É eficiência sem sacrificar a arte.

Resumo técnico

Resumo Técnico: LINVIDEO

1. O Problema

Os modelos de difusão para vídeo (Video Diffusion Models - DMs) têm alcançado resultados impressionantes na síntese de vídeo de alta qualidade. No entanto, a operação de auto-atenção (self-attention) padrão, que é fundamental para a arquitetura Diffusion Transformer (DiT), possui uma complexidade computacional e de memória quadrática em relação ao comprimento da sequência ($O(n^2)$).

• Desafio: A geração de vídeos longos exige sequências de tokens massivas (ex: >50k tokens para 10 segundos), tornando a inferência proibitivamente lenta e cara.
• Limitação das Soluções Atuais:
  • Atenção Esparsa: Muitas vezes não atinge esparsidade suficiente em sequências moderadas, mantendo >50% do custo da atenção densa.
  • Atenção Linear ($O(n)$): Embora ofereça complexidade linear, substituir totalmente a atenção quadrática por linear exige um pré-treinamento custoso e intensivo em recursos. Isso ocorre porque a atenção linear possui um "gap de representação" (menor expressividade) e luta para modelar as dinâmicas espaço-temporais complexas do vídeo apenas com ajuste fino simples.

O objetivo do trabalho é: Podemos substituir o máximo possível de camadas de atenção quadrática por atenção linear através de um pós-treinamento eficiente, sem degradar a qualidade do vídeo?

2. Metodologia: LINVIDEO

O LINVIDEO é um framework de pós-treinamento sem dados (data-free) que substitui seletivamente camadas de atenção quadrática por linear em um modelo pré-treinado, preservando a qualidade de saída. A abordagem baseia-se em duas técnicas principais:

A. Transferência Seletiva (Selective Transfer)
Os autores observaram que nem todas as camadas são igualmente "substituíveis". Substituir camadas aleatoriamente ou manualmente causa quedas drásticas de desempenho.

• Abordagem: O problema de seleção de camadas é formulado como um problema de classificação binária.
• Mecanismo: Cada camada de atenção recebe um parâmetro escalar aprendível $r \in [0, 1]$.
  • Se $r \approx 1$: Mantém a atenção quadrática (Softmax).
  • Se $r \approx 0$: Ativa a atenção linear.
• Função de Atenção Mista: A saída da camada é uma combinação ponderada:
  $$o_i = r \cdot \text{AtençãoQuadrática} + (1-r) \cdot \text{AtençãoLinear}$$
• Otimização:
  • Uma função de perda de restrição ($L_{con}$) força o número total de camadas convertidas para atingir um alvo pré-definido.
  • Uma termo de regularização ($L_{reg}$) empurra os valores de $r$ para 0 ou 1 durante o treinamento, minimizando o erro de arredondamento na inferência e reduzindo ruído.

B. Correspondência de Distribuição a Qualquer Momento (Anytime Distribution Matching - ADM)
O ajuste fino tradicional (apenas igualando a saída final) falha em vídeos, causando artefatos temporais (piscar, jitter) e perda de generalização.

• Problema: Métodos de destilação de poucos passos (few-step distillation) existentes geralmente alinham apenas a distribuição final ($t=0$) e ignoram os passos intermediários, o que é insuficiente para a transição suave entre atenção quadrática e linear.
• Solução (ADM): O objetivo propõe alinhar as distribuições de amostras entre o modelo original e o modelo linearizado em qualquer passo de tempo $t$ ao longo da trajetória de amostragem.
• Eficiência: Ao contrário de métodos que exigem um modelo auxiliar para estimar a função de pontuação (score function), o LINVIDEO estima a própria função de pontuação usando o modelo sendo treinado. Isso elimina a necessidade de treinar modelos extras, reduzindo drasticamente o custo computacional e melhorando a estabilidade.

C. Treinamento Sem Dados
O framework não requer datasets de vídeo externos. Ele gera seu próprio conjunto de dados de treinamento amostrando ruído inicial e coletando pares de entrada/saída do modelo original durante a trajetória de amostragem.

3. Principais Contribuições

1. LINVIDEO: O primeiro framework de pós-treinamento sem dados capaz de substituir eficientemente a atenção quadrática por linear em modelos de vídeo pré-treinados, mantendo a qualidade.
2. Transferência Seletiva: Um método automático e progressivo que identifica quais camadas podem ser linearizadas com perda mínima de desempenho, superando escolhas manuais ou heurísticas.
3. Objetivo ADM: Uma nova função de perda que alinha distribuições em todos os passos de tempo, superando as limitações de métodos de destilação tradicionais e permitindo um treinamento eficiente sem modelos auxiliares.
4. Desempenho de Destilação: Primeira aplicação de destilação de poucos passos (few-step distillation) em modelos de vídeo com atenção linear, alcançando acelerações extremas.

4. Resultados Experimentais

Os experimentos foram realizados nos modelos Wan 1.3B e Wan 14B (baseados em fluxo retificado), utilizando o benchmark VBench.

• Aceleração de Inferência:
  • O modelo LINVIDEO (com atenção linear parcial) alcança um speedup de 1.43× a 1.71× em latência em comparação com a atenção densa padrão (FlashAttention2), mantendo a qualidade visual quase idêntica.
  • Ao combinar com destilação de 4 passos (LINVIDEO + DMD2), o speedup aumenta para 15.9× a 20.9×, com uma queda mínima na qualidade visual (apenas ~1-3% em métricas críticas).
• Qualidade (VBench):
  • O LINVIDEO supera todas as bases de atenção esparsa (SVG, XAttn, DFA) em métricas como Consistência do Assunto, Qualidade de Imagem e Suavidade de Movimento.
  • Em muitos casos, o LINVIDEO supera o baseline de atenção densa em métricas de consistência global.
• Eficiência de Treinamento:
  • O objetivo ADM reduz o tempo de treinamento em aproximadamente 4.4× comparado a métodos que exigem treinamento de modelos auxiliares para estimar pontuações.

5. Significado e Impacto

O trabalho LINVIDEO representa um avanço significativo na viabilidade de geração de vídeo eficiente e escalável.

• Viabilidade de Implantação: Ao permitir a substituição de camadas críticas sem re-treinamento massivo, o método torna possível a execução de modelos de vídeo de alta qualidade em hardware mais acessível ou com latência muito reduzida.
• Paradigma de Otimização: A descoberta de que a linearização deve ser seletiva e progressiva, combinada com o alinhamento de distribuição em todos os passos de tempo, oferece um novo roteiro para a otimização de modelos de difusão complexos.
• Futuro: O método é ortogonal a técnicas de esparsidade, sugerindo que a combinação de atenção linear seletiva com atenção esparsa pode levar a ganhos de eficiência ainda maiores no futuro.

Em resumo, o LINVIDEO resolve o dilema entre eficiência computacional e qualidade de geração em vídeo, demonstrando que é possível obter modelos de vídeo rápidos e leves sem sacrificar a fidelidade visual, através de uma estratégia inteligente de pós-treinamento.