Steering Video Diffusion Transformers with Massive Activations

1. Problema e Motivação

Os modelos de geração de vídeo baseados em Transformers de Difusão (Video DiTs) têm avançado rapidamente, mas a exploração de como aproveitar os sinais internos desses modelos para melhorar a qualidade da geração, sem custos computacionais adicionais significativos, permanece subexplorada.

As abordagens existentes para melhorar a coerência temporal e a qualidade do vídeo geralmente envolvem:

• Custos de Treinamento: Otimização de objetivos durante o treinamento ou alinhamento pós-treinamento.
• Custos de Inferência: Uso de modelos auxiliares, múltiplas passadas de inferência ou heurísticas complexas que aumentam o tempo de geração.

O artigo identifica uma lacuna: como utilizar os sinais internos do modelo durante a amostragem (inferência) de forma livre de treinamento e com sobrecarga computacional negligenciável para corrigir problemas de coerência temporal e qualidade visual.

2. Observações Fundamentais: Ativações Massivas (MAs)

Os autores realizaram uma análise sistemática das Ativações Massivas (Massive Activations - MAs) em Video DiTs. MAs são picos raros de alto magnitude em estados ocultos, onde uma pequena fração das dimensões de características exibe valores muito superiores à média (frequentemente >50x a média).

Diferente dos DiTs de imagem, os Video DiTs exibem uma estrutura posicional distinta nas MAs:

1. Hierarquia de Magnitude:
   • Tokens do Primeiro Quadro: Apresentam as maiores magnitudes de MA, atuando como âncoras temporais globais.
   • Tokens de Fronteira de Quadros Latentes: Os tokens nas bordas (cabeça e cauda) de cada bloco temporal comprimido no espaço latente exibem picos elevados, mas ligeiramente menores que o primeiro quadro.
   • Tokens Internos: Mantêm magnitudes elevadas, mas moderadas em comparação às fronteiras.
2. Padrão Periódico: Os picos de MA ocorrem periodicamente, alinhados com as fronteiras dos blocos temporais introduzidos pela compressão temporal do VAE (Variational Autoencoder).
3. Decaimento Temporal: A magnitude das MAs e a diferença entre tokens de fronteira e internos diminuem à medida que o processo de desruído avança, sendo mais pronunciado nos estágios iniciais.

Impacto na Geração:

• Disrupção das MAs no primeiro quadro degrada a qualidade visual.
• Disrupção das MAs nas fronteiras de quadros latentes causa descontinuidades visuais (flickering ou mudanças abruptas) entre blocos temporais, prejudicando a coerência temporal.

3. Metodologia: STAS (Structured Activation Steering)

Com base nessas observações, os autores propõem o STAS, um método de auto-guia (self-guidance) livre de treinamento.

Princípio de Funcionamento:
O STAS "dirige" (steers) os valores de ativação em posições estruturalmente significativas (primeiro quadro e fronteiras de quadros latentes) em direção a uma referência de magnitude global escalada.

Algoritmo:

1. Onde (Tokens Alvo): Seleciona tokens do primeiro quadro latente ($\mathcal{F}_0$) e os tokens das bordas (cabeça e cauda, ex: 8%) de cada bloco de quadro latente ($\mathcal{B}(p)$).
2. O que (Dimensões Alvo): Foca apenas nas dimensões de características identificadas como MAs.
3. Quando (Timesteps): Aplica a correção apenas nos primeiros $K$ passos de desruído, onde o sinal de fronteira é mais forte.
4. Como (Regra de Amplificação):
   • Para cada dimensão de MA $d$ e token alvo $i$, a ativação é substituída por:
     $$g(i, d) = \alpha \cdot \max_{j} |D_{\theta, m, j, d}| \cdot \text{sign}(D_{\theta, m, i, d})$$
   • Onde $\alpha$ é um fator de escala, e o valor alvo é uma fração da magnitude máxima global observada naquela camada e passo de tempo, preservando o sinal (polaridade).

Vantagens:

• Zero Treinamento: Não requer ajuste de parâmetros do modelo base.
• Baixo Custo: Adiciona menos de 0,1% de sobrecarga computacional, pois é apenas uma operação de escala elementar em um subconjunto pequeno de ativações durante uma única passada forward.
• Compatibilidade: Funciona em conjunto com Classifier-Free Guidance (CFG) e outros métodos livres de treinamento.

4. Resultados Experimentais

O método foi avaliado em três modelos de ponta: Wan2.1-1.3B, Wan2.2-5B e CogVideoX-5B.

• Qualidade e Coerência Temporal: O STAS produziu melhorias consistentes nas métricas do VBench. Houve aumentos nos scores de consistência de sujeito, consistência de fundo e qualidade estética.
• Consistência Inter-Quadros: A análise mostrou que o STAS reduz significativamente as quedas de similaridade (DINO e CLIP) nas transições entre blocos temporais (cross-chunk), que são os pontos críticos de falha na coerência.
• Atributos de Objeto: Melhorou a estabilidade da ligação objeto-atributo ao longo do tempo (avaliado no T2V-CompBench).
• Comparação com Outros Métodos: Ao ser combinado com métodos existentes como FlowMo e CFG-Zero, o STAS trouxe ganhos adicionais, demonstrando ser ortogonal e complementar.
• Limitação Observada: Houve uma leve redução no score de "Dynamic Degree" (Grau de Dinamismo) em alguns casos. Os autores explicam que isso ocorre porque o método reduz flickering e mudanças abruptas, o que pode diminuir o fluxo óptico entre quadros, fazendo com que vídeos com movimento borderline sejam classificados como menos dinâmicos, embora a qualidade visual geral seja superior.

5. Contribuições Principais

1. Análise Pioneira: Primeira análise sistemática das Ativações Massivas em Video DiTs, revelando uma hierarquia posicional estruturada (picos no primeiro quadro e nas fronteiras de blocos latentes) que não é observada em DiTs de imagem.
2. Método STAS: Proposta de uma técnica de direção de ativação livre de treinamento que explora essa estrutura para melhorar a ancoragem temporal e a coerência entre blocos.
3. Eficiência e Eficácia: Demonstração de que é possível obter ganhos significativos em qualidade e estabilidade temporal com custo computacional quase nulo, tornando-se uma ferramenta prática e plug-and-play para a comunidade.

6. Significado

O trabalho é significativo porque muda o paradigma de melhoria de modelos de vídeo: em vez de depender de mais dados ou arquiteturas mais complexas, ele demonstra que os sinais internos do modelo (MAs) contêm informações estruturais valiosas sobre a organização temporal do vídeo. O STAS oferece uma solução leve e eficiente para um dos maiores desafios na geração de vídeo: manter a consistência visual ao longo do tempo sem sacrificar a velocidade de inferência.