TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation

Título: TS-Attn: Atenção Separável por Tempo para Geração de Vídeo Multi-evento

1. O Problema

A geração de vídeos de alta qualidade a partir de descrições temporais complexas (que contêm múltiplas ações sequenciais) permanece um desafio não resolvido. Os métodos existentes enfrentam um compromisso (trade-off) inerente:

• Abordagem de Prompts Múltiplos: Dividir um prompt complexo em vários prompts curtos e executá-los sequencialmente melhora a fidelidade das ações individuais, mas frequentemente resulta em inconsistência temporal, "drift" de conteúdo e altos custos de inferência.
• Abordagem de Prompt Único: Usar um único prompt complexo preserva a consistência global, mas o modelo falha em seguir fielmente todas as instruções, levando a omissão de eventos ou alucinações temporais.

A análise dos autores revela que a raiz desse problema reside em duas falhas principais nos modelos State-of-the-Art (SOTA):

1. Desalinhamento Temporal: O conteúdo do vídeo não se alinha corretamente com os verbos/condições textuais ao longo do tempo.
2. Acoplamento de Atenção Conflitante: Regiões visuais relacionadas ao movimento e as condições de texto de eventos diferentes competem ou se misturam no mesmo quadro, causando confusão sobre qual ação deve ocorrer em qual momento.

2. Metodologia: TS-Attn

Os autores propõem o TS-Attn (Temporal-wise Separable Attention), um mecanismo de atenção sem necessidade de treinamento (training-free) que pode ser integrado a modelos pré-treinados de geração de vídeo (Text-to-Video e Image-to-Video).

O objetivo do TS-Attn é reorganizar dinamicamente a distribuição de atenção para garantir consciência temporal e coerência global. O método opera nas camadas de atenção cruzada (cross-attention) durante as etapas iniciais do processo de denoising (geralmente os primeiros 20% dos passos).

O framework consiste em três componentes principais:

A. Extração de Região de Movimento (Motion Region Extraction)

• Identifica quais tokens de vídeo correspondem ao sujeito em movimento.
• Utiliza o layout semântico do sujeito no prompt para gerar um mapa de atenção.
• Aplica um limiar adaptativo e uma função de erosão para criar uma máscara binária ($M_s$) que isola as regiões de movimento, evitando interferência em regiões de fundo estáticas.

B. Modulação de Atenção Consciente do Evento (Event-Aware Attention Modulation)

Esta é a parte central, dividida em duas sub-funções:

1. Reorganização de Atenção (Attention Rearrangement):

   • Divide o vídeo em segmentos temporais correspondentes a cada evento do prompt.
   • Aplica um viés positivo ($b^+$) para forçar os tokens de vídeo de um segmento temporal a focarem no evento correspondente.
   • Aplica um viés negativo ($b^-$) para suprimir a atenção de eventos não relacionados naquele mesmo segmento temporal.
   • Isso garante que, em cada momento, o modelo "olhe" apenas para o evento que deve estar acontecendo.

2. Reforço de Atenção (Attention Reinforcement):

   • Observa-se que, às vezes, a reorganização sozinha não é suficiente se a distribuição original for muito plana.
   • Introduz um fator de reforço adaptativo ($R$) que aumenta a intensidade da atenção para o evento alinhado e diminui para os outros, baseando-se na "nitidez" da distribuição de atenção original.
   • Se a atenção para o evento correto for fraca, o reforço é aumentado para garantir a correspondência temporal.

A fórmula final combina a atenção original com a reorganização e o reforço, restritos apenas às regiões de movimento identificadas.

3. Principais Contribuições

• Análise de Causa Raiz: Identificação de que o desalinhamento temporal e o acoplamento de atenção são as causas primárias da falha em prompts multi-evento.
• Mecanismo Plug-and-Play: O TS-Attn não requer re-treinamento do modelo base. Pode ser integrado a diversas arquiteturas (como DiT e Cross-DiT) apenas substituindo a camada de atenção cruzada.
• Eficiência: Aumenta o tempo de inferência em apenas 2%, enquanto métodos concorrentes baseados em múltiplos prompts exigem múltiplas passagens de inferência, aumentando drasticamente o custo computacional.
• Versatilidade: Funciona tanto para tarefas de Texto-para-Vídeo (T2V) quanto de Imagem-para-Vídeo (I2V) e lida com múltiplos sujeitos e transições de cena.

4. Resultados Experimentais

Os autores avaliaram o método em benchmarks como StoryEval-Bench (423 prompts com 2-4 eventos) e um novo benchmark construído para I2V (StoryEval-Bench-I2V).

• Desempenho Quantitativo:

  • No modelo Wan2.1-T2V-14B, o TS-Attn aumentou a pontuação no StoryEval-Bench em 33,5%.
  • No modelo Wan2.2-T2V-A14B, houve um aumento de 16,4%.
  • No modelo CogVideoX-5B, a melhoria foi de 57,3%.
  • O método superou consistentemente abordagens baseadas em múltiplos prompts (como MEVG e DiTCtrl) e modelos fechados (Kling, Hailuo) em tarefas de eventos múltiplos.

• Eficiência de Inferência:

  • Enquanto métodos como DiTCtrl e MEVG exigem inferências repetidas (aumentando o tempo de latência para milhares de segundos), o TS-Attn mantém a latência próxima à do modelo base (ex: 863s vs 846s para Wan2.2-A14B).

• Resultados Qualitativos:

  • Vídeos gerados mostram transições suaves entre eventos (ex: uma bola rolando, colidindo e depois movendo-se).
  • Eliminação de "alucinações temporais" onde ações ocorrem fora de ordem ou simultaneamente de forma impossível.
  • Preservação da consistência do sujeito e do fundo.

5. Significado e Impacto

O TS-Attn representa um avanço significativo na geração de vídeo controlada. Ao resolver o problema de fidelidade da ação vs. consistência temporal sem a necessidade de treinamento custoso, ele permite que modelos de fundação existentes sejam capazes de narrativas complexas e sequenciais.

Isso abre caminho para:

• Geração de vídeos longos e interativos com múltiplos eventos.
• Aplicações em storytelling automatizado, publicidade e criação de conteúdo onde a ordem dos eventos é crítica.
• Uma solução escalável que pode ser aplicada a qualquer modelo de difusão baseado em transformers com atenção cruzada.

Em resumo, o TS-Attn oferece uma maneira elegante e eficiente de "ensinar" modelos de vídeo a entenderem a dimensão temporal em descrições complexas, separando eventos no tempo através de manipulação inteligente da atenção.