Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

Título: Prompt Relay: Controle Temporal em Tempo de Inferência para Geração de Vídeo Multi-Evento

1. O Problema

Os modelos de difusão de vídeo atuais alcançaram progresso notável na geração de vídeos de alta qualidade. No entanto, eles enfrentam dificuldades significativas ao representar a sucessão temporal de múltiplos eventos em vídeos do mundo real.

• Falta de Controle Temporal Explícito: Os modelos não possuem mecanismos nativos para controlar quando um conceito semântico aparece, quanto tempo ele persiste ou a ordem em que eventos ocorrem.
• Emaranhamento Semântico (Semantic Entanglement): Ao usar um único prompt de parágrafo para descrever uma sequência complexa, os modelos tendem a tratar o prompt como contexto global. Isso faz com que conceitos destinados a momentos diferentes "vazem" uns para os outros, resultando em má alinhamento texto-vídeo e transições confusas.
• Limitações das Soluções Existentes:
  • Métodos que exigem fine-tuning (ajuste fino) demandam grandes quantidades de dados anotados e alteram a distribuição do modelo pré-treinado.
  • Métodos de controle de atenção em tempo de inferência (inference-time) existentes frequentemente impõem restrições estruturais rígidas (máscaras binárias), causando artefatos visuais e descontinuidades nas bordas dos segmentos.

2. Metodologia: Prompt Relay

O Prompt Relay é um método plug-and-play, executado exclusivamente em tempo de inferência, que não requer modificações na arquitetura do modelo nem sobrecarga computacional adicional. O objetivo é permitir o controle temporal fino, roteando cada prompt textual para seu segmento de tempo designado.

Mecanismo Central: Roteamento de Atenção Temporal
O método introduz uma penalidade no mecanismo de atenção cruzada (cross-attention) para garantir que cada segmento temporal atenda apenas ao seu prompt atribuído.

• Penalidade de Atenção (Boundary-Attention Decay):
  Em vez de usar máscaras rígidas (que bloqueiam completamente a atenção fora de um intervalo), o Prompt Relay aplica uma penalidade suave baseada em uma função Gaussiana aos logits da atenção.

  • Para um token de consulta (query) em um frame $i$ e um token de chave (key) de um prompt $s$, a penalidade $C(i, j)$ é definida como:
    $$C(i, j) = \text{ReLU}\left(\frac{|f(i) - m_s| - w}{\sigma}\right)^2$$
    Onde:
    • $f(i)$ é o índice do frame latente.
    • $m_s$ é o ponto médio do segmento temporal do prompt.
    • $w$ define uma janela local onde nenhuma penalidade é aplicada (atenção livre).
    • $\sigma$ controla a taxa de decaimento fora dessa janela.

• Suavidade nas Transições (Decaimento de Atenção nas Bordas):
  A abordagem evita a descontinuidade abrupta causada por máscaras rígidas. Nas bordas dos segmentos, a penalidade permite uma co-ativação suave dos prompts vizinhos. Isso cria uma região de "troca gradual" (handoff region), onde o modelo pode planejar a transição entre eventos antes de comprometê-la na representação visual, evitando conflitos de sinal (ex: um personagem mudando de roupa abruptamente ou objetos desaparecendo).

• Prompt Global:
  Para manter a coerência global (ex: estilo da cena, personagens persistentes), o método inclui um prompt global que condiciona todo o vídeo, enquanto os prompts locais controlam os eventos específicos de cada intervalo.

3. Principais Contribuições

1. Método Plug-and-Play em Tempo de Inferência: Uma solução para controle temporal fino que não requer treinamento adicional, modificação de arquitetura ou dados anotados temporais.
2. Mecanismo de Decaimento de Atenção nas Bordas (Boundary-Attention Decay): Uma penalidade suave em logits de atenção cruzada que suprime interferência semântica entre segmentos, mas preserva a continuidade visual nas transições, superando as limitações de máscaras binárias.
3. Melhoria de Qualidade Visual e Alinhamento: Demonstração de que o roteamento de atenção não apenas melhora a precisão temporal, mas também a qualidade visual geral, ao reduzir a competição desnecessária no espaço de atenção.

4. Resultados e Avaliação

Os autores avaliaram o método utilizando o modelo de vídeo Wan2.2-T2V-A14B como base, comparando-o com modelos de ponta como Sora Storyboard, Veo 3.1, Kling 2.6 e o próprio Wan 2.2 sem o método.

• Métricas de Avaliação: Estudo de preferência humana em 20 cenários multi-evento, avaliando:

  1. Alinhamento de Prompt Temporal: Se o evento ocorre no intervalo correto.
  2. Naturalidade da Transição: Suavidade entre eventos (sem cortes bruscos ou flickering).
  3. Qualidade Visual: Fidelidade geral e ausência de artefatos.

• Desempenho:

  • O Wan 2.2 + Prompt Relay superou consistentemente as abordagens de base em Alinhamento Temporal (pontuação média de 1.10 vs 4.00 do baseline) e Naturalidade de Transição (1.17 vs 3.50).
  • Curiosamente, o método também melhorou a Qualidade Visual em comparação ao Wan 2.2 puro (2.83 vs 4.00), pois a redução da competição de atenção permite que o modelo foque melhor nos conceitos semânticos ativos.
  • Modelos como Kling 2.6 e Veo 3.1 ainda mantiveram qualidade visual superior absoluta, indicando que a fidelidade visual ainda depende da capacidade do modelo base, mas o Prompt Relay maximiza o potencial do modelo base para tarefas multi-evento.

5. Significado e Conclusão

O Prompt Relay representa um passo pivotal em direção à síntese de vídeo controlável de "nível cinematográfico".

• Viabilidade Prática: Por ser uma solução de tempo de inferência sem custo computacional extra, é imediatamente aplicável a modelos existentes, democratizando o controle temporal fino.
• Solução Elegante: Resolve o problema de emaranhamento semântico não através de re-treinamento massivo, mas através de uma manipulação inteligente e suave da atenção, permitindo que múltiplos eventos ocorram na ordem correta sem interferência.
• Futuro: O trabalho abre caminho para a criação de narrativas complexas e estruturadas em vídeos gerados por IA, superando a limitação atual de gerar apenas cenas únicas ou eventos isolados.

Limitação Notada: O método depende de prompts locais consistentes para manter a aparência de elementos persistentes (como personagens). Se as descrições variarem entre os segmentos, pode haver "deriva" visual, o que é mitigado pelo uso de um prompt global de contexto.