Resumo Técnico: UniTemp

Definição do Problema

Modelos de difusão de vídeo autorregressivos emergiram como uma abordagem promissora para a geração eficiente de vídeos longos ao utilizar geração por blocos e cache de chave-valor (KV). No entanto, os métodos existentes são restritos à geração temporal direta (causal), onde cada bloco é condicionado exclusivamente ao conteúdo gerado anteriormente. Essa limitação dificulta fluxos de trabalho práticos de criação de vídeo que exigem ordem temporal flexível, tais como:

• Extensão para trás (backward extension): Gerar um prólogo condicionado a um clipe existente.
• Geração de interpolação (inbetween generation): Preencher lacunas temporais entre dois segmentos.
• Narrativa visual (visual storytelling): Gerar quadros-chave primeiro e conectá-los.

Tentativas de estender ingenuamente modelos puramente diretos para suportar a geração para trás resultam em oscilações (flickering) e descontinuidades inter-blocos severas, particularmente em cenas de alto movimento. O artigo identifica a causa raiz desse artefato como a arquitetura Causal 3D VAE amplamente utilizada em modelos de difusão de vídeo de última geração (ex: CogVideoX, HunyuanVideo, Wan). O Causal 3D VAE codifica latentes estritamente condicionados ao contexto passado. Embora isso se alinhe com a geração direta, cria um descompasso fundamental durante a geração para trás: o decodificador espera um contexto passado que não está disponível, levando a artefatos visíveis nas fronteiras. Retreinar um VAE não-causal é impraticável, pois quebraria a compatibilidade com os modelos professores pré-treinados existentes.

Metodologia: UniTemp

Os autores propõem o UniTemp, um framework de destilação bidirecional unificado que treina um único modelo estudante autorregressivo capaz de gerar vídeo em qualquer direção temporal (direta, reversa ou interpolação) sem modificar o professor ou o VAE pré-treinado.

1. Latentes de Âncora por Bloco (Blockwise Anchor Latents)

Para abordar o flickering inter-blocos causado pela falta de contexto passado do VAE causal durante a geração reversa, os autores introduzem latentes de âncora por bloco.

• Mecanismo: Durante a geração reversa, o tamanho do bloco é expandido de $B$ para $(P + B)$, onde $P$ é o número de latentes de âncora. Esses latentes de âncora representam tokens de vídeo precedentes.
• Função: O bloco expandido é denoisado conjuntamente usando autoatenção de sequência completa. Isso permite que o bloco alvo atenda a um proxy do contexto passado ausente (os latentes de âncora) mesmo ao gerar em ordem reversa.
• Descarte: Após o denoising, os latentes de âncora são descartados e não são incluídos no output final. Eles servem exclusivamente para estabilizar a geração do bloco alvo, fornecendo o contexto necessário para o decodificador causal.
• Resultado: Este mecanismo restaura efetivamente o contexto passado ausente nas fronteiras dos blocos, reduzindo substancialmente os artefatos visuais e o flickering inter-blocos.

2. Destilação Bidirecional Unificada

O UniTemp emprega um framework de destilação assimétrica (baseado em Self-Forcing) para treinar um único modelo estudante ($G_\theta$) supervisionado por um modelo de difusão professor congelado.

• Treinamento: O estudante é treinado tanto em tarefas de geração direta quanto reversa usando um modelo compartilhado e um crítico "fake" compartilhado ($\mu_{fake}^\phi$).
  • Direta (Forward): Segue o rollout autorregressivo padrão por blocos.
  • Reversa (Backward): Utiliza os latentes de âncora por bloco para expandir a janela de contexto.
• Perda (Loss): O framework utiliza a Destilação de Correspondência de Distribuição (DMD) para fazer o output do estudante corresponder à distribuição do professor, atualizando o estudante via um gradiente derivado da diferença entre o score do professor e o score do crítico fake.
• Eficiência: Ao compartilhar modelos entre as direções, o framework evita os custos de memória de geradores separados e reduz a lacuna de desempenho entre a geração direta e a reversa.

3. Condicionamento Versátil em Tempo de Teste

A arquitetura unificada permite condicionamento flexível durante a inferência:

• Geração em Qualquer Direção: O modelo pode ser condicionado a quaisquer caches KV passados, futuros ou ambos (passado e futuro).
• Latentes de Sumidouro (Sink Latents) Guiados por Ambos os Extremos: O framework permite colocar "latentes de sumidouro" (tokens de estabilização) tanto no início quanto no fim de uma sequência para controlar a variação de conteúdo ao longo de longas durações.
• Geração de Interpolação (Inbetween Generation): O modelo pode preencher o conteúdo entre um bloco inicial e um bloco final condicionando-se aos seus respectivos caches KV, independentemente do tamanho de bloco usado durante o treinamento (desde que o horizonte de atenção esteja dentro dos limites de treinamento).

Principais Contribuições

1. Framework UniTemp: Um framework de destilação unificado que permite a geração de vídeo autorregressiva em qualquer direção temporal (direta, reversa, interpolação) usando um único modelo.
2. Latentes de Âncora por Bloco: Um mecanismo inovador para mitigar o flickering inter-blocos na geração reversa causado por VAEs 3D Causais, restaurando o contexto passado necessário sem retreinar o VAE.
3. Estratégia de Treinamento Unificada: Uma abordagem de modelo compartilhado que mantém a eficiência do treinamento e suporta condicionamento flexível em tempo de teste, superando baselines de modelos separados.
4. Capacidades Demonstradas: O framework desbloqueia diversos fluxos de trabalho, incluindo extensão de vídeo bidirecional, transições de cena, geração de vídeo em loop e narrativa visual, tudo sem fine-tuning específico para a tarefa.

Resultados

Experimentos demonstram que o UniTemp alcança um desempenho competitivo comparado a métodos puramente diretos, enquanto habilita novas capacidades:

• Geração de Vídeos Curtos: Em vídeos de 5 segundos, o UniTemp alcança desempenho comparável ao baseline de Self-Forcing em ambas as direções (direta e reversa), com pontuações ligeiramente superiores na geração reversa.
• Geração de Vídeos Longos: O UniTemp suporta a geração estável de vídeos longos (até 100s). Ao utilizar latentes de sumidouro guiados por ambos os extremos, ele controla efetivamente o desvio de conteúdo (content drift) e mantém alta consistência de assunto e qualidade estética, superando baselines baseados em treinamento em geração de conteúdo dinâmico.
• Geração de Interpolação (Inbetween): O UniTemp supera modelos especializados como Wan FLF2V e Generative Inbetweening (GI) em consistência de fundo, qualidade de imagem e distribuição de vídeo. Ele alcança superior consistência de fronteira ao reutilizar os latentes dos quadros de condicionamento em vez de regenerá-los.
• Redução de Artefatos: A introdução de latentes de âncora reduz a razão de flickering inter-blocos na geração reversa de 1.42 (baseline) para 1.07 (com $P=3$), aproximando-se do valor ideal de 1.0.

Significância

O artigo afirma que o UniTemp preenche a lacuna entre a eficiência da geração de vídeo autorregressiva e a flexibilidade necessária para a criação de vídeos no mundo real. Ao resolver o desafio técnico específico da incompatibilidade do VAE causal com a geração reversa via latentes de âncora, o UniTemp permite que um único modelo lide com diversos modos de condicionamento temporal. Isso elimina a necessidade de múltiplos modelos especializados ou métodos de atenção de sequência completa computacionalmente caros, oferecendo uma solução escalável para tarefas complexas de edição de vídeo e narrativa visual.

Limitações

Os autores reconhecem que a geração reversa incorre em computação adicional por bloco devido ao denoising conjunto dos latentes de âncora. Além disso, o VAE causal e o modelo professor permanecem inerentemente enviesados para a direção direta; embora os latentes de âncora mitiguem essa assimetria, eles não a eliminam totalmente. Os autores sugerem explorar arquiteturas de VAE bidirecionais compatíveis com professores pré-treinados existentes como uma direção para trabalhos futuros.