Resumo Técnico: Tornando o Tempo Editável em Transformers de Difusão de Vídeo

Declaração do Problema

Os modernos Diffusion Transformers (DiTs) alcançaram um sucesso significativo na geração de quadros de vídeo de alta fidelidade e movimentos realistas. No entanto, eles sofrem de uma limitada controlabilidade temporal. Na geração de vídeo baseada em DiT padrão, o "tempo de difusão" atua como uma variável sobrecarregada, servindo como um substituto tanto para o progresso da denoização quanto para a evolução do movimento. Consequentemente, a dinâmica temporal não é modelada como variáveis explícitas e independentemente controláveis, mas é, em vez disso, emaranhada com as representações de conteúdo e movimento.

Este emaranhamento cria ambiguidade: o modelo tem dificuldade em distinguir o quão longe a denoização progrediu de como o movimento deve se desenrolar ao longo do tempo. Como resultado, quando a grade temporal alvo (por exemplo, Quadros Por Segundo ou FPS) muda em relação ao treinamento, o modelo falha em manter a consistência das dinâmicas temporais. Ele pode produzir quadros individuais plausíveis, mas tem dificuldade com a qualidade do movimento intermediário, levando a artefatos em estruturas articuladas (ex: membros) ou à falha de processos físicos graduais (ex: dissipação de névoa) em evoluir corretamente. Métodos existentes controlam o que se move ou para onde se move, mas não tornam a progressão temporal em si uma variável explicitamente editável.

Metodologia

Os autores propõem uma metodologia para estender os backbones de DiT pré-treinados com um módulo de controle temporal explícito, denominado Time Adapter (TA). Esta abordagem separa o ritmo de movimento global do alinhamento temporal local sem redesenhar a arquitetura do backbone.

Arquitetura Central: Time Adapter

O método introduz dois sinais temporais complementares integrados via adaptadores aditivos leves:

1. Condicionamento de FPS Global: Um embedding $E_{fps}(fps)$ derivado do FPS de entrada (ex: 15, 24, 30, 60). Isso modula a taxa de movimento global através do caminho de condicionamento de denoização, determinando o ritmo esperado da evolução da cena.
2. Embeddings de Tempo-Latente Local: Um embedding $E_{\tau}(\tau)$ representando posições temporais quadro a quadro ($\tau$). Isso fornece ordenação temporal local e correspondência ao nível de token, alinhando a progressão de quadros específicos.

O vetor de condicionamento $e$ é formulado como:
$$e = E_t(t) + E_{fps}(fps)$$
onde $E_t(t)$ é o embedding de tempo de difusão padrão. O embedding de tempo-latente é adicionado aos embeddings de patch:
$$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$$

Esta fatoração permite que o modelo represente a progressão temporal explicitamente, em vez de depender apenas do tempo de difusão como um substituto implícito. Os adaptadores são inicializados para preservar o comportamento do backbone pré-treinado.

Regimes de Treinamento

Os autores avaliam duas estratégias de treinamento:

• Time Adapter (TA): Apenas os ramos temporais (adaptadores) são treinados enquanto o backbone DiT permanece congelado. Isso preserva o prior generativo original.
• Fine-Tuned Time Adapter (FTTA): O mesmo condicionamento temporal é usado, mas o backbone DiT completo é adicionalmente ajustado (fine-tuned). Isso introduz uma regularização temporal global mais forte.

Os modelos são treinados em um conjunto de dados curado de aproximadamente 40.000 vídeos cobrindo ações humanas e processos naturais através de múltiplos regimes de FPS (24–60 FPS).

Contribuições Principais

1. Fatoração Temporal Explícita: O artigo introduz um framework que desacopla o tempo do processo de denoização, separando-o em ritmo de movimento global (FPS) e alinhamento temporal local (tempo latente).
2. Preservação do Backbone: A abordagem TA permite a edição temporal explícita sem redesenhar o backbone, retendo os priors visuais e estruturais do modelo pré-treinado enquanto expande seu alcance dinâmico controlável.
3. Transferibilidade entre Arquiteturas: Os autores demonstram que a fatoração temporal explícita transfere-se entre diferentes backbones de DiT (Wan2.2 e Kandinsky 5.0 Lite) com variadas escalas de parâmetros e resoluções de saída.
4. Melhoria da Consistência Temporal: O método melhora a consistência do movimento intermediário e reduz artefatos perceptivos em dinâmicas articuladas, mesmo em velocidades de reprodução padrão, ao expor o modelo a transições temporais mais densas durante o treinamento.

Resultados Experimentais

A avaliação utiliza o benchmark VMBench em dois domínios: Ações Humanas e Processos Naturais, testados a 15, 24, 30 e 60 FPS.

Achados Quantitativos

• Ações Humanas: Tanto o TA quanto o FTTA reduzem a Aceleração de Fluxo (Flow Acceleration) e o LPIPS-Var comparado ao baseline, indicando transições de curto prazo mais estáveis. O TA alcança a maior Consistência Direcional de Fluxo (FDC) em 24–60 FPS, sugerindo que o condicionamento explícito melhora a consistência do movimento intermediário quando o FPS alvo se alinha com o regime de treinamento.
• Processos Naturais: O FTTA alcança consistentemente a mais forte regularização temporal, produzando os melhores Scores de Suavidade de Movimento (MSS) e a menor Aceleração de Fluxo. Isso é atribuído à capacidade do FTTA de reestruturar processos físicos distribuídos (ex: névoa, ondas) para serem mais responsivos ao condicionamento temporal.
• Limitações de Métricas: Os autores observam que métricas padrão nem sempre refletem melhorias na qualidade temporal. Por exemplo, artefatos articulados podem aumentar o Perceptible Amplitude Score (PAS) apesar de reduzir a qualidade de movimento percebida, criando uma discrepância entre scores quantitativos e avaliação humana.

Avaliação Qualitativa e Humana

• Avaliação Lado a Lado (SBS): Avaliadores humanos preferiram o TA para movimento humano articulado e naturalidade, enquanto o FTTA foi preferido para processos físicos distribuídos e consistência de velocidade.
• Evolução Física: Ao contrário do reamostragem de FPS post-hoc (que meramente interpola quadros), o método proposto altera a própria evolução temporal gerada. Aumentar o FPS alvo resulta em uma progressão de cena mais rápida, em vez de apenas uma reprodução mais suave.
• Generalização: As tendências qualitativas observadas no Wan2.2 foram replicadas no Kandinsky 5.0 Lite, apoiando a afirmação de que a fatoração temporal explícita não é específica de arquitetura.

Significância e Limitações

Significância

O artigo argumenta que tratar o tempo como uma única variável sobrecarregada é uma limitação fundamental nos atuais modelos de difusão de vídeo. Ao tornar o tempo editável através de fatoração explícita, os autores permitem a geração de vídeos mais fisicamente consistentes e confiáveis. O trabalho sugere que a controlabilidade temporal não é meramente um efeito colateral da denoização, mas pode ser uma variável primária e controlável.

Limitações

Os autores reconhecem explicitamente três limitações:

1. Sensibilidade do Regime de Treinamento: Embora a fatoração temporal melhore a controlabilidade dentro da distribuição de treinamento, o modelo permanece sensível a escalas temporais sub-representadas (ex: baixo FPS). Representações de tempo explícitas não podem compensar totalmente os priors temporais ausentes nos dados de treinamento.
2. Horizonte de Geração Fixo: O método torna a dinâmica temporal mais controlável, mas não aumenta o número de quadros gerados. Uma aceleração temporal forte comprime o tempo disponível para a realização da ação, podendo levar a comportamentos truncados.
3. Métricas de Avaliação: Métricas atuais lutam para capturar artefatos perceptuais em movimentos intermediários, particularmente para estruturas articuladas, levando a lacunas entre scores quantitativos e qualidade temporal percebida.

Os autores concluem que tornar o tempo editável é um passo necessário para a geração de vídeo confiável, mas não é suficiente para a geração de longo horizonte, que provavelmente exigirá a combinação de representações temporais explícitas com comprimentos de geração adaptáveis.