Resumo Técnico: PUSA V1.0

Declaração do Problema

Os modelos atuais de difusão de vídeo (VDMs) dependem predominantemente de uma variável de passo de tempo escalar para controlar o nível de ruído e a trajetória de evolução de forma uniforme em todos os quadros de um clipe de vídeo. Embora eficazes para geração de Texto para Vídeo (T2V), essa sincronização rígida impõe limitações fundamentais à modelagem temporal. Especificamente, eles lutam com tarefas temporais sutis e dependentes, como Imagem para Vídeo (I2V), extensão de vídeo e condicionamento de quadros inicial e final. As soluções existentes para esses desafios frequentemente envolvem:

• Adaptação Destrutiva: Ajuste fino de modelos base com recursos massivos e arquiteturas específicas para tarefas (por exemplo, mecanismos de máscara), o que arrisca o esquecimento catastrófico dos priores generativos do modelo base.
• Abordagens Autoregressivas: Modelos que geram quadros sequencialmente para evitar sincronização rígida. No entanto, esses são frequentemente limitados por ineficiência computacional, acúmulo de erro ao longo de sequências longas e incapacidade de realizar raciocínio bidirecional (por exemplo, condicionamento em quadros inicial e final simultaneamente).

Metodologia

O artigo apresenta o PUSA V1.0, um modelo versátil que aproveita a Adaptação de Passo de Tempo Vetorizado (VTA) para permitir controle temporal de granularidade fina dentro de um framework unificado de difusão de vídeo. A inovação central é uma estratégia de adaptação não destrutiva que modifica o condicionamento temporal do modelo base sem alterar sua arquitetura ou destruir suas capacidades pré-treinadas.

1. Adaptação de Passo de Tempo Vetorizado (VTA)

Em vez de um único passo de tempo escalar $t$, o PUSA emprega um passo de tempo vetorizado $\tau \in [0, 1]^N$, onde $N$ é o número de quadros. Cada componente $\tau^i$ representa o parâmetro de progressão individual do $i$-ésimo quadro ao longo de seu caminho de probabilidade.

• Modificação Arquitetural: A adaptação é mínima e não destrutiva. O módulo de incorporação de passo de tempo é reengenheirado para processar o vetor de entrada $\tau$, gerando incorporações específicas por quadro. Essas incorporações são projetadas para produzir parâmetros de modulação por quadro (escala, deslocamento, porta) dentro dos blocos DiT (Transformador de Difusão).
• Preservação de Priores: Como a modificação é não destrutiva, definir todos os passos de tempo dos quadros para o mesmo valor permite que o modelo gere resultados idênticos ao modelo base T2V, preservando totalmente suas capacidades originais.

2. Correspondência de Fluxo Consciente de Quadros (FAFM)

O modelo é treinado usando um objetivo de Correspondência de Fluxo estendido para passos de tempo vetorizados.

• Estratégia de Treinamento: O treinamento utiliza uma estratégia de passo de tempo vetorizado totalmente aleatorizado ($p_{async} = 1$), onde cada componente $\tau^i$ é amostrado independentemente de uma distribuição uniforme $U[0, 1]$. Isso obriga o modelo a aprender controle temporal de granularidade fina a partir de uma distribuição maximamente diversa de estados temporais.
• Eficiência: Diferentemente de métodos anteriores que exigem cronogramas de amostragem complexos ou conjuntos de dados massivos, essa abordagem permite que o modelo seja ajustado finamente com dados extremamente limitados e poder computacional reduzido.

3. Inferência para Tarefas Zero-Shot

O PUSA alcança capacidades zero-shot manipulando estrategicamente o passo de tempo vetorizado $\tau$ durante a amostragem:

• I2V: O componente de passo de tempo para a imagem de condicionamento (por exemplo, o primeiro quadro) é fixado em zero ($\tau^1 = 0$) durante toda a inferência, efetivamente mantendo-o como uma condição limpa enquanto outros quadros evoluem.
• Quadros Inicial e Final & Extensão: Ao fixar os passos de tempo para subconjuntos específicos de quadros (por exemplo, primeiro e último quadros) em zero ou níveis de ruído específicos, o modelo pode gerar vídeos coerentes condicionados a configurações de quadro arbitrárias sem re-treinamento específico para tarefas.

Principais Contribuições

1. Eficiência Sem Precedentes: O PUSA alcança desempenho State-of-the-Art (SOTA) em I2V usando apenas 4.000 amostras e 0,5K de custo computacional (aproximadamente $500), comparado aos esperados >10 milhões de amostras e >100K de custo para baselines comparáveis como Wan-I2V.
2. Generalização Unificada Multi-tarefa: O modelo retém as capacidades T2V do modelo base enquanto, simultaneamente, generaliza para I2V, quadros inicial e final, extensão de vídeo e conclusão de forma zero-shot.
3. Insight Mecanístico: Análises revelam que a abordagem injeta cirurgicamente dinâmicas temporais nos mecanismos de auto-atenção do modelo, preservando os priores generativos do modelo fundacional. Isso evita a "explosão combinatória" inerente aos passos de tempo vetorizados, aproveitando a robustez do modelo base à evolução assíncrona.

Resultados

• Desempenho Quantitativo: No benchmark VBench-I2V, o PUSA alcança uma pontuação total de 87,32, superando o Wan-I2V (86,86) e outros modelos de código aberto. Ele demonstra desempenho superior em Consistência do Sujeito I2V (97,64 vs. 96,95) e Consistência de Fundo (99,24 vs. 96,44).
• Eficiência de Treinamento: Estudos de ablação mostram que o PUSA converge rapidamente (dentro de 900 iterações) e supera significativamente as baselines treinadas com o mesmo orçamento. A abordagem de ajuste fino baseada em LoRA prova-se particularmente eficaz, alcançando pontuações mais altas do que o ajuste fino completo no mesmo número de iterações.
• Análise Qualitativa: Visualizações de mapas de atenção mostram que, enquanto o modelo base T2V exibe atenção diagonal (independência de quadros) e o Wan-I2V mostra atenção transitória ao primeiro quadro, o PUSA mantém atenção forte e consistente ao quadro de condicionamento em todas as etapas de inferência. A análise de divergência de parâmetros confirma que o PUSA induz mudanças mínimas (principalmente em blocos de auto-atenção) em comparação com o desvio substancial observado no Wan-I2V.

Significado e Alegações

O artigo posiciona o PUSA como uma mudança crítica nos paradigmas de geração de vídeo. Ao combinar modelagem temporal principista (passos de tempo vetorizados) com adaptação eficiente e não destrutiva, o PUSA redefine o trade-off entre eficiência e qualidade.

• Democratização: O método democratiza a geração de vídeo de alta fidelidade, tornando a síntese multi-tarefa nível SOTA acessível com recursos computacionais mínimos.
• Versatilidade: Estabelece um paradigma escalável que unifica T2V, I2V e tarefas complexas de edição temporal dentro de um único framework, superando as limitações tanto dos modelos de passo de tempo escalar rígido quanto das abordagens autoregressivas propensas a erros.
• Natureza Não Destrutiva: O trabalho demonstra que o controle temporal avançado pode ser desbloqueado sem sacrificar as capacidades fundamentais de modelos pré-treinados em grande escala, evitando as armadilhas do esquecimento catastrófico.