Resumo Técnico: Resampling Forcing para Difusão de Vídeo Autorregressiva

Declaração do Problema

Modelos de difusão de vídeo autorregressivos (AR) oferecem um paradigma promissor para simulação de mundo ao prever quadros futuros condicionados a observações passadas, aderindo estritamente à natureza causal da dinâmica física. No entanto, esses modelos sofrem significativamente de viés de exposição (exposure bias). Durante o treinamento, os modelos tipicamente dependem de "teacher forcing", onde eles se condicionam a quadros de histórico de verdade absoluta (ground-truth). Durante a inferência, contudo, eles devem se condicionar às suas próprias saídas previamente geradas (e imperfeitas). Esse descompasso entre treino e teste leva à acumulação de erro, onde pequenos artefatos em predições iniciais são amplificados ao longo do rollout autorregressivo, resultando frequentemente em colapso catastrófico de vídeo em horizontes longos.

Soluções existentes para mitigar esse descompasso geralmente dependem de estratégias de pós-treinamento que requerem modelos auxiliares:

1. Abordagens baseadas em destilação (ex: Self Forcing): Treina-se primeiro um modelo professor bidirecional e depois destila-se para um aluno causal. Isso introduz uma dependência de um professor não-causal que pode vazar informações futuras, comprometendo a causalidade temporal estrita.
2. Abordagens adversariais (ex: AAPT): Otimiza-se conjuntamente um gerador e um discriminador. Isso requer o treinamento complexo de um discriminador online e limita a escalabilidade.

Além disso, estender a geração AR para vídeos longos exacerba a complexidade da atenção, conforme o contexto histórico cresce indefinidamente, criando gargalos computacionais tanto para o treinamento quanto para a inferência.

Metodologia: Resampling Forcing

Os autores propõem o Resampling Forcing, uma estrutura end-to-end, livre de professor (teacher-free), projetada para treinar modelos de difusão de vídeo autorregressivos do zero. A filosofia central é treinar o modelo para ser robusto contra perturbações de entrada (erros simulados) enquanto mantém um objetivo de predição limpo.

1. Mecanismo de Auto-Resampling (Self-Resampling)

Para simular erros do modelo durante a inferência durante o treinamento, o método introduz um esquema de auto-resampling:

• Processo: Em vez de se condicionar ao histórico de verdade absoluta limpo, o modelo se condiciona a quadros de histórico "degradados".
• Implementação:
  1. Os quadros de verdade absoluta são corrompidos para um timestep de amostragem $t_s$ (introduzindo ruído).
  2. O próprio modelo online (com pesos atuais) é usado para completar autoregressivamente os passos de denoising restantes de $t_s$ até 0, produzindo um quadro degradado e livre de ruído $\tilde{x}$.
  3. Este quadro degradado $\tilde{x}$, que contém erros induzidos pelo modelo, é então usado como a condição para prever o próximo quadro.
• Design Chave: Os gradientes são desconectados (detached) deste processo de resampling para evitar o "aprendizado de atalho" (shortcut learning) (onde o modelo aprende a ignorar a entrada em vez de corrigi-la). Isso força o modelo a aprender a corrigir suas próprias imperfeições.
• Amostragem de Timestep: O timestep de corrupção $t_s$ é amostrado de uma distribuição logit-normal, deslocada por um parâmetro $s$ para equilibrar a fidelidade do histórico e a flexibilidade de correção de erro. Uma fase de warm-up usando teacher forcing padrão é empregada inicialmente antes de mudar para o Resampling Forcing.

2. Roteamento de Histórico para Atenção Eficiente

Para abordar o custo computacional de atender a um histórico que cresce continuamente em gerações de longo horizonte, os autores introduzem um mecanismo de roteamento de histórico livre de parâmetros:

• Recuperação Dinâmica: Em vez de atender a todos os quadros anteriores (atenção causal densa) ou a uma janela deslizante fixa, o modelo recupera dinamicamente os top-$k$ quadros de histórico mais relevantes para cada token de consulta (query).
• Métrica de Seleção: A relevância é determinada pelo produto escalar entre o token de consulta e um descritor de média agrupada (mean-pooled) das chaves dos quadros de histórico.
• Complexidade: Isso reduz a complexidade da atenção de linear $O(L)$ para constante $O(k)$ conforme o comprimento do vídeo $L$ aumenta, mantendo um campo receptivo maior do que uma janela fixa ao permitir combinações de contexto diversas.

3. Objetivo de Treinamento

O modelo é treinado usando uma máscara causal esparsa que impõe causalidade temporal (quadros apenas atendem a quadros passados) enquanto permite treinamento paralelo via perda de difusão por quadro. A perda é calculada entre a predição do modelo e o quadro limpo de verdade absoluta, condicionado ao histórico degradado (resampled).

Principais Contribuições

1. Treinamento End-to-End Livre de Professor: A primeira estrutura que treina modelos de difusão de vídeo autorregressivos do zero sem depender de professores bidirecionais ou discriminadores, evitando o vazamento de informação futura.
2. Algoritmo de Resampling Forcing: Uma estratégia de auto-resampling inovadora que simula erros de tempo de inferência durante o treinamento, mitigando efetivamente a acumulação de erro e estabilizando a geração de longo horizonte.
3. Roteamento de Histórico Livre de Parâmetros: Um mecanismo dinâmico que seleciona o contexto histórico relevante, permitindo a geração de vídeos longos com complexidade de atenção quase constante e perda de qualidade negligenciável em comparação com a atenção densa.
4. Treinamento Nativo de Vídeo Longo: A capacidade de treinar nativamente em sequências longas (ex: 15 segundos) em vez de depender de destilação de clipes curtos, levando a uma consistência temporal superior.

Resultados Experimentais

O método foi avaliado na arquitetura Wan2.1-1.3B, treinada em vídeos de 5s e 15s.

• Desempenho Qualitativo:
  • Estabilidade: Diferente das baselines (ex: Pyramid Flow, CausVid) que exibem degradação progressiva de cor e textura ao longo do tempo, o Resampling Forcing mantém a qualidade visual estável em vídeos de 15 segundos.
  • Causalidade: Em simulações físicas (ex: despejar leite), o modelo adere estritamente às leis causais (aumento monotônico do nível do líquido), enquanto as baselines baseadas em destilação (ex: LongLive) frequentemente violam a causalidade devido ao vazamento de informação futura de seus professores.
• Desempenho Quantitativo (VBench):
  • O método alcança pontuações de consistência temporal e qualidade visual comparáveis ou superiores às baselines de destilação de estado da arte (Self Forcing, CausVid) nos segmentos de 0–5s, 5–10s e 10–15s.
  • Supera as baselines em consistência temporal em vídeos mais longos, atribuído ao treinamento de comprimento nativo.
• Eficiência:
  • O mecanismo de roteamento de histórico alcança 75% de esparsidade de atenção (top-5 de 20 quadros) com queda de qualidade negligenciável em comparação com a atenção densa.
  • Elimina a necessidade de um professor bidirecional massivo de 14 bilhões de parâmetros exigido pelos métodos de destilação concorrentes.

Significância e Alegações

O artigo afirma que o Resampling Forcing avança a escalabilidade dos modelos de mundo de vídeo autorregressivos ao resolver o problema fundamental do viés de exposição sem modelos auxiliares. Ao simular erros durante o treinamento, o modelo aprende a corrigir seu próprio desvio, permitindo a geração estável em horizontes longos. A integração do roteamento de histórico dinâmico aborda ainda os gargalos de memória e computação da atenção de contexto longo. Os autores posicionam este trabalho como um caminho viável para treinar modelos de vídeo estritamente causais e robustos do zero, oferecendo uma alternativa prática aos pipelines de destilação que comprometem a causalidade temporal em prol da qualidade.