Resumo Técnico: Self Gradient Forcing (SGF)

1. Declaração do Problema: O Contexto Histórico-Gap de Gradiente

Avanços recentes em difusão de vídeo autorregressiva deslocaram-se para o Self Forcing, um paradigma onde os modelos são treinados em históricos gerados por seus próprios rollouts autorregressivos em vez de contextos de vídeo de verdade (ground-truth). Esta abordagem mitiga o viés de exposição ao alinhar as distribuições de treinamento com as condições de inferência. No entanto, os autores identificam uma limitação crítica nas implementações atuais de Self Forcing: o gap de contexto histórico-gradiente.

No Self Forcing padrão, embora o modelo aprenda a ler o histórico autogerado (via cache de Chave-Valor/KV) para prever quadros futuros, a escrita desse histórico no cache permanece não supervisionada. Especificamente:

• Cache KV Congelado: Durante o rollout autorregressivo, latentes previamente gerados são processados em um passo de tempo de contexto limpo ($t_{ctx}=0$) para produzir entradas de Chave-Valor (KV). Essas entradas são armazenadas no cache como um estado "congelado" para blocos futuros.
• Supervisão Ausente: Perdas futuras (por exemplo, perdas de Distillation Matching DMD em passos de tempo ruidosos) podem retropropagar através da leitura do cache (como tokens futuros atendem ao histórico), mas não podem retropropagar através da escrita do cache (como latentes anteriores são codificados em representações KV).
• Consequência: À medida que o rollout se estende, os parâmetros responsáveis por escrever entradas KV de tempo de contexto limpo derivam porque são atualizados por perdas em passos de tempo ruidosos sem feedback direto sobre se a representação de memória resultante é útil para a geração de longo horizonte. Isso leva à deriva de identidade, inconsistências de layout e quebras de cena em vídeos longos.

Uma solução direta — manter todo o grafo de rollout serial diferenciável para permitir que perdas futuras retropropaguem por todo o histórico — é computacionalmente inviável devido à explosão de memória conforme o grafo cresce com o comprimento do rollout.

2. Metodologia: Self Gradient Forcing (SGF)

Os autores propõem o Self Gradient Forcing (SGF), uma estratégia de treinamento de duas passagens que restaura o sinal de supervisão de escrita de memória ausente sem exigir a retropropagação total através do rollout serial. O SGF é ortogonal aos existentes melhorias de forcing e pode ser aplicado sobre elas.

A Estratégia de Duas Passagens

O SGF decompõe o passo de treinamento em duas fases distintas:

Passagem 1: Rollout Autorregressivo Sem Gradiente

• O modelo realiza um rollout autorregressivo serial padrão idêntico à inferência, mas com gradientes desativados.
• Para cada bloco $i$, o modelo denoisifica o latente $z_i$ usando o cache KV histórico atual.
• Em um "passo de saída" amostrado $s$ (um passo de tempo de denoising específico), o modelo registra:
  1. Os latentes de entrada ruidosos ($Z^*$).
  2. Os latentes limpos previstos ($\tilde{X}_{ctx}$) gerados no passo de saída.
• Os latentes limpos são processados em $t_{ctx}=0$ para atualizar o cache KV serial para o próximo bloco, mas esta atualização é desconectada do grafo de computação.

Passagem 2: Reconstrução de Gradiente de Contexto Paralela

• O modelo descarta o cache serial e reconstrói a computação para o passo de saída amostrado de forma paralela.
• Os latentes limpos registrados ($\tilde{X}_{ctx}$) da Passagem 1 são reintroduzidos no modelo como entradas de stop-gradient.
• O modelo recomputa os estados ocultos de contexto limpo, representações KV e a atenção causal futuro-para-contexto.
• Crucialmente, as representações KV geradas nesta passagem são diferenciáveis.
• O modelo então processa os latentes ruidosos registrados ($Z^*$) para gerar previsões, e a perda resultante (por exemplo, perda DMD) é retropropagada.
• Resultado: O gradiente flui da perda futura, através do denoising do lado do alvo, através do mecanismo de atenção e de volta para a computação de escrita de KV (a passagem forward do contexto limpo). Isso permite que perdas futuras supervisionem como o histórico autogerado é codificado na memória.

Detalhes de Implementação Técnica

• Fronteira de Gradiente: O método evita a retropropagação total do rollout (BPTT). Os gradientes fluem apenas através da reconstrução limitada da Passagem-2. As entradas para a reconstrução (os latentes registrados) permanecem como stop-gradient, garantindo que a otimização foque no mecanismo de escrita em vez da trajetória do rollout em si.
• Eficiência: Ao usar reconstrução paralela com uma máscara causal estática (por exemplo, via FlexAttention), o SGF evita a explosão de memória associada a um cache serial totalmente diferenciável.
• Política de Streaming: Para geração quadro a quadro, o SGF utiliza uma política de contexto sink-plus-FIFO, mantendo um prefixo sink fixo e uma janela de latentes recentes para isolar o efeito do forcing de gradiente.

3. Principais Contribuições

1. Identificação do Gap: O artigo identifica formalmente o "gap de contexto histórico-gradiente" no Self Forcing de cache congelado, onde perdas futuras supervisionam a leitura do cache, mas não a computação de escrita do contexto limpo, levando à deriva na geração de longo horizonte.
2. Algoritmo SGF: Introdução de uma estratégia de treinamento de duas passagens que recupera a supervisão de escrita de memória via reconstrução de gradiente de contexto paralela, permitindo que perdas futuras treinem o modelo para codificar o contexto em uma memória causal mais eficaz.
3. Validação Empírica: Experimentos extensos demonstrando que o SGF melhora significativamente a extrapolação nativa de vídeo longo (60s e 240s) enquanto mantém a qualidade de curto horizonte (5s) comparável ao Self Forcing.

4. Resultados Experimentais

Os autores avaliaram o SGF contra baselines de Self Forcing correspondentes em geração quadro a quadro e por chunks, usando várias inicializações (Causal ODE, Causal CD, Teacher Forcing) e horizontes (5s, 60s, 240s).

• Métricas Quantitativas:
  • O SGF supera consistentemente o Self Forcing em consistência de sujeito, consistência de fundo/layout, estabilidade temporal (flickering) e qualidade estética nos horizontes de 60s e 240s.
  • Embora o Self Forcing às vezes pontue mais alto em "grau de dinamismo", os autores atribuem isso a movimentos incoerentes (saltos de cena, deformação de objetos) em vez de qualidade. O SGF mantém uma evolução de câmera mais estável e plausível.
  • No horizonte de 5s, o SGF apresenta desempenho comparável ao Self Forcing, confirmando que o método não degrada a geração de curto prazo.
• Resultados Qualitativos:
  • Comparações visuais mostram que modelos Self Forcing eventualmente sofrem de deriva de identidade, saltos de visão e quebras de layout conforme a extrapolação continua.
  • Modelos SGF preservam a identidade do sujeito, pose e layout da cena ao longo de 240 segundos, mesmo quando treinados em uma janela de apenas 5 segundos.
• Estudo de Usuário: Um estudo de preferência cego GSB (Greater-Same-Better) com mais de 1.900 julgamentos pareados mostrou uma preferência consistente pelo SGF sobre o Self Forcing em todas as configurações testadas, com pontuações de preferência positiva variando de ~29% a ~48%.
• Viabilidade de Treinamento: O SGF introduz um overhead modesto. A memória de pico aumenta ligeiramente (de ~79GB para ~87GB), mas a memória estável diminui (de ~79GB para ~63GB) devido à eliminação do grafo recorrente. O tempo de execução aumenta em aproximadamente 1,3 segundos por cada 5 passos de treinamento.

5. Significância e Alegações

O artigo afirma que o SGF aborda uma limitação fundamental no treinamento atual de difusão de vídeo autorregressiva: a incapacidade das perdas futuras de supervisionar a codificação do histórico autogerado na memória.

• Extrapolação Nativa: O SGF permite que modelos treinados em janelas curtas (ex: 5 segundos) extrapolem para vídeos de escala de minutos (60s, 240s) com coerência significativamente melhorada.
• Ortogonalidade: O método é apresentado como uma melhoria plug-and-play que pode ser combinada com outras técnicas de forcing (ex: Causal Forcing, Rolling Forcing) e estratégias de inicialização sem conflitos.
• Supervisão de Escrita de Memória: A principal significância reside em deslocar o objetivo de treinamento para garantir que o modelo aprenda não apenas a ler seu próprio histórico, mas a escrevê-lo de uma forma que permaneça útil para os passos de geração futuros.

Os autores concluem que, ao fechar o gap de contexto histórico-gradiente, o SGF fornece um caminho escalável para a geração de vídeo longo de alta qualidade sem os custos proibitivos de rollouts totalmente diferenciáveis.