Reward-Forcing: Autoregressive Video Generation with Reward Feedback

Título: REWARD-FORCING: GERAÇÃO AUTOREGRESSIVA DE VÍDEO COM FEEDBACK DE RECOMPENSA

1. O Problema

A geração de vídeo de alta qualidade tem sido dominada por modelos de difusão baseados em arquiteturas bidirecionais (que utilizam informações de quadros passados e futuros). Embora esses modelos produzam resultados excepcionais, eles são inerentemente inadequados para geração em tempo real ou streaming, pois exigem que todo o vídeo seja processado simultaneamente, resultando em latência alta (minutos para gerar alguns segundos de vídeo).

Para contornar isso, esforços recentes tentaram adaptar modelos bidirecionais para versões autoregressivas (gerando quadro a quadro). No entanto, essas adaptações dependem fortemente de destilação heterogênea de um "modelo professor" bidirecional forte. Isso impõe limitações:

• A qualidade do modelo aluno é limitada pela qualidade do professor.
• A falta de contexto futuro na geração autoregressiva dificulta a manutenção da coerência temporal.
• O processo de destilação é complexo e computacionalmente custoso.

O artigo propõe uma alternativa que busca superar essas limitações, permitindo uma geração autoregressiva eficiente e escalável sem depender estritamente da destilação de um professor bidirecional.

2. Metodologia

Os autores propõem uma abordagem chamada Reward-Forcing, que combina modelagem de difusão autoregressiva com Aprendizado por Reforço (RL) guiado por sinais de recompensa. O pipeline segue três etapas principais:

1. Inicialização com Trajetórias ODE (Dinâmica de Movimento):

   • Em vez de começar com uma destilação completa, o modelo é inicializado utilizando trajetórias de Equações Diferenciais Ordinárias (ODE) geradas por um modelo professor bidirecional.
   • O objetivo é ensinar o modelo a gerar movimentos consistentes e estruturas globais. Observou-se empiricamente que, nesta fase, o modelo aprende a coerência do movimento antes de refinar os detalhes de textura.

2. Otimização Guiada por Recompensa (Reward Guidance):

   • Após a inicialização, o modelo passa por uma fase de otimização onde um modelo de recompensa (especificamente o ImageReward) guia a geração.
   • Diferente de métodos anteriores que usam distillation (que força o aluno a imitar o professor), aqui o sinal de recompensa otimiza diretamente a qualidade perceptual e a fidelidade visual.
   • Estratégia de Supervisão: A recompensa é aplicada apenas ao último quadro do vídeo gerado. Os autores descobriram que supervisionar quadros aleatórios ou todos os quadros tende a reduzir o movimento (favorecendo conteúdo estático), enquanto supervisionar o último quadro preserva melhor a dinâmica temporal do processo autoregressivo.

3. Arquitetura e Treinamento:

   • O modelo base é o Wan2.1 (1.3B parâmetros).
   • O processo elimina a necessidade de um segundo estágio de destilação (usado em métodos como CausVid e Self Forcing), tornando o treinamento mais leve.
   • O método é "livre de dados" (data-free) no sentido de que não requer um conjunto de dados de treinamento real para o estágio de recompensa, utilizando apenas trajetórias sintéticas do professor para a inicialização e o modelo de recompensa para o refinamento.

3. Contribuições Principais

• Superação do Limite do Professor: Demonstrar que o desempenho de métodos autoregressivos não precisa ser estritamente limitado pela performance do modelo professor bidirecional, desde que se utilize sinais de recompensa para guiar a geração.
• Descoberta de Ordem de Aprendizado: Observação de que movimentos consistentes são aprendidos antes das texturas em modelos de difusão, validando a estratégia de usar trajetórias ODE primeiro e recompensa depois.
• Novo Paradigma de Treinamento: Proposta de um framework que substitui a destilação complexa por otimização direta via recompensa, simplificando o pipeline de treinamento.
• Desempenho Competitivo: O método alcança resultados comparáveis ou superiores a modelos autoregressivos existentes e, em alguns casos, supera modelos bidirecionais de tamanho similar, evitando as restrições impostas pela arquitetura do professor.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark VBench, avaliando qualidade, semântica e pontuação total.

• Desempenho Quantitativo:

  • O método proposto ("Ours") alcançou uma pontuação total de 84.92 no VBench.
  • Isso supera o Self Forcing (chunk-wise), que obteve 84.31, e se aproxima de métodos que exigem destilação heterogênea complexa.
  • Na métrica de Qualidade, o método obteve 85.91, superando o Self Forcing (85.25) e o modelo bidirecional Wan2.1 (85.30).
  • O método manteve uma baixa latência (0.69s) e alta taxa de transferência (17.0 FPS), comparável aos métodos autoregressivos mais rápidos.

• Análise Qualitativa:

  • Os vídeos gerados exibem alta fidelidade visual e consistência temporal.
  • A abordagem de recompensa permite que o estilo do vídeo se diferencie do professor, focando em detalhes de textura que o professor poderia não priorizar.

• Estudos de Ablação:

  • Combinação Recompensa + Destilação: Tentar treinar simultaneamente com perda de destilação (DMD) e perda de recompensa resultou em pior desempenho (82.55), sugerindo um conflito entre imitar o professor e otimizar para a recompensa.
  • Quadro de Supervisão: A aplicação de recompensa apenas no último quadro foi crucial; supervisionar quadros aleatórios degradou a qualidade do movimento em mais de 10 pontos percentuais.
  • Tamanho do Professor: Aumentar o tamanho do professor (de 1.3B para 14B) não trouxe ganhos significativos, indicando que o gargalo pode estar na capacidade do modelo aluno autoregressivo ou na arquitetura, e não apenas no professor.

5. Significado e Impacto

Este trabalho representa um avanço significativo na direção de geração de vídeo em tempo real e escalável. Ao demonstrar que é possível obter alta qualidade sem depender pesadamente da destilação de modelos bidirecionais massivos, o Reward-Forcing oferece:

1. Eficiência: Redução da complexidade de treinamento e eliminação de estágios de destilação pesados.
2. Flexibilidade: A capacidade de gerar vídeos com estilos e qualidades que podem divergir do modelo professor, guiados apenas pelos objetivos de recompensa.
3. Futuro da Geração: Sugere que o futuro da geração autoregressiva pode depender menos de "imitar" modelos anteriores e mais de otimização direta baseada em preferências humanas (via modelos de recompensa), alinhando-se com tendências de RLHF (Reinforcement Learning from Human Feedback) em LLMs.

Em resumo, o paper propõe uma mudança de paradigma: em vez de forçar um modelo autoregressivo a se comportar como um bidirecional (via destilação), usa-se feedback de recompensa para ensinar o modelo a gerar vídeos de alta qualidade de forma nativa e eficiente.