A Systematic Post-Train Framework for Video Generation

1. Declaração do Problema

Embora modelos de difusão de vídeo em grande escala tenham alcançado progresso significativo na geração de conteúdo de alta resolução e semanticamente rico, persiste uma lacuna crítica entre seu desempenho no pré-treinamento e os requisitos de implantação no mundo real. Os principais desafios que impedem a implantação incluem:

• Sensibilidade ao Prompt: Os modelos são frequentemente instáveis e falham em seguir instruções com precisão.
• Inconsistência Temporal: Os vídeos sofrem de flickering, jitter e movimento incoerente ao longo de longas durações.
• Artefatos Locais: Erros ocorrem frequentemente em detalhes complexos como mãos, texto e movimento rápido.
• Custos de Inferência Proibitivos: Requisitos computacionais elevados tornam a implantação em tempo real ou escalável difícil.
• Ruído na Avaliação: Sinais de avaliação existentes são frequentemente ruidosos, e a geração de rollout para aprendizado por reforço é computacionalmente cara.

O artigo argumenta que o pré-treinamento padrão é insuficiente e que uma fase sistemática de pós-treinamento é necessária para alinhar os modelos com as intenções do usuário, melhorar a qualidade e otimizar a eficiência sob restrições rigorosas de custo.

2. Metodologia

Os autores propõem um framework unificado de pós-treinamento em quatro estágios, projetado para preencher a lacuna entre o pré-treinamento baseado em verossimilhança e a implantação focada em alinhamento.

Fase 1: Ajuste Fino Supervisionado (SFT)

• Objetivo: Estabelecer uma política de referência estável e bem estruturada antes de aplicar aprendizado por reforço.
• Mecanismo: O modelo pré-treinado é ajustado finamente em dados curados para eliminar falhas de "fruta baixa", como cascatas de recusa, raciocínio incoerente e saídas inseguras.
• Racional: O SFT transforma uma política errática em uma base coerente, impedindo que o modelo se desvie para comportamentos degenerados durante os estágios subsequentes de RLHF e ampliando o espaço de exploração para RL.

Fase 2: Aprendizado por Reforço a partir de Feedback Humano (RLHF) via GRPO

• Objetivo: Otimizar a qualidade perceptiva, a coerência temporal e a aderência a instruções sem depender de estimativa instável de função de valor.
• Mecanismo:
  • Formulação: O processo de amostragem de matching de fluxo é modelado como um Processo de Decisão de Markov (MDP) sob dinâmicas estocásticas.
  • Algoritmo: Os autores empregam Otimização de Política Relativa em Grupo (GRPO), adaptada para difusão de vídeo. Eles utilizam uma estratégia Flash-GRPO com agrupamento isotemporal, onde cada grupo de prompts realiza uma única transição de Equação Diferencial Estocástica (SDE) em um timestep específico para exploração, enquanto utiliza atualizações determinísticas de Equação Diferencial Ordinária (ODE) em outros momentos para estabilidade.
  • Modelos de Recompensa: Um sistema de recompensa multidimensional é utilizado, compreendendo:
    1. Estética de Vídeo: Iluminação, composição e aparência cinematográfica.
    2. Estética de Imagem: Nitidez e estrutura ao nível do quadro.
    3. Qualidade de Movimento: Suavidade e consistência temporal.
    4. Alinhamento Texto-Vídeo: Consistência semântica com o prompt.
  • Otimização: O framework equilibra essas recompensas para evitar trade-offs (por exemplo, sacrificar a naturalidade visual pela precisão do texto), priorizando a qualidade visual geral.

Fase 3: Aprimoramento de Prompt (PE)

• Objetivo: Refinar as entradas do usuário (prompts) para melhorar a robustez da saída e a qualidade visual.
• Mecanismo: Um Modelo de Linguagem de Grande Escala (LLM) é treinado como um "Aprimorador de Prompt" usando o mesmo framework GRPO.
• Sinais de Recompensa: O LLM é otimizado para Alinhamento Texto-Vídeo, Estética de Vídeo e uma Recompensa de Estrutura (garantindo conformidade de formato).
• Benefício: Isso otimiza o lado da entrada do pipeline de geração, complementando a otimização do lado da saída do RLHF, permitindo que o sistema lide com entradas de usuário diversas de forma mais eficaz.

Fase 4: Destilação Autoregressiva (AD)

• Objetivo: Comprimir o modelo pós-treinado de alta qualidade em uma arquitetura causal eficiente para inferência mais rápida.
• Mecanismo:
  • Destilação: O modelo professor bidirecional é destilado em um modelo estudante causal usando Destilação de Correspondência de Distribuição (DMD).
  • Auto-Forçamento: O treinamento emprega um paradigma de "Auto-Forçamento" onde os quadros são gerados condicionados a saídas previamente auto-geradas (usando cache KV), em vez de forçamento do professor. Isso mitiga o acúmulo de erros comum na síntese de vídeos longos.
  • Arquitetura: O processo envolve regressão ODE para estabilizar a transição para máscaras causais, seguida por destilação de auto-forçamento para avaliar a qualidade de toda a sequência gerada.

3. Contribuições Principais

1. Pipeline Unificado de Pós-Treinamento: O artigo introduz um framework sistemático integrando SFT, RLHF, Aprimoramento de Prompt e Destilação Autoregressiva, abordando qualidade, controlabilidade e eficiência simultaneamente.
2. GRPO para Difusão de Vídeo: Uma adaptação inovadora do GRPO para modelos de matching de fluxo, utilizando agrupamento isotemporal e retificação de gradiente temporal para lidar com o alto custo e ruído dos rollouts de geração de vídeo.
3. Otimização de Duplo Lado: A integração única de Aprimoramento de Prompt junto ao RLHF padrão, otimizando tanto o prompt de entrada quanto a política de geração usando os mesmos sinais de recompensa.
4. Arquitetura de Implantação Eficiente: A aplicação de Destilação de Auto-Forçamento para transferir capacidades de um professor bidirecional para um estudante causal e autoregressivo, permitindo inferência em tempo real sem perda significativa de qualidade.

4. Resultados

O framework foi avaliado usando um protocolo de comparação Bom–Igual–Ruim (GSB) com anotadores humanos.

• Impacto do RLHF: A etapa de RLHF isolada alcançou uma melhoria de 31% na métrica geral GSB. Os ganhos foram mais pronunciados em Qualidade Visual e Qualidade de Movimento. As melhorias no alinhamento de texto foram modestas, atribuídas às limitações atuais dos modelos de recompensa texto-vídeo.
• Impacto do Aprimoramento de Prompt: A integração do Aprimorador de Prompt resultou em uma melhoria adicional de 20% na métrica geral GSB.
• Geral: O pipeline combinado mitiga significativamente artefatos e melhora a dinâmica temporal, preservando o alinhamento semântico.
• Evidência Visual: Resultados qualitativos (Figura 2) mostram melhorias marcantes em cenas complexas (por exemplo, trens a vapor, elefantes, cenas de cozinha) no que tange à iluminação, suavidade de movimento e aderência aos detalhes do prompt em comparação com a linha de base pré-RLHF.

5. Significado

• Blueprint Prático: O artigo fornece um blueprint escalável para construir pipelines de geração de vídeo implantáveis que equilibram excelência visual, consistência temporal e eficiência do sistema.
• Avanço Fundamental: Ao forçar o modelo a internalizar leis físicas, permanência de objetos e interações causais através de otimização temporal rigorosa, o framework contribui para o desenvolvimento de robustos Modelos de Mundo de Vídeo.
• Impacto na Indústria: O framework reduz a barreira para integrar vídeo generativo em pipelines comerciais (comércio eletrônico, marketing, entretenimento), tornando os modelos mais confiáveis, controláveis e computacionalmente eficientes.
• Direção Futura: Destaca a necessidade de modelos de recompensa texto-vídeo mais robustos para desbloquear ainda mais o potencial de otimização semântica.