AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

Título: AR-CoPO: Alinhamento de Geração de Vídeo Autoregressiva com Otimização de Política Contrastiva

1. O Problema

A geração de vídeo de alta qualidade e baixa latência tem avançado significativamente através de modelos autoregressivos (AR) combinados com técnicas de distilação em poucos passos (few-step distillation), como os modelos Self-Forcing. Esses modelos operam em modo de streaming, gerando o vídeo em "chunks" (blocos) sequenciais, o que é ideal para aplicações em tempo real.

No entanto, alinhar esses modelos com preferências humanas (RLHF - Reinforcement Learning from Human Feedback) apresenta desafios críticos quando se utilizam métodos existentes baseados em GRPO (Group Relative Policy Optimization):

• Incompatibilidade com SDE: Métodos de GRPO tradicionais para modelos de fluxo (flow-matching) convertem a amostragem determinística (ODE) em um processo estocástico (SDE) para introduzir exploração. Isso falha em modelos AR de poucos passos, pois:
  1. Esses modelos são quase determinísticos e altamente sensíveis ao ruído inicial, não ao ruído intermediário injetado pelos solvers SDE.
  2. As trajetórias de amostragem são curtas, tornando a exploração via ruído intermediário ineficaz.
• Problemas de Atribuição de Crédito: Aplicar GRPO ao nível da sequência inteira em geração AR é computacionalmente proibitivo e sofre de problemas severos de atribuição de crédito (difícil saber qual parte da sequência causou a recompensa).
• Reward Hacking: A otimização puramente on-policy (exploração ativa) para recompensas semânticas globais (como alinhamento ao texto) tende a degradar a coerência temporal e a qualidade visual, levando a "gambiarras" de recompensa (reward hacking).

2. Metodologia: AR-CoPO

Os autores propõem o AR-CoPO (AutoRegressive Contrastive Policy Optimization), um framework que adapta a perspectiva de Neighbor GRPO para geração de vídeo AR streaming.

A. Alinhamento por Nível de Chunk via Mecanismo de "Forking"

Em vez de tratar a sequência inteira como uma única ação, o AR-CoPO define o espaço de ação no nível de um chunk (bloco de vídeo):

1. Geração de Contexto Compartilhado: O modelo gera os primeiros $p-1$ chunks de forma determinística, estabelecendo um contexto histórico compartilhado.
2. Forking (Ramificação) no Chunk Pivot: Em um chunk $p$ selecionado aleatoriamente, o processo de geração é ramificado em $G$ ramos (vizinhos).
   • A única fonte de aleatoriedade que difere entre os ramos é o ruído inicial desse chunk específico ($\epsilon_p$).
   • Todos os outros ruídos (chunks subsequentes e passos de denoising dentro do chunk) são compartilhados e congelados entre os ramos.
3. Recompensa e Atualização: Cada ramo completa o vídeo restante. Uma recompensa de nível de sequência é calculada para cada vídeo completo.
4. Atualização Localizada: A atualização da política ocorre apenas no chunk pivot $p$. O modelo é otimizado para maximizar a probabilidade de gerar o latente que leva a uma recompensa maior, usando uma função de perda contrastiva baseada na distância entre as previsões dos vizinhos e a previsão atual (âncora).

B. Adaptação para Consistency Models (CM)

Para modelos que usam Consistency Models (como o Self-Forcing), a métrica de distância padrão (entre latentes intermediários $x_t$) não é ideal. O AR-CoPO redefine a distância no espaço de previsão $\hat{x}_0$ (a previsão direta da imagem limpa), que é mais informativa para esses solvers de um passo.

C. Estratégia Semi-On-Policy (Exploração vs. Exploração)

Para mitigar o reward hacking e melhorar a estabilidade, o AR-CoPO combina duas abordagens:

1. On-Policy (Exploração): Gera novos candidatos perturbando o ruído inicial a cada iteração. É bom para melhorar a adaptação a recompensas específicas, mas pode instabilizar a qualidade geral.
2. Semi-On-Policy (Exploração/Exploração): Utiliza um buffer de replay de rollouts pré-coletados de uma política de referência fixa ($\pi_{ref}$).
   • A função de perda contrastiva é aplicada sobre esses dados fixos, reponderando candidatos de alta recompensa e suprimindo os de baixa recompensa.
   • Isso permite "explorar" o espaço de alta qualidade sem desviar a distribuição de dados, mantendo a estabilidade.
   • Um mecanismo de clipping de razão (trust region) impede que a política se afaste drasticamente da referência.

D. Fusão de LoRA

Os autores treinam dois adaptadores LoRA separados (um para on-policy e outro para semi-on-policy) e os fundem no momento da inferência. Isso permite obter os benefícios de ambas as estratégias sem interferência durante o treinamento.

3. Principais Contribuições

1. Framework AR-CoPO: Um método de RLHF viável para geradores de vídeo AR de poucos passos, superando a incompatibilidade dos métodos baseados em SDE.
2. Espaço de Ação por Chunk: Introduz um mecanismo de forking no nível de chunk que permite atribuição de crédito localizada e reduz drasticamente o custo computacional do backpropagation (apenas o chunk pivot é atualizado).
3. Estratégia Semi-On-Policy: Uma abordagem híbrida que combina exploração ativa com exploração de dados de referência, evitando o colapso de qualidade e reward hacking comuns em otimizações puramente on-policy.
4. Validação Empírica: Demonstração de que o alinhamento real (e não apenas hacking) é possível em modelos AR streaming, melhorando tanto benchmarks internos quanto de generalização.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo Self-Forcing e comparados com baselines como LongLive e métodos SDE-GRPO.

• Desempenho Quantitativo:
  • O AR-CoPO (versão mesclada) superou os baselines em métricas de VideoAlign (alinhamento ao texto, qualidade de vídeo e movimento).
  • Mantiveram ou melhoraram as pontuações no VBench (benchmark externo de qualidade e semântica), provando que o ganho não é devido a reward hacking (inflação de pontuação apenas no domínio de treino).
  • A estratégia semi-on-policy sozinha já superou todos os baselines de streaming AR em pontuação total do VBench.
• Falha do SDE-GRPO: Métodos baseados em SDE falharam em melhorar a recompensa, confirmando que a injeção de ruído intermediário é ineficaz em modelos AR de poucos passos, onde a diversidade depende quase exclusivamente do ruído inicial.
• Análise de Estabilidade: A otimização puramente on-policy para recompensas de texto (TA) causou colapso na qualidade do movimento (MQ) e inconsistências temporais. A estratégia semi-on-policy evitou esse colapso, preservando a qualidade visual enquanto melhorava o alinhamento.
• Fusão de LoRA: A fusão dos adaptadores com um fator de escala de 0.8 forneceu o melhor equilíbrio, melhorando o alinhamento humano sem degradar a qualidade geral do vídeo.

5. Significado e Impacto

O AR-CoPO resolve um gargalo fundamental na geração de vídeo moderna: como alinhar modelos de baixa latência e streaming (que são determinísticos e rápidos) com preferências humanas complexas, sem sacrificar a qualidade ou a estabilidade.

• Viabilidade de RLHF para AR: Demonstra que é possível aplicar otimização de política avançada em modelos de vídeo autoregressivos sem precisar de processos de amostragem estocásticos lentos.
• Prevenção de Reward Hacking: A estratégia híbrida oferece um caminho robusto para melhorar a adesão a prompts e preferências humanas sem degradar a coerência temporal do vídeo.
• Eficiência: O mecanismo de forking por chunk torna o treinamento viável em termos computacionais, permitindo a aplicação de RLHF em modelos que antes eram considerados difíceis de alinhar.

Em resumo, o AR-CoPO estabelece um novo estado da arte para o pós-treinamento de geradores de vídeo AR, garantindo que a velocidade e a eficiência não comprometam a qualidade e a segurança do conteúdo gerado.