💻 computer science

AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

本文提出了 AR-CoPO 框架，通过引入分块级对齐机制与半在线策略训练，有效解决了流式自回归视频生成在强化学习对齐中的初始化敏感与轨迹探索难题，显著提升了生成质量、泛化能力及人类偏好对齐度。

原作者： Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 AR-CoPO 的新方法，旨在让 AI 生成视频变得更聪明、更符合人类的喜好。为了让你轻松理解，我们可以把整个过程想象成**“教一个天才但有点固执的厨师做新菜”**。

1. 背景：那个“快但难教”的厨师

现在的 AI 视频生成模型（比如 Self-Forcing）就像一位**“快手厨师”**。

优点：他做菜速度极快（低延迟），而且能像流水一样一段接一段地做（流式生成），非常适合实时应用。
缺点：他太依赖“第一口汤”的味道了。一旦开始做，他几乎就是按部就班地执行，中间很难再插话或修改。
问题：以前教这种厨师（用强化学习 RLHF），通常是用一种叫"SDE"的方法，相当于在厨师做菜的过程中，不断往锅里扔各种奇怪的调料（随机噪声），指望他尝出好坏。
- 但是，对于这位“快手厨师”来说，中间扔调料根本没用！因为他的菜味主要取决于最开始的那勺汤（初始噪声）。中间乱加调料，不仅尝不出区别，反而把锅搞乱了，导致训练失败。

2. 核心创新：AR-CoPO 的“分叉路口”策略

AR-CoPO 发现，既然中间乱加调料没用，不如在关键的分叉路口做文章。

想象一下，厨师做一部长视频，就像做一套**“分块套餐”**（比如前菜、主菜、甜点）。

传统方法：试图在整个做菜过程中随机改变，结果因为厨师太固执，根本改不动。
AR-CoPO 的方法（分叉机制）：
1. 选定路口：随机选一个“分叉路口”（比如决定做第 3 块蛋糕的时候）。
2. 制造平行宇宙：在这个路口，让厨师基于同一个基础，尝试12 种不同的初始手法（比如 12 种不同的撒糖方式），然后让他把剩下的菜做完。
3. 打分：最后，让评委（奖励模型）给这 12 套完整的套餐打分。
4. 只改路口：既然只有第 3 块蛋糕的撒糖方式不同，如果某套套餐得分高，我们就告诉厨师：“你第 3 块蛋糕的撒糖方式很棒，以后就照着这个做！”
5. 精准打击：我们只调整第 3 块蛋糕的“撒糖逻辑”，而不需要重新做整桌菜。这样既省资源，又精准。

比喻：这就好比你在写小说，想改结局。传统方法是想在故事中间乱改，结果后面全崩了。AR-CoPO 是说：“咱们就在第 10 章那个关键选择点，让你选 12 种不同的写法，看哪种写法能让整本书结局最好，然后只优化第 10 章的写法。”

3. 两大绝招：既要“探索”也要“利用”

为了让厨师不仅会做，还能做得稳定且高质量，AR-CoPO 用了两套训练策略，就像**“学徒”和“大师”**的配合：

绝招一：在线探索（On-Policy）—— 让学徒去“试错”

做法：让厨师（模型）自己不断尝试新的撒糖方式，看看能不能做出更惊艳的菜。
作用：这能发现新的创意，提高人类喜欢的程度（比如更酷的动作、更有趣的画面）。
风险：如果只靠这个，厨师可能会为了讨好评委而“走捷径”（比如为了画面好看，让动作变得像鬼打墙一样不连贯），这就是所谓的“奖励黑客”行为。

绝招二：半在线利用（Semi-On-Policy）—— 让大师“复习”

做法：厨师手里有一份**“经典菜谱库”（参考回放缓冲区），里面都是以前做得很好的菜。我们不再让他瞎试，而是让他反复练习这些经典菜谱，但这次要挑出其中评分最高**的那几道，重点强化。
作用：这能保证视频的基本质量（比如画面稳定、动作流畅），防止厨师为了追求新奇而把菜做砸了。
比喻：就像让厨师在“创新大赛”（在线探索）和“经典复刻”（半在线利用）之间找平衡。

4. 最终成果：完美的“融合菜”

训练结束后，AR-CoPO 把“学徒的创新精神”和“大师的稳健风格”合并在一起（LoRA 合并）。

结果：生成的视频既符合人类喜好（动作自然、画面美、听指挥），又没有牺牲质量（不会出现乱跳、画面崩坏的情况）。
验证：实验证明，以前的方法（SDE-GRPO）在这种快手模型上完全失效（就像在流水线上乱加调料，毫无作用），而 AR-CoPO 让视频质量稳步提升。

总结

AR-CoPO 就像是一个聪明的教练，他不再盲目地让 AI 视频生成器在过程中乱试错，而是：

找准关键点（在视频生成的“分叉路口”进行对比）；
精准反馈（只修改导致差异的那个关键点）；
双管齐下（既鼓励创新，又守住质量底线）。

最终，它让那些原本很难调教的“快手”AI 视频模型，也能变得既听话又高质量。

这是一篇关于AR-CoPO (AutoRegressive Contrastive Policy Optimization) 的论文技术总结。该论文提出了一种新的强化学习框架，旨在解决流式自回归（Streaming Autoregressive, AR）视频生成模型在人类反馈强化学习（RLHF）对齐中的难题。

以下是详细的技术总结：

1. 研究背景与核心问题 (Problem)

背景：流式自回归（AR）视频生成模型结合少步蒸馏（Few-step Distillation）技术，能够实现低延迟、高质量的视频合成。然而，这类模型在通过人类反馈强化学习（RLHF）进行对齐时面临巨大挑战。
现有方法的局限性：
- 现有的基于随机微分方程（SDE）的 GRPO（Group Relative Policy Optimization）方法通常将确定性 ODE 采样转化为随机 SDE 形式以引入探索（Exploration）。
- 不匹配问题：流式 AR 模型（如 Self-Forcing）通常基于少步 ODE 求解器或一致性模型（Consistency Models, CM）。这些模型的采样轨迹极短且随机性极低，主要受初始噪声控制，而非中间步骤的噪声注入。
- 失效原因：SDE-based GRPO 方法通常冻结初始噪声，仅在中间步骤注入噪声进行探索。但在少步 AR 模型中，中间噪声对输出影响微乎其微，导致探索无效，奖励信号无法引导模型优化，甚至导致训练失败。
核心问题：如何有效地利用类似 GRPO 的目标函数，对具有少步、流式、近确定性特征的自回归视频生成模型进行 RLHF 对齐？

2. 方法论 (Methodology)

AR-CoPO 框架受 Neighbor GRPO 的启发，提出了一种基于对比的策略优化方法，核心在于将探索机制从“中间噪声注入”转移到“初始噪声扰动”，并针对 AR 结构进行了专门设计。

2.1 核心机制：分块级对齐与 Forking 机制 (Chunk-level Alignment via Forking)

分块策略：将视频生成分为多个 Chunk（块）。在训练迭代中，随机选择一个枢轴块（Pivot Chunk, $p$ ）。
共享上下文：模型首先生成前 $p-1$ 个块，建立共享的历史上下文（Shared Context）。
动作空间 Forking：在枢轴块 $p$ 处，基于共享的基础初始噪声 $\epsilon^*_p$ ，通过添加随机扰动生成一组 $G$ 个邻居噪声 $\{\epsilon^{(i)}_p\}$ 。
分支生成：
- 每个邻居噪声驱动一个独立的分支，完成枢轴块的生成。
- 随后，所有分支使用完全相同的后续噪声序列，确定性地完成剩余 $L-p$ 个块的生成。
奖励计算：每个完整序列由奖励模型打分，得到序列级奖励 $r^{(i)}$ 。
优势：
- 归因清晰：由于只有枢轴块的初始噪声不同，奖励差异完全归因于该块的生成选择，消除了后续生成的随机性干扰。
- 计算高效：反向传播仅限制在枢轴块的 $T$ 步内，避免了全序列多分支回传的高昂成本。

2.2 针对一致性模型的距离定义 (CoPO for Consistency Models)

对于流式 AR 模型中常用的一致性模型（CM），传统的中间状态 $x_t$ 距离度量不适用。
AR-CoPO 定义基于单步预测 $\hat{x}_0$ 的距离： $d^{(i)} = \|\hat{x}^{(i)}_0 - \hat{x}^{(\theta)}_0\|^2$ 。
利用该距离构建 Softmax 形式的代理策略分布，进行对比学习更新。

2.3 半在线策略训练 (Semi-On-Policy Training)

问题：纯在线策略（On-Policy）通过噪声扰动探索，对于全局语义奖励（如文本对齐 TA）效果不佳，容易导致“奖励黑客”（Reward Hacking），即模型为了高分牺牲了时序连贯性。
解决方案：引入半在线策略作为利用（Exploitation）阶段。
- 固定一个参考策略 $\pi_{ref}$ （初始检查点）。
- 预先收集大量基于 $\pi_{ref}$ 生成的候选轨迹存入回放缓冲区（Replay Buffer）。
- 在训练时，利用这些固定轨迹进行对比优化，通过比率裁剪（Ratio Clipping）限制策略漂移，确保在信任区域内提升质量。
LoRA 融合：分别训练两个 LoRA 适配器（一个用于在线探索，一个用于半在线利用），在推理时合并，兼顾探索带来的奖励提升和利用带来的质量稳定。

3. 主要贡献 (Key Contributions)

提出 AR-CoPO 框架：首个针对流式 AR 视频生成器的 RLHF 框架，利用基于邻域候选的对比目标，解决了 SDE 方法与少步确定性模型不匹配的问题。
分块级动作空间设计：引入分块级 Forking 机制，实现了从序列级奖励到局部动作的自然信用分配（Credit Assignment），显著降低了训练成本并提高了信号稳定性。
半在线策略训练策略：结合在线探索与基于回放缓冲区的利用，有效解决了纯在线训练在语义对齐任务中的不稳定性，提升了跨域泛化能力和生成质量。

4. 实验结果 (Results)

基准模型：在 Self-Forcing 和 Causal-Forcing 等流式 AR 模型上进行了测试。
对比 SDE-GRPO：
- SDE-based GRPO 在训练过程中奖励分数几乎无提升（如图 2 所示），验证了中间噪声注入在少步模型中无效。
- AR-CoPO 在训练过程中持续获得更高的奖励分数。
性能提升：
- VideoAlign (In-domain)：合并后的模型在 VideoAlign Overall 分数上从 7.76 提升至 8.22。
- VBench (Out-of-domain)：在 VBench Total 分数上保持或略有提升（82.15 $\to$ 82.17），证明了提升并非过拟合或奖励黑客，而是真实的对齐效果。
消融实验：
- 纯在线策略在优化文本对齐（TA）时导致运动质量（MQ）崩溃（从 1.68 降至 0.25），出现严重的时序不一致。
- 半在线策略有效避免了这一崩溃，在保持 VBench 高分的同时提升了 VideoAlign 分数。
- 去除了比率裁剪的完全离线策略会导致分布漂移和性能下降。

5. 意义与影响 (Significance)

理论突破：揭示了流式 AR 视频生成模型（特别是基于一致性模型的）具有“近确定性”特征，其随机性主要由初始噪声决定。AR-CoPO 通过控制初始噪声而非中间噪声进行探索，从根本上解决了 SDE 方法在此类模型上的失效问题。
工程价值：提供了一种低成本、高效率的 RLHF 方案，使得低延迟、流式的视频生成模型也能像大语言模型一样进行高质量的人类偏好对齐。
解决奖励黑客：通过半在线策略和 LoRA 融合机制，成功平衡了“追求高分”与“保持生成质量/连贯性”之间的矛盾，为视频生成领域的对齐研究提供了新的范式。

总结：AR-CoPO 通过创新的“分块 Forking"机制和“半在线”训练策略，成功将 RLHF 技术适配到了低延迟、少步的流式自回归视频生成模型中，显著提升了生成视频的质量、一致性和对提示词的遵循度，同时避免了传统方法中的奖励黑客和训练不稳定性问题。