🤖 machine learning

Reward-Forcing: Autoregressive Video Generation with Reward Feedback

该论文提出了一种名为"Reward-Forcing"的自回归视频生成方法，通过利用奖励信号引导生成过程，在无需依赖强教师模型进行蒸馏的情况下，实现了与现有自回归模型相当甚至超越同等规模双向模型的视觉质量与时间一致性。

原作者： Jingran Zhang, Ning Li, Yuanhao Ban, Andrew Bai, Justin Cui

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingran Zhang, Ning Li, Yuanhao Ban, Andrew Bai, Justin Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让 AI 生成视频的新方法，我们可以把它想象成教一个学生如何“边看边画”长视频，而不需要老师手把手全程盯着。

为了让你更容易理解，我们把整个过程拆解成几个生动的比喻：

1. 背景：以前的“慢工出细活”vs. 现在的“实时直播”

以前的方法（双向模型）： 想象一位全能的大画家。他画一张长卷画（视频）时，会先退后一步，看一眼整幅画的开头、中间和结尾，然后再动笔。这样画出来的画非常完美，细节丰富，动作连贯。但是，因为他要反复修改、统筹全局，画完 5 秒钟的视频可能需要几分钟。这就像拍电影，后期制作很久，无法“直播”。
现在的挑战（自回归模型）： 我们想要直播，也就是画一笔，下一秒就显示出来，不能等。这就好比让画家只许看已经画好的部分，不能看未来。
旧方案的困境： 以前的做法是，让这位“全能大画家”（老师）先画好，然后教一个“快手学生”（自回归模型）去模仿。但学生往往学不到精髓，画出来的东西要么动作僵硬，要么画质模糊，就像学生临摹大师作品，总差那么点神韵。

2. 核心创新：不用“死记硬背”，改用“打分反馈”

这篇论文提出了一种新招：Reward-Forcing（奖励驱动）。

传统做法（蒸馏）： 就像学生拿着老师的满分试卷，死记硬背每一笔怎么画。如果老师画得不好，学生也画不好；而且学生必须完全模仿老师，不敢越雷池一步。
新做法（奖励反馈）： 我们不再让学生死记硬背老师的画，而是给这个学生配了一个**“挑剔的评委”**（奖励模型）。
- 第一步（学走路）： 先让学生看老师画的一小段“动作轨迹”（ODE 轨迹），学会怎么让物体动起来（比如让一只狗跑起来）。这时候学生画得可能很粗糙，只有轮廓，没有毛色细节。
- 第二步（练细节）： 学生开始自己画视频。每画完一帧，**“评委”**就跳出来打分：“这只狗的毛发纹理真棒，给高分！”或者“这个动作太僵硬了，扣分！”
- 结果： 学生根据分数不断调整，不需要模仿老师的每一笔，而是为了拿高分去优化自己的画法。

3. 一个有趣的发现：先学“动”，再学“皮”

研究人员发现了一个像**“先搭骨架，再填肉”**的规律：

AI 在生成视频时，总是先学会怎么动（比如狗跑的方向、速度），这时候画面可能很模糊，像剪影。
然后才学会长什么样（比如狗的毛色、眼睛细节）。
以前的错误： 如果让“评委”去检查每一帧（包括中间帧），AI 就会为了讨好评委，把画面画得很静止、很清晰，但不敢动了（因为评委只懂看静态图片，不懂连贯动作）。
聪明的做法： 这篇论文发现，只让“评委”检查最后一帧。这样 AI 就知道：“只要最后画面好看就行，中间过程必须动起来！”于是，它既保留了流畅的动作，又提升了画质。

4. 成果如何？

速度快： 因为是“直播”模式，生成速度极快，适合实时应用。
质量好： 在著名的视频测试榜单（VBench）上，他们的方法得分84.92，不仅超过了其他“直播”方法，甚至追平了那些需要慢工出细活的“全能大画家”（双向模型）。
更灵活： 学生不再被老师的风格限制住，如果老师画得不够好，学生可以通过“评委”的反馈，画出比老师更好的视频。

总结

这就好比：
以前教 AI 画视频，是**“师傅带徒弟”，徒弟必须完全像师傅，师傅慢徒弟也慢。
现在的方法是“师傅教徒弟怎么动，然后让一个专业评委给徒弟打分”**。徒弟为了拿高分，自己摸索出了既快又好的画法，甚至可能比师傅画得还精彩。

这种方法让 AI 生成视频变得更高效、更智能，为未来的实时视频生成（比如元宇宙、实时游戏、虚拟主播）打下了坚实的基础。

1. 研究背景与问题 (Problem)

现有视频生成的局限性： 目前最先进的视频生成模型（如 Wan2.1, Sora 等）大多基于双向架构（Bidirectional Architectures）。虽然这些模型能生成高质量视频，但由于需要同时依赖过去和未来的时间步信息，它们无法进行流式或实时生成，推理速度慢（生成 5 秒视频可能需要数分钟）。
自回归（Autoregressive, AR）模型的困境： 为了实现低延迟和可扩展的实时生成，研究者尝试将双向扩散模型转化为自回归模型。然而，现有的自回归方法通常严重依赖**教师模型（Teacher Models）**进行蒸馏（Distillation）。
- 性能瓶颈： 自回归模型的性能往往受限于教师模型的质量。如果缺乏强大的自回归教师，生成的视频质量通常低于双向模型。
- 训练复杂性： 现有的方法（如 CausVid, Self Forcing）通常需要复杂的异构蒸馏过程（Heterogeneous Distillation），即训练一个学生模型去模仿双向教师模型的分布，这增加了训练成本和复杂性。
核心挑战： 如何在不依赖强教师模型约束和复杂蒸馏过程的情况下，实现高质量、高保真且时间一致的自回归视频生成？

2. 方法论 (Methodology)

论文提出了一种名为 Reward-Forcing 的新框架，利用**奖励信号（Reward Signals）**来引导自回归生成过程，替代了传统的强蒸馏依赖。

2.1 核心流程

整个流程分为两个主要阶段（如图 1 所示）：

基于 ODE 轨迹的初始化 (Motion Learning via ODE)：
- 观察： 研究发现，扩散模型在生成过程中，通常先学习全局运动结构（Motion），随后才细化纹理细节（Texture）。
- 操作： 利用预训练的双向教师模型（如 Wan2.1）生成少量的常微分方程（ODE）轨迹样本。
- 训练目标： 使用这些轨迹初始化自回归学生模型，使其学习一致的运动动态。此阶段仅使用 ODE 轨迹作为监督，不依赖真实数据集，实现了“数据免费”（Data-free）的初始化。
基于奖励的优化 (Reward-Guided Optimization)：
- 引入奖励模型： 在模型学会运动后，引入外部奖励模型（如 ImageReward）来指导生成，以增强视频的纹理细节和视觉质量。
- 关键策略（最后帧监督）： 作者发现，如果对所有帧应用奖励监督，模型会倾向于生成静态内容而牺牲运动连贯性。因此，他们提出**仅对生成的最后一帧（Last Frame）**应用奖励损失。
  - 原因： 在自回归过程中，最后一帧最接近生成轨迹的终点，对其监督能更好地保留运动信息，同时提升整体视觉质量。
- 损失函数： $L_{reward}(\theta) = -E_z [R(\hat{x}_T)]$ ，其中 $\hat{x}_T$ 是最后一帧， $R$ 是奖励模型。

2.2 与现有方法的区别

去除了复杂的蒸馏阶段： 传统方法（如 Self Forcing）通常需要训练一个判别器（Critic）来匹配教师分布，或者进行多阶段的异构蒸馏。Reward-Forcing 在 ODE 初始化后，直接通过奖励损失进行优化，无需加载教师模型或训练判别器，显著简化了训练流程。
纯奖励驱动： 实验表明，将奖励损失与分布匹配损失（Distillation Loss）直接混合训练会导致性能下降（因为目标冲突），因此该方法采用分阶段策略：先学运动（ODE），后学纹理（Reward）。

3. 主要贡献 (Key Contributions)

揭示了性能边界： 证明了现有将双向模型转化为自回归模型的方法，其性能上限往往受限于教师模型的表现。
提出了“先运动后纹理”的生成假设： 观察到扩散模型在自回归转化过程中，运动一致性先于纹理细节被学习，并据此设计了分阶段训练框架。
提出 Reward-Forcing 框架： 提出了一种利用纯奖励信号引导高质量自回归视频生成的新方法。该方法简化了训练，去除了对强教师蒸馏的依赖。
实验验证： 在 VBench 基准测试中，该方法在总评分上达到了 84.92，与需要大量异构蒸馏的最先进自回归方法（Self Forcing, 84.31）相当，甚至在某些指标上超越了同规模的双向模型。

4. 实验结果 (Results)

基准测试 (VBench)：
- 总评分 (Total Score)： 84.92（优于 Self Forcing 的 84.31 和 CausVid 的 81.20）。
- 质量评分 (Quality Score)： 85.91（优于 Self Forcing 的 85.25）。
- 语义评分 (Semantic Score)： 80.97。
- 效率： 推理延迟为 0.69 秒，吞吐量 17.0 FPS，与 Self Forcing 相当，远快于双向模型（Wan2.1 需 103 秒）。
消融实验 (Ablation Study)：
- 奖励 + 蒸馏混合： 尝试同时使用奖励损失和蒸馏损失，结果总评分降至 82.55。这表明两者目标存在冲突，奖励信号会破坏分布对齐，因此分阶段训练更有效。
- 监督帧的选择： 随机监督多帧会导致运动质量下降超过 10%，验证了仅监督最后一帧的必要性。
- 教师模型规模： 使用更大的 14B 教师模型并未带来显著性能提升，说明 1.3B 学生模型的性能瓶颈可能在于其自身容量或架构差异，而非教师模型的大小。

5. 意义与展望 (Significance & Future Work)

范式转变： 该工作展示了自回归视频生成可以不依赖复杂的教师 - 学生蒸馏，而是通过“运动初始化 + 奖励优化”的路径实现高质量生成。这为构建更轻量、更高效的实时视频生成模型提供了新思路。
可扩展性： 由于去除了对特定教师模型分布的严格对齐要求，该方法具有更好的扩展性，可能更容易适应不同的视频生成任务。
未来方向：
- 探索视频专用的奖励模型（Video-based Rewards），以更好地捕捉时间连贯性。
- 研究是否完全消除 ODE 初始化阶段，仅依靠奖励驱动进行端到端训练（类似 Reward-Instruct 在图像生成中的表现）。
- 解决当前方法在缺乏强教师监督时偶尔出现的不一致性问题。

总结： 这篇论文通过引入奖励反馈机制，成功地将双向视频扩散模型转化为高效的自回归模型，在保持高视频质量的同时，显著降低了训练复杂度和对教师模型的依赖，为实时视频生成领域提供了一个强有力的新基准。