🤖 AI

Manifold-Aware Exploration for Reinforcement Learning in Video Generation

该论文针对视频生成中 GRPO 方法因探索噪声过大导致的不稳定问题，提出了一种名为 SAGE-GRPO 的算法，通过微宏观层面的流形感知约束（包括对数曲率修正的 SDE 和双重信任区域机制）将探索限制在预训练模型定义的流形邻域内，从而在 HunyuanVideo1.5 上实现了比现有方法更稳定的奖励最大化与视频质量提升。

原作者： Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 SAGE-GRPO 的新方法，旨在解决视频生成模型在“自我提升”（通过强化学习对齐人类喜好）过程中容易“走火入魔”或“画蛇添足”的问题。

为了让你轻松理解，我们可以把视频生成模型想象成一个正在学习画连环画的超级天才画家，而强化学习就是一位严厉的导师，试图通过打分来指导画家画出更符合人类口味的作品。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心问题：画家为什么容易“跑偏”？

在现有的方法中，导师为了让画家尝试不同的画法（探索），会故意让画家在作画时“手抖”一下（加入随机噪声）。

旧方法的缺陷：以前的方法（如 FlowGRPO）在让画家“手抖”时，就像是用粗糙的尺子去估算抖动的幅度。
- 比喻：想象画家在一条狭窄的独木桥（数据流形，即高质量视频存在的区域）上走。旧方法在计算“手抖”幅度时，算大了。结果画家一抖，直接掉进了桥下的湍急河流（高噪声区域）。
- 后果：掉进河里的画家画出来的东西全是乱码、闪烁的噪点（时间抖动），导师给这些烂画打分，不仅不准，还会误导画家，让画家以为“乱画”才是对的。这就叫奖励估计不可靠，导致训练不稳定。

2. 解决方案：SAGE-GRPO 的三大法宝

SAGE-GRPO 的核心思想是：让画家的每一次“尝试”都紧紧贴着独木桥走，不要掉下去。 它从微观和宏观两个层面做到了这一点。

法宝一：微观层面——“精密导航仪” (Precise Manifold-Aware SDE)

旧方法：用粗糙的直线去估算弯曲的桥面，导致估算的“安全抖动范围”太大，容易掉下去。
新方法：他们设计了一个精密的数学公式，像GPS 导航一样，精确计算出在桥的每一个弯曲处，画家最多能抖多远才安全。
- 比喻：以前是“大概抖一下”，现在是“根据桥的弯曲度，精确计算抖动的弧度”。这样画家既能尝试新动作，又稳稳地站在桥上，不会掉进河里。
- 额外修正：他们还发现，在桥的不同位置（视频生成的不同阶段），画家的“手劲”（梯度）大小不一样。有的地方手太软（推不动），有的地方手太猛（容易失控）。他们加了一个**“力度平衡器”**，确保画家在桥的每个位置用力均匀，不会有的地方累死，有的地方乱撞。

法宝二：宏观层面——“双保险锚点” (Dual Trust Region)

问题：即使画家每一步都走得很稳，但如果让他一直往前走，走得太远，可能还是会不知不觉偏离原来的“好画风格”，甚至为了骗高分而“作弊”（Reward Hacking）。
旧方法：
- 固定锚点：死死抓住画家刚入行时的样子（初始模型）。但这太僵化了，画家想进步都难（过拟合）。
- 单步锚点：只盯着画家上一步的样子。但这就像走一步看一步，走久了还是会慢慢飘远（累积漂移）。
新方法：“移动锚点 + 刹车系统”。
- 比喻：想象画家身上系了两根绳子。
  1. 长绳（位置控制）：每隔一段时间，把绳子的另一端系在画家最近一次画得很好的作品上。这样画家可以自由探索，但不会飘得太远，始终有一个“安全区”在附近。
  2. 短绳（速度控制）：同时，画家每一步的跨步大小也被限制住了，不能一步跨太大。
- 效果：这就像给画家装了一个智能导航和限速器。他既能大胆探索新风格（保持可塑性），又不会彻底迷失方向（保持稳定性）。

3. 实验结果：画得更好、更稳

研究人员在腾讯的 HunyuanVideo 1.5 模型上测试了这套方法。

对比：和现有的其他方法（如 DanceGRPO, FlowGRPO）相比。
表现：
- 画面更稳：视频里的人物不再像“鬼影”一样闪烁（减少了时间抖动）。
- 更听话：画出来的东西更符合文字描述（比如“疲惫的士兵”真的画出了疲惫感，而不是面无表情）。
- 更真实：光影和动作更自然。
- 用户测试：让人类评委盲测，大家明显更喜欢 SAGE-GRPO 生成的视频。

总结

简单来说，这篇论文就是给视频生成模型装了一套**“防走偏系统”**：

算得准：在探索新画法时，精确控制“手抖”的幅度，不让模型掉进垃圾数据的坑里。
管得严：用“移动锚点”和“步长限制”双重保险，让模型在大胆创新的同时，始终保持在高质量视频的轨道上。

这就好比教一个天才画家，以前是让他随便乱画然后批评，现在是给他一把精密的尺子和一根有弹性的绳子，让他既能发挥创意，又不会画歪，最终画出了既符合人类审美又稳定流畅的精美视频。

这是一篇关于视频生成强化学习（RL）的学术论文总结，标题为《Manifold-Aware Exploration for Reinforcement Learning in Video Generation》（视频生成强化学习中的流形感知探索）。该论文提出了 SAGE-GRPO（Stable Alignment via Exploration），旨在解决视频生成模型在基于组相对策略优化（GRPO）进行对齐训练时的不稳定性问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管 GRPO 在语言模型和图像生成中表现优异，但在视频生成领域的应用却面临可靠性低、训练不稳定的挑战。主要问题包括：

复杂的解空间：视频生成具有巨大的结构化解空间，探索过程容易受到干扰。
ODE 到 SDE 转换的噪声注入问题：现有的视频 GRPO 方法（如 FlowGRPO, DanceGRPO）通常将确定性 ODE 采样器转换为随机 SDE 采样器以进行探索。然而，这些方法多采用欧拉式离散化（Euler-style discretization）和一阶近似来计算噪声标准差。
- 后果：这种近似会在高噪声区域注入过量的噪声能量（离散化误差），导致采样轨迹偏离预训练模型定义的有效数据流形（Data Manifold）。
- 具体表现：生成的视频出现时间抖动（temporal jitter）、伪影，且奖励评估变得不可靠，导致后训练对齐（Post-training Alignment）不稳定。
稳定性 - 可塑性困境（Stability-Plasticity Dilemma）：
- 固定 KL 约束（Fixed KL）虽然能防止偏离，但限制了模型向最优策略探索的能力（欠拟合）。
- 仅靠步级 KL 约束（Step-wise KL）只能限制单步更新幅度，无法防止累积漂移（Cumulative Drift），导致模型随时间推移逐渐偏离有效流形，甚至出现奖励黑客（Reward Hacking）。

2. 方法论 (Methodology: SAGE-GRPO)

作者提出 SAGE-GRPO，核心思想是将视频生成视为流形约束下的探索问题，即在预训练模型定义的有效视频数据流形附近进行探索。该方法在**微观（Micro）和宏观（Macro）**两个层面进行约束：

A. 微观层面：精确的流形感知 SDE 与梯度均衡

精确的流形感知 SDE (Precise Manifold-Aware SDE)：
- 摒弃了一阶近似，通过积分扩散系数来计算噪声方差，并引入对数曲率修正项（Logarithmic Curvature Correction）：
  $\Sigma_t = \eta^2 \left[ -(\sigma_t - \sigma_{t+1}) + \log\left(\frac{1-\sigma_{t+1}}{1-\sigma_t}\right) \right]$
- 作用：该公式更准确地捕捉了信号系数的几何收缩，去除了高噪声区域不必要的额外能量，使探索噪声更紧密地贴合流形轨迹，减少离群漂移。
梯度范数均衡器 (Gradient Norm Equalizer)：
- 问题：扩散过程中存在固有的信噪比不平衡。在高噪声（ $t \to 1$ ）时梯度消失，在低噪声（ $t \to 0$ ）时梯度爆炸，导致学习偏向特定阶段。
- 解决：基于 SDE 参数估计每步的梯度尺度 $N_t$ ，并应用鲁棒归一化（使用中位数作为基准），平衡不同时间步的优化压力，确保结构更新和纹理更新贡献均衡。

B. 宏观层面：双重信任区域 (Dual Trust Region)

为了解决长期漂移并维持可塑性，提出了结合位置控制和速度控制的双重 KL 约束：

周期性移动锚点 (Periodical Moving Anchor)：
- 不再固定使用初始模型 $\pi_0$ 作为参考，而是每隔 $N$ 步更新一次参考策略 $\pi_{ref}$ 。
- 作用：创建一个动态的信任区域，使探索始终围绕一个“近期有效”的流形一致策略进行，防止累积漂移。
双重 KL 目标 (Dual KL Objective)：
- 结合位置项（ $\text{KL}(\pi_\theta || \pi_{ref\_N})$ ）和速度项（ $\text{KL}(\pi_\theta || \pi_{k-1})$ ）。
- 位置项：约束策略与最近的有效锚点的距离，防止长期偏离。
- 速度项：限制单步参数更新的幅度，确保平滑过渡。
- 这种机制类似于位置 - 速度控制器，既允许模型在局部探索（可塑性），又将其限制在有效分布附近（稳定性）。

3. 主要贡献 (Key Contributions)

问题重定义：将视频生成的 GRPO 形式化为流形约束探索问题，指出当前 ODE-to-SDE 转换中一阶近似导致的过量噪声注入是性能瓶颈。
微观创新：提出了带有对数曲率修正的精确 SDE 和梯度范数均衡器，实现了流形一致的采样噪声和时间步均衡的更新。
宏观创新：设计了包含移动锚点和步级约束的“双重信任区域”机制，有效解决了稳定性与可塑性之间的权衡，防止了长程漂移。
实证验证：在 HunyuanVideo1.5 上进行了广泛实验，证明了该方法在奖励最大化和视频整体质量上的优越性。

4. 实验结果 (Results)

实验设置：基于 HunyuanVideo1.5 模型，使用 VideoAlign 作为奖励模型（未微调），对比了 DanceGRPO、FlowGRPO 和 CPS 等基线方法。
定量指标：
- 在视觉质量 (VQ)、运动质量 (MQ)、文本对齐 (TA) 以及 CLIPScore、PickScore 等指标上，SAGE-GRPO（特别是使用双重移动 KL 配置时）均取得了最佳或次佳成绩。
- 在“对齐导向”（Alignment-Focused）的设置下，SAGE-GRPO 表现尤为突出，Overall 得分显著高于基线。
定性分析：
- 生成的视频在时间一致性上更稳定，减少了抖动和伪影。
- 在复杂场景（如遮挡、光照变化）和细微情感表达（如面部表情、动作细节）上，SAGE-GRPO 能更好地遵循提示词。
用户研究：在 29 名评估者对 32 个提示词的偏好测试中，SAGE-GRPO 在视觉质量、运动质量和语义对齐三个维度上均显著优于基线（胜率在 70%-85% 之间）。
消融实验：
- 证明了梯度均衡器能消除奖励曲线的波动，使训练更平滑。
- 证明了双重移动 KL 策略在收敛速度和最终奖励上均优于固定 KL、仅步级 KL 或仅移动 KL 策略。

5. 意义与影响 (Significance)

理论价值：揭示了扩散模型强化学习中噪声注入几何结构的重要性，提出了更精确的 SDE 离散化方法。
技术突破：成功解决了视频生成 RL 训练中的不稳定性问题，为构建高质量、可控的视频生成模型提供了新的范式。
应用前景：该方法能显著提升文本到视频（Text-to-Video）系统的可控性和生成质量，有助于创意工具、科学传播和教育内容的制作。同时，论文也讨论了潜在的风险（如深度伪造），并建议在部署时加强内容审核和人工监督。

总结：SAGE-GRPO 通过从微观的噪声几何修正到宏观的动态信任区域控制，系统性地解决了视频生成强化学习中的探索难题，显著提升了生成视频的稳定性、一致性和语义对齐能力。