🤖 machine learning

S-GRPO: Unified Post-Training for Large Vision-Language Models

本文提出了 S-GRPO，一种通过引入条件真值轨迹注入（CGI）机制将监督学习与多轨迹偏好优化相结合的统一后训练框架，旨在解决大视觉语言模型在单一范式下存在的灾难性遗忘或优化崩溃问题，从而实现高效收敛并兼顾领域适应性与通用能力。

原作者： Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 S-GRPO 的新方法，旨在解决大型视觉 - 语言模型（LVLM，比如能看图说话的 AI）在“转行”学习特定专业技能（如医疗诊断、几何解题）时遇到的两大难题。

为了让你轻松理解，我们可以把训练 AI 想象成教一个刚毕业的大学生去当“专业医生”。

1. 现有的两种“笨办法”及其问题

在 S-GRPO 出现之前，大家主要用两种方法教 AI 新技能，但都有大毛病：

方法一：死记硬背（SFT，监督微调）
- 怎么教：老师直接把标准答案（比如“这张图是肺炎”）拍在学生脸上，强迫学生只背这一种解法。
- 后果：学生确实学会了看肺炎，但忘了怎么当普通人。他可能连“今天天气不错”都说不出来，或者把“苹果”认成“肺炎”。这叫**“灾难性遗忘”**。就像为了考医考，把大学四年学的通识课全忘光了。
方法二：盲目试错（RL，强化学习）
- 怎么教：老师不给答案，让学生自己瞎猜。猜对了给糖（奖励），猜错了没糖。
- 后果：对于刚毕业的学生（未对齐的模型），让他直接去猜专业的医学诊断，他根本猜不中。因为太难了，他试了 100 次，100 次都错，老师也没法给糖。结果学生彻底崩溃，学不动了。这叫**“冷启动失败”**。

2. S-GRPO 的“神来之笔”：Conditional Ground-Truth Trajectory Injection (CGI)

S-GRPO 提出了一种**“智能助教”机制，它把上面两种方法完美结合了。我们可以把它想象成一种“动态救援”**策略：

场景：老师让学生（AI）自己尝试回答 5 个问题（这叫“采样一组轨迹”）。
情况 A：学生自己猜对了至少一个
- 助教反应：“干得漂亮！不用我插手，继续自己摸索，看看能不能猜出更多花样。”
- 原理：这时候完全用“盲目试错”法，鼓励学生发挥创造力，保留通用能力。
情况 B：学生 5 次全猜错了（冷启动时刻）
- 助教反应：“停！看来你卡住了。别瞎猜了，我把标准答案（Ground Truth）直接塞进你的选项池里，让你看看正确答案长什么样。”
- 原理：这时候，助教强行把“正确答案”混入学生的 5 个选项里。因为有一个选项是绝对正确的（奖励满分），其他 4 个是错的（奖励 0），对比瞬间产生。
- 效果：学生立刻明白：“哦！原来这个是对的，那四个是错的！”梯度信号（学习的动力）瞬间从“零”变成了“正数”，学习立刻开始。

3. 为什么这个方法这么牛？

它是个“变色龙”：
- 刚开始学的时候（冷启动），它像个严厉的老师，不断提供标准答案，确保学生能学会入门。
- 等学生稍微有点眉目了，它立刻退居二线，变成旁观者，让学生自己去探索，不再依赖标准答案。
它解决了“两难”困境：
- 既不像“死记硬背”那样把学生教傻了（忘了通用知识）。
- 也不像“盲目试错”那样让学生因为太难而放弃。
结果：
- 学生既成了专业医生（在特定领域表现极好，甚至超过死记硬背的方法）。
- 又保留了通识能力（依然能聊天、能理解常识，没有“失忆”）。

4. 总结

简单来说，S-GRPO 就像是一个懂分寸的教练：

“当你完全不会时，我手把手教你（注入标准答案），让你先动起来；当你稍微会一点时，我就放手让你自己练，防止你产生依赖。”

这种方法让 AI 在单阶段内就完成了从“小白”到“专家”的蜕变，既快又好，还不会把原本聪明的脑子给练废了。这就是论文的核心贡献：用一种统一的、智能的机制，完美平衡了“模仿学习”和“自我探索”。

1. 研究背景与核心问题 (Problem)

大型视觉 - 语言模型（LVLMs）在特定领域（如医疗诊断、几何解题）的适配中，现有的后训练（Post-Training）方法主要面临两大范式及其各自的局限性：

监督微调 (SFT) 的局限性：
- 机制： 强制模型沿着单一的、确定性的专家轨迹（Ground-Truth）生成。
- 问题： 这种严格的“教师强制”（Teacher-forcing）会导致严重的分布偏移，引发灾难性遗忘（Catastrophic Forgetting）。模型会过度拟合特定领域的窄分布，从而丧失预训练阶段获得的通用多模态能力（即“对齐税”）。
强化学习 (RL/GRPO) 的局限性：
- 机制： 通过采样多条轨迹并基于奖励函数进行优化（如 GRPO）。
- 问题： 在冷启动（Cold-Start）阶段，未对齐的基座模型在严格二值验证器（Binary Verifier）下，往往无法自发生成任何有效的轨迹。当组内所有采样轨迹都失败（奖励为0）时，优势估计（Advantage Estimation）的方差坍缩为零，导致梯度消失和优化崩溃（Optimization Collapse），模型无法学习。

核心矛盾： SFT 限制了优化路径导致遗忘，而纯 RL 在稀疏奖励下因无法探索而陷入停滞。现有的"SFT 后接 RL"两阶段流程虽然试图缓解，但 SFT 阶段已破坏了模型内部结构，且流程繁琐。

2. 方法论：S-GRPO (Methodology)

作者提出了 S-GRPO (Supervised Group Relative Policy Optimization)，这是一个统一的单阶段后训练框架，旨在无缝融合模仿学习（SFT）的确定性与偏好优化（RL）的探索性。

核心创新：条件性真值轨迹注入 (Conditional Ground-Truth Trajectory Injection, CGI)

S-GRPO 的核心在于动态修改多轨迹采样的组成，具体流程如下：

在线探索 (Online Exploration)： 模型根据当前策略 $\pi_{\theta}$ 采样 $G$ 条候选轨迹。
验证与失败检测： 使用严格的二值验证器评估所有轨迹。
- 成功情况： 如果组内至少有一条轨迹获得正奖励，则不注入真值，直接使用标准的 GRPO 进行更新（纯 RL 模式）。
- 失败情况（冷启动）： 如果组内所有轨迹均失败（奖励全为 0），触发 CGI 机制。
注入机制 (Injection)：
- 丢弃一条生成的轨迹（通常是概率最低的），将验证过的真值轨迹 (Ground-Truth, $y_{gt}$ ) 注入到候选组中，形成混合组 $O_{mixed}$ 。
- 为注入的真值轨迹分配确定性最大奖励 ( $R_{max}=1.0$ )。
优势重估与梯度更新：
- 在混合组中，由于存在一个高奖励锚点，组内奖励的均值和标准差不再为零。
- 真值轨迹获得极高的正优势（ $\hat{A}_{gt} \gg 0$ ），引导模型模仿专家。
- 错误生成的轨迹获得负优势（ $\hat{A}_{gen} < 0$ ），被惩罚。
- 这种机制保证了即使在冷启动阶段，梯度信号也是严格为正的，从而避免了优化停滞。

统一目标函数

S-GRPO 将监督学习目标转化为策略梯度中的高优势组件。随着模型能力提升，能够自主生成正确轨迹时，CGI 机制会自动退场（Gracefully Phase-out），训练自然过渡到纯强化学习阶段，无需人为干预或课程学习（Curriculum Learning）。

3. 主要贡献 (Key Contributions)

统一的单阶段后训练框架： 提出了 S-GRPO，在数学形式上统一了 SFT 和偏好优化，消除了在孤立范式间选择的必要性，解决了 LVLM 在领域适配中的灾难性遗忘问题。
机制设计 (CGI)： 设计了“条件性真值轨迹注入”策略。该策略仅在组级探索完全失败时动态触发，既解决了二值验证器下的冷启动问题（保证正学习信号），又避免了全程注入带来的教师强制偏差。
实证性能： 证明了 S-GRPO 在稀疏奖励的视觉任务中显著加速收敛，且在达到甚至超越全量微调（FFT）的领域性能的同时，完美保留了基座模型的通用多模态能力和指令遵循能力。

4. 实验结果 (Results)

实验在三个数据集上进行：COCO Caption（图像描述）、Geo170K（几何解题）、OpenI（医疗 X 光诊断）。基座模型为 Qwen2.5-VL-7B。

领域性能 (Domain-Specific Ability)：
- S-GRPO 在 COCO 上的 CIDEr 得分为 1.0106，与全量微调 (FFT) 的 1.0172 相当，且优于两阶段流程 (SFT $\to$ GRPO) 的 0.9921。
- 在 Geo170K 和 OpenI 上，S-GRPO 同样达到了与 FFT 持平或接近的领域指标。
通用能力保留 (General-Purpose Ability)：
- FFT 的失败： 全量微调导致通用能力严重退化（MMMU 下降 8.78%，IFEval-I 下降 36%）。
- 纯 RL 的失败： 标准 GRPO 因冷启动问题，在 COCO 上 BLEU-1 仅为 0.2245，几乎无法学习。
- S-GRPO 的优势： 在保持高领域性能的同时，IFEval-I 得分高达 0.7387（FFT 仅为 0.3405），MMMU 和 MME 指标也显著优于 SFT 类方法，证明了其有效防止了策略漂移。
消融实验 (Ablation Study)：
- 无注入 (Standard GRPO)： 学习停滞。
- 无条件注入 (S-GRPO wo CGI)： 虽然领域性能略高，但通用能力受损，因为持续的注入引入了过强的教师强制偏差。
- 条件注入 (CGI - Ours)： 在领域性能和通用能力之间取得了最佳平衡（Pareto 最优）。
收敛性： 如图 3 所示，S-GRPO 在冷启动阶段通过注入机制平滑了优化景观，实现了单调递增的奖励曲线和快速收敛；而标准 GRPO 则陷入“平坦线”优化崩溃。

5. 意义与价值 (Significance)

理论突破： 打破了 SFT 与 RL 的二元对立，证明了通过动态注入真值轨迹，可以将监督信号无缝整合到在线探索的强化学习循环中。
解决痛点： 直接解决了 LVLM 在严格验证器下“冷启动”导致 RL 失效的难题，无需依赖复杂的课程学习或外部大模型辅助。
工程价值： 提供了一种单阶段、计算高效的领域适配方案。它避免了传统"SFT 转 RL"流程中 SFT 阶段对模型结构的破坏，同时消除了纯 RL 在稀疏奖励下的不稳定性。
应用前景： 为医疗、工业检测等对准确性要求极高且通用能力需保留的垂直领域 LVLM 训练提供了新的标准范式。

总结： S-GRPO 通过“条件性注入”这一巧妙机制，让模型在“不会做”时由专家引导（SFT 特性），在“会做”时自主探索（RL 特性），实现了领域适配与通用能力保留的完美平衡。