Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning

本文提出了 Scaf-GRPO 框架，通过仅在模型独立学习停滞时注入分级提示来缓解强化学习中的“学习悬崖”问题，从而显著提升了大语言模型在复杂数学推理任务上的表现。

要点

这篇论文介绍了一种名为 Scaf-GRPO 的新方法，旨在解决大语言模型（LLM）在解决复杂推理问题（比如高难度数学题）时遇到的一个核心难题。

为了让你轻松理解，我们可以把训练 AI 的过程想象成教一个学生做数学题。

1. 核心问题：AI 的“学习悬崖” (The Learning Cliff)

想象一下，你正在教一个学生做数学题。

• 简单的题：学生能自己做对，你给他打个勾（奖励），他很高兴，下次做得更好。
• 中等难度的题：学生做错了，你告诉他“错了”，他虽然没得分，但知道哪里不对，下次会尝试修正。
• 超级难的题（悬崖）：学生完全不会做，怎么想都算不出答案。
  • 在传统的训练方法（叫 GRPO）中，如果学生做错了，系统只给一个“零分”的反馈。
  • 问题在于：如果学生面对一堆超级难题，连续做了几十次全是“零分”，系统就会觉得：“哎呀，这题没得学，全是零，梯度（学习的动力）消失了。”
  • 结果就是，AI 遇到这种难题就彻底放弃，因为它学不到任何东西，就像掉进了一个“学习悬崖”，怎么爬都爬不上去。

2. 现有的笨办法：直接给答案（Prefix-Continuation）

为了解决这个问题，以前的方法是请一个“超级学霸”（老师模型）来帮忙。

• 做法：老师直接把正确答案的前半部分写出来，让学生接着写后半部分。
• 缺点：这就像老师直接牵着学生的手走。学生虽然能写出答案，但他没有真正学会怎么思考。而且，因为前半部分是老师写的，后半部分是学生写的，两者风格不统一，就像“拼凑”出来的，容易让 AI 学偏，甚至产生依赖，一旦没有老师牵着，它又不会了。

3. 本文的妙招：Scaf-GRPO（脚手架式引导）

这篇论文提出了 Scaf-GRPO，它的灵感来自教育学中的**“脚手架”理论**（Scaffolding）。就像盖房子时，工人需要脚手架支撑，等房子盖好了，脚手架就撤掉。

Scaf-GRPO 是怎么做的呢？

第一步：先让学生自己试（诊断期）

在训练刚开始时，老师不插手。让学生自己独立做题。

• 如果学生能自己做对，那就最好，不需要帮助。
• 如果学生反复尝试还是做不对，系统会判断：“这题对他来说太难了，是真正的‘拦路虎’。”

第二步：提供“最小化”的脚手架（分层提示）

一旦确认学生真的卡住了，系统不会直接给答案，而是像一位耐心的老师，分层次、由浅入深地给提示：

1. 第一层（知识提示）：只给一个概念。比如：“这道题可以用‘均值不等式’来解。”（学生得自己想怎么用）。
2. 第二层（规划提示）：如果还不会，就给个思路框架。比如：“先把式子拆开，分成几部分，然后分别应用不等式。”
3. 第三层（具体步骤提示）：如果还是不行，再给具体的计算步骤。

关键点：系统会不断尝试，直到学生用最少的那层提示就能做对题为止。

• 如果学生只需要“知识提示”就能做对，那就只给这一层，让他自己把剩下的算出来。
• 如果必须给到“具体步骤”才能做对，那就给到那一步。

第三步：把“成功”变成“学习机会”

一旦学生在提示下做对了，系统就把这个“带着提示的成功案例”当作新的学习材料。

• 神奇之处：AI 学会的不是“死记硬背答案”，而是学会了**“在什么情况下需要什么样的提示”以及“如何利用提示自己推导”**。
• 随着训练进行，AI 越来越强，以前需要“具体步骤”才能做的题，现在可能只需要“知识提示”甚至不需要提示就能做对了。脚手架慢慢撤掉，学生独立了。

4. 为什么这个方法牛？

• 不依赖老师的手：它不是直接替学生写前半段，而是通过提示引导学生自己思考。这保证了 AI 的“独立性”和“探索能力”。
• 填平了悬崖：那些以前让 AI 彻底“摆烂”的难题，现在变成了可以一步步攻克的阶梯。
• 效果显著：论文在多个高难度数学竞赛（如 AIME）上测试，使用 Scaf-GRPO 训练的模型，成绩比传统方法提升了 44.3% 以上。

总结比喻

• 传统方法：像是一个只会给分数的严厉考官。你错了就 0 分，你连续错 100 次，他就把你关在门外，不让你学了。
• 旧式引导：像是一个保姆，直接帮你把饭喂到嘴边，你虽然吃饱了，但没学会怎么吃饭。
• Scaf-GRPO：像是一位高明的教练。
  • 你先自己练，练不出来？
  • 教练不直接帮你跑，而是给你喊一句：“注意摆臂！”（知识提示）。
  • 还是跑不快？教练喊：“先迈左腿，再迈右腿！”（规划提示）。
  • 最后你终于跑通了。教练会记住：“原来这个学生在这个阶段，只需要‘注意摆臂’就能突破。”
  • 下次遇到类似的题，教练可能只喊一声，或者干脆不喊，你就自己跑通了。

一句话总结：Scaf-GRPO 通过**“适时、适量、分层”的提示，把 AI 从“做不出题就放弃”的绝望中拉出来，教会它如何独立思考**，从而攻克那些曾经无法逾越的难题。

技术摘要

这篇论文提出了一种名为 Scaf-GRPO (Scaffolded Group Relative Policy Optimization) 的新框架，旨在解决大语言模型（LLM）在强化学习（RL）过程中遇到的“学习悬崖”（Learning Cliff）问题，从而显著提升模型在复杂推理任务（如数学解题）中的能力。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义：学习悬崖 (The Learning Cliff)

• 背景：基于可验证奖励的强化学习（RLVR）已成为提升 LLM 推理能力的关键技术（如 DeepSeek-R1）。然而，该方法依赖于模型能够独立生成正确答案以获得奖励信号。
• 核心问题：当模型面对远超其当前能力的难题时，所有探索尝试都会失败，导致奖励信号持续为零（Zero Reward）。
• 后果：
  1. 优势信号坍缩：在 GRPO（Group Relative Policy Optimization）等算法中，优势函数（Advantage）是基于组内奖励的均值和方差计算的。如果组内所有轨迹奖励均为 0，优势值将坍缩为 0。
  2. 梯度消失：优势值为 0 意味着没有梯度可供策略更新，模型无法从这些“困难样本”中学习。
  3. 学习停滞：这些难题变成了“不可见”的长尾数据，导致模型在达到一定能力瓶颈后无法继续突破。

2. 现有方法的局限性

现有的解决方案通常引入“教师模型”提供前缀引导（Prefix Guidance），即让模型基于教师生成的正确解题前缀继续生成剩余部分。

• 缺点：
  • 分布不匹配：教师生成的前缀和学生生成的后缀来自不同的分布，导致策略不一致，需要复杂的算法修正（如策略塑形）。
  • 抑制探索：强制模型沿着预定路径生成，限制了模型探索新颖或更优解题策略的能力。
  • 依赖性强：容易导致模型过度依赖提示，而非真正掌握推理技能。

3. 方法论：Scaf-GRPO 框架

Scaf-GRPO 受教育学中的支架式教学（Scaffolding）理论启发，提出了一种渐进式、分层级、最小化的提示引导策略。其核心思想是：仅在模型独立学习停滞时，提供必要的提示，帮助模型跨越能力鸿沟，而非直接给出答案。

3.1 核心机制

框架分为两个阶段：

1. 阶段一：引导豁免期 (Guidance Exemption Period)

   • 目的：区分“真难”（True-hard，能力不足）和“伪难”（Pseudo-hard，格式错误或暂时性失败）问题。
   • 操作：在训练初期（如前 15% 步骤），完全依靠模型独立探索。只有当模型对某些问题的失败率持续停滞（ plateau）时，才将其标记为“真难”问题，进入引导阶段。这防止了模型过早产生对提示的依赖。

2. 阶段二：分层提示引导探索 (Hierarchical Hint-Guided Exploration)

   • 触发条件：当检测到“学习悬崖”（即一组 N 个采样轨迹全部失败，奖励为 0）时触发。
   • 分层提示体系 (H)：包含三个层级的提示，从抽象到具体：
     • 知识提示 (Knowledge Hint)：指出所需的关键概念或公式。
     • 规划提示 (Planning Hint)：概述解题的高层策略框架。
     • 解法提示 (Solution Hint)：提供具体的计算步骤。
   • 渐进搜索算法：
     • 系统按顺序（知识 -> 规划 -> 解法）尝试注入提示。
     • 在每个层级内，提示也是增量提供的（从最少信息开始）。
     • 目标：找到最小有效提示（Minimal Effective Hint），即能让模型生成正确答案的最抽象、信息量最少的提示。
   • 在线策略增强 (On-Policy Augmentation)：
     • 一旦找到最小提示 $h^*$ 并生成成功轨迹 $o^*_h$，该轨迹将替换原批次中的一个失败轨迹。
     • 关键点：模型是在同一策略下，基于“问题 + 提示”的输入生成答案。这保持了On-Policy（同策略）性质，避免了 Off-Policy 方法中的分布偏移和重要性采样带来的不稳定性。
     • 损失函数计算时，利用这个新加入的成功轨迹恢复组内的奖励方差，从而重建非零的优势信号，使梯度更新得以继续。

4. 主要贡献

1. 提出 Scaf-GRPO 框架：首次将支架式教学引入 RLVR，通过分层提示而非固定前缀来解决学习悬崖问题。该方法保持了策略的一致性（On-Policy），同时保留了模型的探索自主性。
2. 显著的性能提升：在多个高难度数学基准测试中，Scaf-GRPO 显著优于 Vanilla GRPO 和现有的前缀引导方法（如 LUFFY）。
3. 广泛的适用性：实验证明该方法在不同架构（Qwen, Llama）、不同规模（1.5B - 7B）以及不同 specialization（数学微调、通用指令微调、长思维链模型）上均有效。
4. 理论分析：从数学上证明了该方法在保持 On-Policy 优化目标不变的前提下，通过数据增强恢复了梯度信号，并分析了其相对于 Off-Policy 方法的稳定性优势。

5. 实验结果

• 基准测试：在 AIME24, AIME25, AMC, MATH-500, Olympiad 等 7 个数学基准上进行了评估。
• 关键数据 (Qwen2.5-Math-7B)：
  • AIME24：Scaf-GRPO 达到 43.3%，相比 Vanilla GRPO (30.0%) 提升了 44.3%（相对提升），相比强基线 LUFFY (33.3%) 提升了 9.2%。
  • 平均得分：Scaf-GRPO 平均得分为 50.9%，显著优于 SimpleRL-Zero (42.6%)、Oat-Zero (46.5%) 和 LUFFY (46.6%)。
• 泛化能力：在 GPQA-Diamond（专家级科学推理，分布外 OOD 测试）上，Scaf-GRPO 也取得了显著提升，证明其习得的是通用推理能力而非简单的模式匹配。
• 效率：虽然引入了提示搜索，但由于仅在 17.4% 的样本中触发，且能加速收敛（12 小时达到最佳性能，优于 Vanilla GRPO 的 13 小时），整体训练效率更高。
• 消融实验：
  • 移除“引导豁免期”会导致性能下降（模型过早依赖提示）。
  • 移除分层结构（仅提供最终解法提示）会导致性能显著下降，证明从抽象到具体的渐进引导至关重要。
  • 提示质量（使用 DeepSeek-R1 生成）对最终性能有直接影响。

6. 意义与结论

Scaf-GRPO 为 LLM 的自主推理能力扩展提供了一条稳健的路径。它通过**“最小必要干预”**的原则，成功解决了 RLVR 中因困难样本导致的梯度消失问题。

• 理论价值：证明了在保持 On-Policy 完整性的同时，可以通过智能的数据增强策略克服学习悬崖，避免了 Off-Policy 方法的不稳定性。
• 实践价值：提供了一种可复现的框架，能够显著提升模型在解决复杂、高难度问题上的能力，使其能够突破现有的能力边界，向更高级的自主推理迈进。

简而言之，Scaf-GRPO 不是直接告诉模型答案，而是像一位优秀的导师一样，在学生卡住时提供恰到好处的“脚手架”，帮助学生自己构建出解题路径，从而真正内化推理技能。