🤖 AI

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE 是一种可扩展的、无需奖励模型的数据筛选方法，它利用与梯度对齐的信号在步骤级别对推理数据进行评分和选择，从而提升后训练效率，仅使用 5% 的数据集即可实现全数据集的性能。

原作者： Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于GRACE论文的解读，将其拆解为简单概念并辅以日常类比。

核心问题：“整体不等于部分之和”

想象你正在教一名学生如何解答一道复杂的数学题。你给他们看一页教科书，上面展示了完整的解题过程：第一步、第二步、第三步，一直到最后的答案。

旧方法（当前方法）：
大多数 AI 训练系统将整页内容视为一个单一的“好”或“坏”的教训。如果最终答案正确，整页内容都会获得一颗金星；如果答案错误，整页内容都会被打上一个红叉。

缺陷： 实际上，那页纸上的某些步骤可能是精彩的洞见，而另一些步骤仅仅是学生重复了三行前说过的话，或者是偏离主题、陷入混乱且毫无结果的旁支。将整页内容视为一个整体，会导致 AI 浪费时间去研究那些枯燥或令人困惑的部分，从而可能错过隐藏在中间的精彩洞见。

解决方案：GRACE（“步步为营”的教练）

作者们创建了一种名为GRACE（Gradient-aligned Reasoning dAta Curation，梯度对齐推理数据策展）的方法。GRACE 不像旧方法那样给整页打分，而是像一位观察力极强的教练，看着学生一步步解决问题。

以下是 GRACE 的工作原理，使用徒步类比来说明：

想象 AI 是一名试图攀登山顶（即正确答案）的徒步者。推理轨迹就是徒步者所走的路径。

“答案对齐”信号（眺望山顶）：
- GRACE 会问：“这一步是否指向了山顶？”
- 如果某一步让徒步者更接近顶峰，它就得高分。
- 如果某一步让徒步者原地打转或走向悬崖，它就得低分。
“轨迹一致性”信号（回顾来路）：
- GRACE 还会问：“考虑到徒步者刚才走过的路，这一步合理吗？”
- 如果徒步者正在攀登陡峭的斜坡，却突然试图在河里游泳，这就显得突兀。即使河流很美，它也打断了攀登的连贯性。GRACE 会惩罚那些与上一步脱节的步骤。

秘密武器：“魔镜”（无需回溯）

通常，为了判断某一步是否有效，你必须模拟整个训练过程，停下来，倒带，并精确计算那一步如何改变了 AI 的“大脑”。这就像试图通过让赛车停下、拆解引擎并检查齿轮来测量风速。这耗时极长，对于海量数据集来说太慢了。

GRACE 的创新：
GRACE 使用了一个巧妙的技巧，称为**“表示级梯度代理”**。

类比： 与其拆解汽车，GRACE 是在汽车向前行驶时，观察从引擎排出的“废气”（内部信号）。
通过在单次前向传播（即只阅读一次文本）中观察这些信号，GRACE 可以在无需“倒带”或进行复杂反向计算的情况下，精确估算某一步的有用性。这就像通过烹饪时的食物香气来判断厨师的技艺，而不是等 meal 结束后再品尝每一口。

结果：更少数据，更好性能

该论文在大规模数学问题数据集（MMathCoT-1M）上，使用视觉语言模型（Qwen3-VL）测试了这种方法。

旧方法： 为了获得优异结果，通常需要向 AI 提供所有数据（100%）。
GRACE 方法：
- 仅使用20%的数据（即最好的 1/5 步骤），AI 的表现比使用 100% 数据训练还要高出 8.8%。
- 仅使用**5%**的数据，AI 的表现就与使用完整数据集相当。

为什么数据更少反而表现更好？
训练时使用“所有”数据，就像强迫学生阅读图书馆的每一页，包括那些有错别字、枯燥重复和错误方向的页面。这会让学生感到困惑。GRACE 过滤掉了“噪声”，只向 AI 提供“纯金”般的步骤。这防止了 AI 被糟糕的示例搞糊涂，帮助它学得更快、更聪明。

总结

问题： 当前的 AI 训练将推理链中的每一步视为同等重要，浪费时间在糟糕的步骤上。
修正： GRACE 根据每一步是否有助于得出答案以及是否符合当前故事脉络，对每一步进行单独评分。
技巧： 它使用一种“仅前向传播”的捷径来即时评分，无需缓慢复杂的计算。
成果： 你可以用极少量的数据训练出更智能的 AI，既节省时间和算力，又实际提升了性能。

该论文得出结论：推理数据的价值不仅仅在于最终答案是否正确，更在于通往该答案的旅程是否是一条建设性的、合乎逻辑的路径。GRACE 能够找到这些建设性的路径，并摒弃其余部分。

技术摘要：GRACE——面向高效后训练的梯度对齐推理数据策展

问题陈述

现有的推理数据（思维链，CoT）策展流程通常在样本级别运行，基于最终答案的正确性或奖励模型得分等指标，为整个推理轨迹分配单一分数。这种方法将轨迹中的每个中间步骤视为具有同等价值。然而，推理轨迹具有异质性；某些步骤直接支持最终答案，而其他步骤则重复内容、探索无关的旁支或引入噪声。在如此轨迹上进行均匀训练，会将计算预算浪费在低价值步骤上，并稀释有用步骤的贡献。此外，现有方法缺乏一种机制来评估各个推理步骤对优化过程的贡献，往往忽视了轨迹内部的“逐步优化角色”。

方法论：GRACE

作者提出了GRACE（面向高效后训练的梯度对齐推理数据策展），该方法将策展粒度从样本级别转移到步骤级别。GRACE 将推理轨迹视为一系列优化事件，而非静态的监督目标。

1. 步骤级优化效用

GRACE 根据推理步骤对优化目标任务的贡献来定义其效用。它利用模型内部优化动力学产生的两个互补信号对每个步骤 $k$ 进行评分：

答案导向对齐（ $A_{ans}^k$ ）： 衡量当前步骤诱导的梯度（ $g_k$ ）与最终答案段诱导的梯度（ $g_{ans}$ ）之间的余弦相似度。这决定了该步骤是否建设性地支持最终目标。
轨迹一致性（ $A_{hist}^k$ ）： 衡量当前步骤的梯度与历史参考方向（ $r_k$ ）之间的余弦相似度，该参考方向是前序步骤梯度的加权平均。这确保了该步骤与不断演变的推理轨迹保持一致。

最终的步骤级分数是两者的加权组合：
$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$
其中 $\alpha$ 平衡了这两个信号。这些步骤分数被聚合以计算样本级价值 $V(z)$ ，用于选择前 $\rho$ 比例的数据子集。

2. 表示级梯度代理

主要挑战在于，计算真实的步骤级梯度需要分解轨迹并执行重复的反向传播，这在大规模上计算上是不可行的。为了解决这一问题，GRACE 引入了一个表示级梯度代理：

该方法不在参数空间梯度（ $\nabla_\theta L$ ）上操作，而是在输出投影之前的表示接口处的上游信号上操作。
对于每个 token $t$ ，计算上游信号 $u_t = W_{out}(p_t - y_t)$ ，其中 $p_t$ 是预测概率， $y_t$ 是真实标签。
步骤级梯度通过对这些 token 级信号取平均值来近似（ $g_k = \frac{1}{|T_k|} \sum u_t$ ）。
关键在于，该代理允许仅使用每个样本的单次前向传播来估计步骤级对齐，避免了每步反向传播以及对外部奖励模型或步骤标注的需求。

主要贡献

基于优化的视角： 本文通过将轨迹建模为一系列优化事件，重新构建了推理数据策展的框架，强调了步骤级与目标任务及轨迹的对齐对于有效学习至关重要。
GRACE 框架： 一种新颖的策展方法，聚合步骤级优化信号（答案对齐和轨迹一致性）以进行细粒度的子集选择。
可扩展的代理： 开发了一种表示级梯度代理，能够在无需每步梯度计算的高昂计算成本的情况下，实现高效的步骤级数据估值。

实验结果

作者通过在MMathCoT-1M数据集（一个大规模多模态数学推理语料库）上对Qwen3-VL-2B-Instruct进行后训练，并在包括数学推理（MathVista, MathVision）和通用视觉问答（HallusionBench, MMBench, MME）在内的多样化基准测试中进行评估，验证了 GRACE 的效果。

性能与数据量对比：
- 仅使用20%的策展数据，GRACE 达到了全数据性能的108.8%（跨基准测试平均），显著优于完整数据集和所有基线方法。
- 仅使用5%的数据，GRACE 保留了全数据性能的100.2%。
与基线方法的比较： GRACE 始终优于启发式选择器（随机、最长、Stepmax）和最先进的基于梯度的数据选择方法（LESS, ICONS, CADC）。例如，在 20% 数据量下，GRACE（108.8%）超过了 CADC（102.6%）和 LESS（101.7%）。
可迁移性： 使用 Qwen3-VL-2B 评分模型选择的 GRACE 子集有效地迁移到了其他骨干网络（Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B），并始终超越其各自的全数据基线。这表明所捕捉的数据价值内在于推理结构，而非特定于模型。
效率： 代理提取过程轻量级，仅需前向传播。作者报告称，收集候选池信号耗时 6.5 个单节点小时，占用 5.7GB 存储空间，避免了梯度投影方法所需的昂贵反向传播。

意义与主张

本文主张，推理数据的价值不仅取决于外部质量指标（正确性、长度或偏好得分），更取决于中间步骤是否建设性地支持优化轨迹。

GRACE 证明了：

步骤级粒度至关重要： 将推理轨迹视为不可分割的单元，忽视了中间步骤效用的差异性。
内部信号已足够： 仅利用模型内部的优化信号（梯度/代理）即可实现高质量的数据策展，无需外部奖励模型或人工标注。
效率与性能： 感知优化的策展允许模型使用少量训练数据即可达到或超越全数据性能，大幅降低后训练成本（GPU 小时），同时保持或提升下游能力。

作者指出了局限性，包括依赖固定的评分模型配置以及目前专注于多模态 CoT 数据，建议未来的工作可以将这些原则扩展到纯语言推理或基于强化学习的后训练。