🤖 machine learning

Cost-Aware Learning

本文介绍了成本感知学习，这是一个通过考虑不同采样成本来最小化总训练成本的框架，提出了具有理论保证的成本感知 SGD 算法及子集选择方法，并将这些见解应用于开发成本感知 GRPO，该方法在保持性能的同时将大语言模型策略优化中的 token 使用量降低了高达 30%。

原作者： Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图完善一道新菜谱。你的目标是品尝这道菜，调整调味，使其味道完美（达到目标“误差”水平）。

在标准计算机训练的假设中，品尝每一种食材所花费的时间和精力完全相同。无论你品尝的是一撮盐还是一整碗汤，“成本”都是一样的。因此，你只需随机品尝，直到尝对为止。

但在现代人工智能（特别是大型语言模型）的现实世界中，情况并非如此。有些“食材”（训练数据）廉价且品尝迅速（短句），而另一些则昂贵且缓慢（长而复杂的推理链）。品尝一个长而复杂的故事，其所需的计算能力可能是品尝短故事的 100 倍。

这篇论文介绍了一种名为成本感知学习（Cost-Aware Learning）的新烹饪方法。厨师（算法）不再随机品尝，而是学会明智地决定品尝什么以及品尝频率，在信息的价值与品尝成本之间取得平衡。

以下是他们方法的分解，使用简单的类比：

1. 问题：“昂贵汤羹”困境

想象你有一锅巨大的汤，里面含有 1,000 种不同的食材。

食材 A：一小撮盐。品尝它很便宜，但它告诉你的整体风味信息很少。
食材 B：一整只烤鸡。品尝它非常昂贵（需要很长时间咀嚼和消化），但它能告诉你关于风味的巨大信息量。
食材 C：中等大小的胡萝卜。品尝它花费稍多，但能提供适量的风味信息。

旧的方法只是随机挑选食材。这会导致要么过于频繁地品尝昂贵的鸡肉而浪费时间，要么在真正需要了解鸡肉时却浪费时间在廉价的盐上。

2. 解决方案：“成本感知 SGD"（智能品尝者）

作者提出了一种名为成本感知随机梯度下降（Cost-Aware Stochastic Gradient Descent, SGD）的新策略。

该算法不再随机挑选食材，而是使用“智能品尝者”规则。它根据以下两点为每种食材计算分数：

它提供多少风味信息：（数学术语中，即“梯度范数”或添加它时味道变化的程度）。
品尝它的成本是多少：（数学术语中，即所需的 token 数量或计算能力）。

黄金法则：算法表示，“我想品尝那些每花费一元钱能带来最大风味变化的食材。”

如果一个长而昂贵的故事对 AI 的学习产生巨大影响，那么它值得付出成本。
如果一个短而便宜的故事几乎没有影响，就跳过它。
如果一个长故事几乎没有影响，不要浪费钱去品尝它，即使跳过它很便宜。

他们在数学上证明，这种“高价值/低成本”的特定组合是无需耗尽预算就能获得完美菜谱的最快途径。

3. “子集选择”（菜单策划）

有时，即使是最聪明的品尝者也完全负担不起品尝最昂贵的项目。论文提出了第二个技巧：子集选择（Subset Selection）。

想象你决定完全从品尝菜单中移除“昂贵的鸡肉”。你接受最终菜谱可能会略微不那么完美（微小的“偏差”），但通过从不品尝鸡肉，你节省了巨额资金。你只专注于胡萝卜和盐。

作者表明，通过仔细选择剔除哪些昂贵项目，你仍然可以用一小部分成本获得非常不错的菜谱。这就像决定制作一道素食版本的菜肴以节省开支，同时知道它依然美味可口。

4. 付诸实践测试：“AI 厨师”（成本感知 GRPO）

作者将这些理论应用于使用GRPO（组相对策略优化，Group Relative Policy Optimization）方法训练大型语言模型（LLM）。

在此背景下：

**“成本”**是提示词和 AI 回复中的单词数量（token）。长而复杂的数学问题比短问题训练成本更高。
**“价值”**是 AI 的回答改变其行为（“优势”）的程度。

他们创建了成本感知 GRPO。它不再平等地训练每一个生成的答案，而是优先处理以下答案：

高影响力：AI 从这个答案中学到了很多。
低成本：答案没有不必要的冗长。

结果：
他们在两个 AI 模型（一个 15 亿参数模型和一个 80 亿参数模型）上使用数学基准进行了测试。

结果：他们达到了与标准方法相同（甚至更好）的准确率。
节省：他们使用了多达 30% 更少的 token（计算资源）就达到了这一目标。
类比：这就像用 30% 更少的食物和 30% 更少的烹饪时间，获得了同样美味的餐点。

总结

这篇论文告诉我们，在昂贵的 AI 训练世界中，“更多数据”并不总是更好。有时，“更聪明的数据”才是关键。通过将每一份训练数据视为具有不同的价格标签和不同的价值，并且只购买那些提供最佳“性价比”的数据，我们可以更快、更便宜地训练出强大的 AI 模型，而不会牺牲质量。

关键要点：不要自助餐里什么都吃。要吃那些相对于你支付的价格来说味道最好的东西。

以下是 Mohri 等人论文《成本感知学习》（Cost-Aware Learning）的详细技术总结。

1. 问题表述

该论文针对标准随机梯度下降（SGD）理论的局限性，该理论通常假设计算任意数据样本的梯度所产生的计算成本是相同的。在现代机器学习中，特别是在大语言模型（LLM）和基于人类反馈的强化学习（RLHF）领域，这一假设并不成立。例如，计算长推理轨迹的策略梯度所需的浮点运算次数（FLOPs）远多于短响应。

核心问题：
给定有限和目标函数 $f(x) = \frac{1}{n}\sum_{i=1}^n f_i(x)$ ，其中每个分量 $f_i$ 查询其梯度具有已知且非均匀的计算成本 $c_i$ ，目标是找到一个点 $\hat{x}$ ，使得期望误差 $E[f(\hat{x}) - f(x^*)] \leq \epsilon$ ，同时最小化总期望计算成本。

2. 方法论

作者提出了一个理论框架和一种实用算法来解决该问题，并将其从凸优化扩展到大语言模型策略优化。

A. 成本感知 SGD（理论基础）

作者推导出了最优采样分布 $p^*$ ，以最小化达到目标误差 $\epsilon$ 所需的总成本。

目标： 最小化迭代次数 $T(\epsilon, p)$ 与每次迭代期望成本 $C(p)$ 的乘积。
推导： 通过分析一般凸函数和强凸函数的收敛率，他们表明最小化总成本等价于最小化乘积 $J(p) = S(p)C(p)$ ，其中 $S(p)$ 是梯度估计量的二阶矩（方差）， $C(p)$ 是期望成本。
最优分布： 利用柯西 - 施瓦茨不等式，他们证明了样本 $i$ $i$ 的最优采样概率为：
$p^*_i = \frac{G_i / \sqrt{c_i}}{\sum_{j=1}^n G_j / \sqrt{c_j}}$
其中 $G_i$ $G_{i}$ 是样本 $i$ $i$ 的 Lipschitz 常数（或梯度范数界）， $c_i$ $c_{i}$ 是其成本。
- 直觉： 该分布倾向于选择梯度大（信息量高）且成本低（计算便宜）的样本。它有效地平衡了“信息 - 成本”比率。

B. 子集选择（偏差 - 成本权衡）

认识到即使是最优采样，如果高成本样本具有大梯度，其成本也可能过高，作者提出了一种子集选择策略。

概念： 完全排除一部分高成本样本以减少计算预算，同时接受估计器中存在可控的偏差。
表述： 这被建模为最小成本背包问题。目标是在满足允许偏差下限（ $\beta_\pi \leq \Gamma$ ）的约束下，选择一个子集 $\pi$ 以最小化采样成本。
解决方案： 提出了一种贪心近似方法，即选择成本 $c_i$ 最低的样本，直到满足偏差约束。

C. 成本感知 GRPO（实际应用）

理论见解被应用于组相对策略优化（GRPO），这是一种用于大语言模型后训练的最先进算法。

成本定义： 在 GRPO 中，样本（提示 - 响应对）的成本 $c_i$ 定义为序列中的总 token 数（提示 + 响应），因为 FLOPs 与序列长度呈线性关系。
梯度代理： 计算每个样本的精确梯度范数 $G_i$ 在计算上是不可行的。作者使用优势幅度（ $|A_i|$ ）作为 $G_i$ 的代理。他们验证了 $|A_i|$ 与真实梯度范数具有近乎完美的皮尔逊相关性，并且与最优分布的 $\chi^2$ 散度较低。
算法：
1. 为一批提示生成 rollout。
2. 计算优势和序列长度。
3. 计算采样概率 $p^*_i \propto |A_i| / \sqrt{\text{length}_i}$ 。
4. 根据 $p^*$ 对策略更新进行 mini-batch 采样，并应用重要性加权以校正偏差。

3. 主要贡献

成本感知学习的表述： 对样本成本非均匀的学习进行了严格的数学表述，适用于凸和强凸设置。
最优采样策略： 推导了最优采样分布 $p^* \propto G_i / \sqrt{c_i}$ ，该分布最小化达到 $\epsilon$ 精度所需的总成本。论文为该设置提供了理论上限和匹配的下限。
子集选择算法： 一种通过排除昂贵样本进一步降低成本的方法，表述为最小成本背包问题，以少量偏差换取显著的成本节约。
成本感知 GRPO： 首次将成本感知原则应用于大语言模型策略优化。它引入了一种实用算法，利用优势幅度作为梯度范数的代理来优化 token 效率。
实证验证： 在 Qwen2.5-Math-1.5B 和 Qwen3-8B 模型上进行了全面实验，证明了在不降低性能的情况下显著节省了 token。

4. 结果

该论文在数学推理基准（AIME, AMC, MATH500, GSM8K）上评估了所提出的方法。

Token 效率：
- Qwen3-8B： 成本感知 GRPO 使用少 51% 的 token 达到了与标准 GRPO 基线相同的峰值准确率。即使与达到其峰值 99% 的基线相比，CA-GRPO 也仅需少 17% 的 token。
- Qwen2.5-Math-1.5B： CA-GRPO 使用少 28–32% 的 token 达到了基线的峰值准确率，并最终将基线的性能提升了约 5%。
鲁棒性： 该方法在不同训练目标（标准 GRPO、GRPO+ 零方差过滤和 CISPO）下进行了测试，并一致提高了 token 效率。
消融研究：
- 使用优势幅度 $|A_i|$ 作为梯度范数的代理被验证为非常有效（相关性 $\approx 1$ ）。
- 该方法对代理中的噪声具有鲁棒性，直到达到一定的方差阈值。
- 平滑采样分布（与均匀分布混合）有助于稳定性，但纯最优分布通常能产生最佳效率。

5. 意义

这篇论文具有重要意义，原因如下：

重新定义效率指标： 它将优化效率的关注点从“步数”转移到“总计算成本”，这是训练基础模型的真实瓶颈。
可扩展性： 随着大语言模型生成更长、更复杂的推理轨迹，训练的计算成本不断增加。成本感知学习提供了一种原则性的方法来缓解这种扩展定律，即优先选择“便宜”但“信息丰富”的样本。
实际影响： 用于策略优化的 token 数量减少30–50%，直接转化为 GPU 工时和能源消耗的巨大节约，使高级 RLHF 训练更加普及和可持续。
理论严谨性： 该论文弥合了理论优化界限（成本复杂性的上下界）与实际深度学习应用之间的差距，为昂贵训练环境下的数据选择提供了新范式。