💬 NLP

Unified Data Selection for LLM Reasoning

本文介绍了无需训练的高熵求和（HES）指标，该指标通过累加顶级令牌的熵来高效识别高质量推理数据，从而在监督微调、拒绝微调及强化学习范式中显著提升大语言模型性能，同时降低计算成本。

原作者： Xiaoyuan Li, Yubo Ma, Chengpeng Li, Fengbin Zhu, Yiyao Yu, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyuan Li, Yubo Ma, Chengpeng Li, Fengbin Zhu, Yiyao Yu, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但非常年轻的学生（一个大语言模型）如何解决复杂的谜题，比如高难度的数学问题。这位学生通过阅读成千上万个示例解答来学习。但问题在于：并非所有解答都是同等质量的。有些是清晰、逻辑严密的杰作，而另一些则是杂乱无章、令人困惑的胡言乱语。如果你将那些杂乱的解答与优质的解答一起喂给学生，他们可能会感到困惑，或者养成坏习惯。

长期以来，研究人员试图通过观察一些简单的指标来过滤掉糟糕的示例，例如解答的长度，或者模型在生成解答时平均表现出的**“惊讶”程度**。但论文指出，这些方法就像通过平均亮度来评判整部电影一样；它们忽略了最重要、最戏剧性的时刻。

核心理念：寻找“剧情转折”

这篇论文的 authors 提出了一种寻找最佳训练数据的新方法，称为高熵求和（High-Entropy Sum, HES）。

将推理过程（例如解决数学问题）想象成一次长途旅行。

低熵 Token：这些是旅途中枯燥、可预测的部分。“向左转”、“直行”、“天空是蓝色的”。模型确切地知道接下来会发生什么。这就像自动驾驶。
高熵 Token：这些是关键的决策点。“等等，我该在这里转弯吗？或者也许走条近路？如果我试试这条奇怪的路会怎样？”这才是模型真正在思考、权衡选项并做出艰难抉择的地方。

这篇论文的重大发现是：推理路径的质量不在于它包含多少个“枯燥”的步骤，而在于它成功通过了多少个这样的“关键决策点”。

新指标：“高熵求和”

与其对整段旅程的“惊讶”程度取平均值（这会将重要时刻与枯燥部分稀释），作者们发明了一个名为HES的新分数。

类比：想象你是一位影评人，正在评论一部电影。

旧方法（平均熵）：你根据每一秒的平均兴奋程度来给电影打分。如果电影有 90 分钟的无聊对话和 5 分钟的爆炸场面，平均分数就会很低。你可能会忽略爆炸场面其实是一部杰作这一事实。
HES 方法：你忽略那 90 分钟的无聊部分。你只关注最激动人心、最不可预测的时刻的前 0.5%（爆炸、剧情转折）。你只将这些时刻的强度相加。如果一部电影有几个令人难以置信的高风险场景，它就会获得高分。如果一部电影只是一段平淡、无聊且毫无惊喜的旅程，它就会获得低分。

论文表明，这种“最佳时刻之和”是区分高质量推理路径与低质量推理路径的完美方式。

他们是如何应用的（三种训练风格）

团队在三种不同的 AI 教学方式上测试了这种"HES 过滤器”，并且在所有情况下效果都非常出色：

监督微调（SFT）——“教科书法”：
- 场景：你拥有一个巨大的已解决谜题库。你想要挑选出最好的那些来教导 AI。
- 结果：当他们使用 HES 仅挑选前 20%的最佳示例时，AI 的学习效果与阅读整个图书馆一样好。事实上，如果他们挑选了最差的 20%（HES 最低），AI 的表现就会差得多。这证明了少即是多，只要你挑选的是正确的“少”。
- 额外收获：他们发现可以用一个微小、廉价的计算机模型来为巨大、昂贵的模型进行筛选，从而节省了巨额资金。
拒绝微调（RFT）——“多项选择题法”：
- 场景：AI 针对一个问题生成 32 个不同的答案。你需要挑选出最好的一个保留下来。
- 结果：他们没有随机挑选，也没有仅仅挑选最长的答案，而是使用 HES 来挑选包含最多“关键思考时刻”的答案。这始终优于随机猜测。
强化学习（RL）——“试错法”：
- 场景：AI 尝试解决问题，如果正确则获得奖励，并从中学习。
- 结果：他们让 AI 生成许多次尝试。他们使用 HES 仅挑选**前 50%**的成功尝试来教导 AI。这使得 AI 的学习速度和效果都远优于使用所有尝试（包括那些平庸的尝试）。

这为何重要（去除了炒作）

论文声称，这种方法是一个“统一”的解决方案。它不需要训练一个新的、昂贵的 AI 专门来进行筛选。它是基于模型自身内部的“惊讶”程度进行的简单数学计算。

它很快：它不会减慢训练过程。
它很便宜：你可以用一个小模型来为大模型筛选数据。
它很有效：通过专注于真正思考发生的“关键岔路口”，而不是那些枯燥、可预测的部分，它始终能帮助 AI 更好地学习推理技能。

简而言之，论文指出：不要通过长度或平均质量来评判一条推理路径。要通过其最艰难、最关键时刻的强度来评判它。 通过只关注这些时刻，我们可以以更优、更快、更廉价的方式教导 AI 思考。

技术摘要：面向大语言模型推理的统一数据选择

问题陈述

大型语言模型（LLM）在复杂、长思维链（CoT）推理方面的进步，目前受限于对海量高质量训练数据的必要性。现有的数据选择策略面临两个主要挑战：

计算成本：依赖训练特定任务的辅助模型或使用强大 LLM 来过滤数据的方法，会产生巨大的计算开销。
指标局限性：传统的指标（如序列长度、困惑度或平均 token 熵）无法在长 CoT 场景中区分高质量的推理样本。这些全局指标对所有 token 赋予同等权重，从而掩盖了复杂推理（规划、探索、反思）的细微、多阶段结构，且未能捕捉到模型面临不确定性的关键决策点。

核心问题在于缺乏一种稳健、高效且无需训练的指标，能够在不同训练范式下快速区分高质量与低质量的推理路径。

方法论

作者提出了高熵和（High-Entropy Sum, HES），这是一种无需训练的指标，旨在通过聚焦推理响应中嵌入的细粒度关键信息来量化推理质量。

HES 指标

该方法基于以下观察：高熵 token（即模型表现出高不确定性的 token）通常对应于推理路径中做出非平凡决策的关键“分叉点”。

定义：HES 通过计算响应中熵值最高的前 $k\%$ （例如 0.5%）的 token 的熵值之和来计算。
公式：
- HES $_{relative}$ ：使用基于百分位的阈值（例如前 0.5% 的 token）以适应不同的序列长度和模型分布。这是主要使用的公式。
- HES $_{absolute}$ ：使用固定的熵阈值（例如 $\tau = 1.6$ ）进行求和。
原理：与通过长序列平均从而稀释关键信号的平均熵不同，HES 隔离了关键的高不确定性时刻的累积强度。实证分析（图 1）表明，虽然平均熵指标无法区分正确和错误的样本，但高熵 token 之和提供了稳健的区分度。

统一数据选择框架

本文提出了一种统一的数据选择策略，适用于三种主导的训练范式：

监督微调（SFT）：根据 HES 分数对完整数据集进行排名。模型在排名前 $\rho$ 百分位（例如前 20%）的数据上进行训练，或者通过移除底部 $\rho$ （例如底部 20%）的数据来修剪数据集。
拒绝微调（RFT）：对于每个查询，生成多个候选响应。HES 用于选择最高质量的正确解决方案，既可以是基于每个查询（从本地候选者中选择前 $k$ 个），也可以是全局选择（从正确轨迹的全局池中选择前 $N$ 个）。
强化学习（RL）：作者为组相对策略优化（GRPO）引入了一种非对称采样策略。他们优先选择最高 HES 的正向轨迹（以鼓励掌握复杂模式），同时保留随机的负向轨迹（以确保接触多样化的错误模式）。这与标准的均匀采样或全批量更新形成对比。

主要贡献

HES 的引入：一种新颖的无需训练指标，仅通过分析响应路径中的高熵 token 来量化推理质量，有效捕捉关键决策点的累积复杂性。
统一选择框架：一种高效的数据选择方法，兼容 SFT、RFT 和 RL 范式，消除了为每种范式单独使用昂贵选择机制的需求。
从小到大的可迁移性：证明了轻量级代理模型（例如 0.6B）可以有效地为更大的基础模型（例如 8B）筛选数据，在不降低选择质量的前提下，显著降低了离线数据策划的推理成本。

实验结果

在数学、STEM 和代码领域进行了广泛实验，使用了 AIME、HMMT、GPQA 和 LiveCodeBench 等基准测试。

SFT 性能：
- 根据 HES 排名的前 20% 数据进行的训练，在跨不同领域的表现上与完整数据集相当。
- 在“去噪”设置中，移除 HES 排名底部的 20% 数据，其性能优于完整数据集。
- 相反，在 HES 最低的 20% 数据上进行训练会导致性能急剧下降，验证了该指标识别有害噪声的能力。
- 效率：使用 0.6B 代理模型进行选择，其结果（平均 30.20%）与使用 8B 模型本身（平均 31.34%）相当，将选择成本降低了一个数量级。
RFT 性能：
- 在基于查询和全局池的设置中，基于 HES 的选择显著优于随机选择和启发式基线（长度、难度）。
- 基于查询的选择通常比全局池选择产生更高的性能，这表明在质量过滤的同时保持查询级别的多样性至关重要。
RL 性能：
- “正高负随”策略（选择最高 HES 的正向样本和随机的负向样本）优于标准的全批量训练和其他采样策略。
- 与全批量基线（18.34%）相比，该方法仅使用每步 50% 的数据就实现了更高的准确率（平均 19.26%），证实了优先选择高质量正向信号比使用无差别数据增加批量大小更有效。
指标比较：HES consistently 优于其他基于熵的指标（平均熵、平均高熵、总熵和），证实了关键分叉点的累积幅度是推理质量最有效的代理指标。

意义与主张

本文确立了 HES 作为一种稳健的无需训练指标，使开发 LLM 高级推理的统一、有效且高效的方法成为可能。作者声称：

效率：HES 允许在离线 SFT 中使用小模型进行可扩展的代理选择，并在在线 RFT 和 RL 设置中产生可忽略的存储/计算开销（因为熵可以在生成过程中同步计算，无需额外的前向传播）。
有效性：通过聚焦“高熵少数 token"，该方法成功过滤了冗余信号和训练噪声，使模型能够从策划好的数据子集中学习强大的推理模式。
通用性：该方法适用于不同的模型架构（Qwen、Llama、DeepSeek）和推理领域（数学、代码、STEM），表明 HES 捕捉的是内在的推理复杂性，而非特定于模型的伪影。

该工作得出结论：HES 为扩展 LLM 推理能力提供了一种具有成本效益的解决方案，突出了关键 token 在数据选择中的关键作用，并降低了训练高性能推理模型相关的计算负担。