💬 NLP

HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench

本文针对 SWE-bench 缺乏有效中期训练指标的问题，提出了一种数据过滤策略和基于熵压缩假设的 HE-SNR 指标，以更好地指导大语言模型在复杂软件工程任务中的优化。

原作者： Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一位才华横溢但行事混乱的学徒，使其成为一名卓越的软件工程师。你拥有一个庞大的代码库（即训练数据），而你想知道这位学徒究竟是在学习解决复杂问题，还是仅仅在死记硬背答案的模样。

本文介绍了一种新方法，可以在学徒仍在“学习”期间、在将其投入最终且昂贵的“期末考试”（涉及大量类人指令微调）之前，检查其进展。

以下是他们发现的要点分解，采用简单的类比：

1. 问题：“虚假自信”陷阱

通常，当我们检查计算机是否在学习时，会使用一个名为**困惑度（Perplexity, PPL）**的指标。将 PPL 想象成一个“惊讶度计”。如果计算机对句子中的下一个词感到惊讶的程度降低，我们就认为它表现良好。

然而，作者发现了该“惊讶度计”存在的两个大问题：

“长上下文税”： 当你要求计算机阅读非常长的文档（例如整本书而非一页纸）时，“惊讶度计”会失控。它会急剧飙升，让计算机看起来像是在变差，即使它实际上变得更聪明了。这就像一名马拉松选手在起跑时绊到了鞋带；这一跤并不意味着他跑不完比赛，但秒表上的读数却很难看。
“死记硬背者”与“思考者”： 旧有的指标主要奖励那些擅长猜测确切下一个词的计算机（就像鹦鹉学舌）。但解决真正的软件漏洞并不在于猜测确切的下一个词，而在于脑海中拥有几个不错的选项并从中选出正确的一个。旧指标忽略了这种“思考过程”。

2. 新想法：衡量“合理的犹豫”

作者提出了一种新理论：真正的智能不在于零不确定性，而在于拥有有组织的不确定性。

想象一名侦探在破案：

糟糕的侦探要么 100% 确定凶手是谁（低不确定性），要么完全迷失，在 1000 名嫌疑人中随机猜测（高且混乱的不确定性）。
聪明的侦探会将嫌疑人范围缩小到仅 3 名最可能的嫌疑人。他们在这三人之间“犹豫”，但他们知道凶手就在其中。这被称为**“合理的犹豫”**。

论文将这种状态称为**“熵压缩状态”**。与其让计算机对 100 件事感到困惑，不如让计算机仅对 2 或 3 件事感到“自信的困惑”。

3. 发现：向"ln 3"的转变

作者观察了计算机在训练期间的大脑活动，发现了一个神奇数字：ln 3（约为 1.1）。

训练初期： 计算机对许多选项感到困惑（熵值高且混乱）。
智能训练： 随着计算机在逻辑方面变得更强，其困惑度会“压缩”。即使它不能立即知道确切的正确答案，它也会将选择范围缩小到一个紧密的约 3 个选项的群体中。
转变： 论文发现，表现最佳的模型在其困惑度水平上 consistently 显示出围绕该数字（ln 3）的“峰值”。这就像计算机在说：“我不 100% 确定，但我 99% 确定答案就在这三个之中。”

4. 新工具：HE-SNR（“信噪比”指南针）

为了修复损坏的“惊讶度计”，作者构建了一个名为HE-SNR的新工具。

工作原理： 它不再询问“计算机对确切正确答案感到多么惊讶？”（这是旧方法），而是询问：“当计算机真正陷入困境并努力思考时，它能在多大程度上缩小其选择范围？”
过滤噪音： 他们意识到，计算机经常因“风格”（如使用华丽的词汇或格式）而非“逻辑”（实际代码）而分心。因此，他们构建了一个过滤器，忽略风格，只关注代码中艰难、逻辑性的部分。
结果： 这个新指南针忽略了“鞋带绊倒”（长上下文税）和“鹦鹉戏法”（死记硬背）。它只衡量“合理的犹豫”。

5. 大惊喜：“对齐税”

论文还发现了关于最终“指令微调”阶段（人类教导计算机如何遵循指令）的一个惊人之处。

权衡： 当他们教导计算机完美地遵循指令时，计算机在猜测确切正确答案方面变得更好（Top-1 准确率上升）。
代价： 然而，这种训练实际上恶化了“合理的犹豫”。计算机不再考虑其他 2 或 3 个不错的选项，而是盲目地只选择一个。
结论： 作者认为，通过过早地迫使计算机表现得过于自信，我们可能会无意中扼杀其深入思考复杂问题的能力。计算机变成了一个更好的“应声虫”，却成了一个更差的“侦探”。

总结

该论文认为，要构建真正聪明的软件工程师，我们不应仅仅衡量计算机猜测下一个词的能力。相反，我们应该衡量它能在多大程度上将其困惑缩小到一个小的、可管理的选项组中。

他们的新工具HE-SNR就像聚光灯，忽略计算机的“风格”和“鞋带绊倒”，只关注其逻辑思考和处理不确定性的能力。这使得开发者能够更快地训练出更好的模型，并避免陷入制造出自信但实际并不聪明的模型的陷阱。

技术摘要：HE-SNR：通过熵揭示潜在逻辑以指导 SWE-BENCH 的中间训练

问题陈述

目前，大型语言模型（LLM）在复杂软件工程任务（特别是通过 SWE-BENCH 基准测试）上的评估，严重依赖监督微调（SFT）来激发代理能力。然而，完成这些任务所需的基础推理能力是在中间训练阶段获得的。目前缺乏能够有效指导这一中间训练过程的指标，这是一个关键的缺陷。

像困惑度（PPL）这样的标准指标之所以不足，主要有两个原因：

与代理潜力的弱相关性：PPL 与 Top-1 准确率高度相关，后者在精选数据集上往往超过 90%，它衡量的是复现精度，而非复杂多轮代理任务所需的潜在推理能力。
“长上下文税”：当通过频率缩放（如 RoPE、YaRN）扩展上下文窗口（例如从 32K 扩展到 128K）时，模型的位置嵌入会经历暂时的分布偏移。这会导致预测熵暂时飙升，PPL 恶化，从而掩盖真实的能力增长，并为训练优化制造误导性信号。

因此，迫切需要一种稳健的指标，能够隔离真正的推理信号，不受“长上下文税”的影响，并且无需进行 SFT 后评估的计算成本即可预测下游 SWE 性能。

方法论

1. 数据策划与过滤策略

为了隔离能够预测潜在能力的信号，作者引入了一种严格的 token 粒度过滤策略。

轨迹选择：从 SWE-BENCH-VERIFIED 中策划了 500 条成功轨迹，确保其与 SFT 数据严格分布对齐。
组件过滤：指标仅在**动作（Action）**组件（可执行代码、文件路径、命令）上计算，屏蔽观察（Observations，环境反馈）并排除思考（Thoughts，通常由风格化伪影主导的推理痕迹）。
噪声降低：剥离结构标记（XML 标签）、Markdown、注释（通过 AST 解析）和冗余空格，以专注于功能正确性。

2. 理论洞察：熵压缩假设

本文提出了熵压缩假设，将智能重新定义为将不确定性结构化压缩为熵压缩状态的能力，而非简单的标量信息最小化（低损失）。

熵压缩状态：这些是指概率质量均匀分布在少量前 $k$ 个候选项上的状态，表现为在 $\ln k$ 处出现明显的熵峰值。
“向 $\ln 3$ 的偏移”：实证分析表明，随着模型的成熟，高熵 token（特别是非 Top-2 token）的概率质量从分散状态（集中在 $\ln 4$ 附近）转移到压缩状态 $\ln 3$ 。这表明模型将其不确定性缩小到 2-3 个合理的候选项集合，被称为“合理的犹豫”。
区分：这种偏移不同于随机不确定性（例如涉及随机 ID 的观察 token），后者在 $\ln 10$ 处呈现峰值，且缺乏 $\ln 3$ 峰值所具有的结构性逻辑。

3. 指标构建：HE-SNR

基于该假设，作者构建了HE-SNR（高熵信噪比）。

高熵决策集（ $H$ ）：Top-10 熵超过阈值 $\epsilon = (\ln 3 + \ln 4)/2$ 且真实标签位于 Top-10 候选项内的 token。这过滤掉了具有严重分布分歧的 token，同时聚焦于关键的推理点。
计算：HE-SNR 衡量目标信号相对于背景噪声的相对强度：
$\text{HE-SNR} = \frac{1}{|H|} \sum_{t \in H} \frac{p(x_t)}{H_{\text{top10}}(x_t)}$
其中 $p(x_t)$ 是信号概率， $H_{\text{top10}}(x_t)$ 是 Top-10 熵（噪声）。
稳健性：通过将信号相对于熵底进行归一化，HE-SNR 缓解了“长上下文税”，后者虽然会膨胀绝对熵，但并不一定会降低有效推理路径的相对信噪比。

关键结果

1. 与下游性能的相关性

优于 PPL：标准 PPL 与 SWE-BENCH Pass@1 分数相关性较差，特别是在无法区分“长上下文税”期间的能力增长方面（例如，MoE-A26B 在 128K 训练的第 200 步显示 PPL 下降，但 SWE 性能提升）。
HE-SNR 线性关系：HE-SNR 与下游 SWE-BENCH 性能之间表现出严格的线性关系，涵盖从 68B 到 560B 参数量的模型以及 32K/128K 的上下文窗口。
数据效率：所提出的指标仅使用 500 条轨迹（约 1250 万 token）即实现了高相关性（Pearson $r \approx 0.96$ ，Kendall $\tau \approx 0.98$ ），显著降低了评估成本。

2. 消融研究

过滤影响：对“动作”token 进行完整过滤（移除 XML、注释、空格）的评估结果显著优于原始 token 评估，证实了风格化噪声会掩盖潜在推理信号。
阈值稳健性：所选熵阈值 $\epsilon = (\ln 3 + \ln 4)/2$ 接近最优，该指标在一系列阈值下均保持高相关性，表明其具有结构上的合理性，而非过拟合特定数值。

3. 对 SFT 和对齐税的洞察

SFT 效应：虽然 SFT 改善了全局 PPL 和 Top-1 准确率，但它降低了高熵决策集上的 HE-SNR 和 HE-PPL。
对齐税机制：这表明 SFT 可能优先考虑表面的模式匹配和风格对齐，而牺牲了模型导航复杂、高熵推理路径的能力，为代理任务中的“对齐税”提供了新的解释。

意义与主张

本文声称既提供了理论基础，也提供了实用工具，以优化 LLM 在复杂工程领域的潜在能力。

理论贡献：它挑战了智能的标量压缩观点，提出真正的推理特征在于将不确定性结构化压缩为低阶熵压缩状态（特别是“向 $\ln 3$ 的偏移”）。
实用价值：HE-SNR 作为中间训练的稳健指南针，通过将真实能力增长与“长上下文税”等暂时性伪影解耦，实现了高效的迭代。
可推广性：“向 $\ln 3$ 的偏移”现象在不同架构（稠密和 MoE）和领域（软件工程与数学推理）中均被观察到，表明它是结构化逻辑推理的基本特征。

作者得出结论，通过关注高熵决策点并利用 HE-SNR，社区可以更早地识别次优候选项，从而可能降低训练大规模模型相关的计算成本和碳足迹，同时促进比死记硬背更稳健的推理能力的发展。