💬 NLP

Segment-Level Attribution for Selective Learning of Long Reasoning Traces

本文提出了一种片段级选择性学习框架，该框架利用集成梯度归因指标来识别并训练具有高影响力和反思性推理能力的片段，同时掩盖无信息内容，从而提高大语言推理模型的准确性和效率。

原作者： Siyuan Wang, Yanchen Liu, Xiang Ren

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Siyuan Wang, Yanchen Liu, Xiang Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：“话痨型”学生

想象一位非常聪明的学生正在参加一场很难的数学考试。为了解决一个问题，这位学生不仅写下了答案，还写了一篇长达 50 页的关于自己思考过程的日记。

问题在于，这个学生有点过于喋喋不休了。虽然他们确实找到了正确答案，但他们的日记里充满了：

重复： “好的，我计算了 1995 乘以 1995。让我再算一遍以确保万无一失。好的，我又算了一遍。结果是一样的。”
中断的思想： “等等，让我检查一下数学……[句子中途停止]……总之，答案是……”
肤浅的废话： “所以，让我们一步步计算。第一步很重要。第二步也同样重要。”

当老师试图通过复制这篇 50 页的日记来教导一名新学生时，新学生会感到困惑。他们浪费时间去记忆那些重复的部分和“废话”，而不是学习通向解决方案的实际逻辑。论文将此称为**“输出冗余”（output redundancy）**。模型（学生）学会了变得啰嗦且低效，这实际上损害了它清晰思考的能力。

解决方案：“荧光笔”法

该论文的作者开发了一种教导这些 AI 模型的新方法。他们不再让 AI 阅读整篇 50 页的日记，而是使用一种特殊的工具来高亮显示最重要的句子。

他们称这个工具为集成梯度（Integrated Gradients）。你可以把它想象成一支神奇的荧光笔，当一个句子真正有助于解决问题时，它就会发出的光更亮；当句子只是填充物时，光芒就会变暗。

为了决定高亮哪些内容，他们会对文本中的每个段落（或“片段”）观察两个特定指标：

归因强度（声音有多大？）：
这个段落对最终答案有很大影响吗？如果你删掉它，答案会改变吗？如果一个段落至关重要，它就会获得“高强度”评分。
- 类比： 这就像是在测量某种特定食材如何改变汤的味道。如果你拿掉了盐，汤的味道就会变得很糟糕。这就是高强度。如果你拿掉了一片装饰性的点缀，味道几乎没有变化。这就是低强度。
方向一致性（声音是否混乱？）：
这个段落是在朝着一个明确的方向推进，还是混合了相互冲突的想法？
- 高一致性： 这个段落非常单一。它可能只是在重复答案（“答案是 25！”），或者只是在说“我确定是 25”，而没有进行任何实际的推导工作。论文认为，这通常是“浅层”思考。
- 中等一致性： 这个段落包含混合的思想。它可能尝试了一个计算，意识到错了，然后自我纠正，接着再次尝试。这种“来回推敲”的过程实际上是反思性推理（reflective reasoning）——它是解决问题过程中那种混乱但真实的思考过程。
- 类比： 想象一位教练在给出指令。
  - 高一致性： “快跑！快跑！快跑！”（简单、重复，对学习策略没什么帮助）。
  - 中等一致性： “快跑，但注意你的脚步。噢，你滑倒了？好的，慢下来，调整平衡，然后再次冲刺。”（这是一个复杂且有价值的学习时刻）。

策略：“选择性学习”

作者提出了一种名为**片段级选择性学习（Segment-Level Selective Learning）**的训练方法。其工作原理如下：

寻找“黄金”： 他们扫描冗长的推理轨迹，找出那些具有高强度（它们非常重要）且具有中等一致性（它们展示了真实的、反思性的思考）的段落。
忽略“噪音”： 他们忽略那些仅仅是重复、句子中途截断或只是肤浅地确认答案的段落。
仅针对“黄金”进行训练： 在教导 AI 时，他们只向其展示这些“黄金”段落。对于“噪音”段落，他们告诉 AI：“你不需要从这部分学习，直接跳过它。”

结果：更聪明、更快速

该论文在多个不同的 AI 模型和数学数据集上测试了这种方法。结果如下：

更高的准确率： 模型解决问题的能力得到了提升（提高了高达 4.7%），因为它们不再把脑力浪费在重复的废话上。
更短的回答： 模型开始生成短得多的响应（缩短了高达 18%），因为它们学会了跳过不必要的喋喋不说。
更高的效率： 模型学习得更快了，因为它们只专注于那些真正重要的推理部分。

总结

论文指出，仅仅因为 AI 写了长篇且详细的解释，并不意味着它是一个好的解释。通常，那只是噪音。通过使用数学上的“荧光笔”来寻找那些既重要又具有反思性的推理部分，我们可以教会 AI 模型更清晰地思考，更准确地回答问题，并停止废话连篇。

技术摘要：用于长推理链选择性学习的段落级归因

问题陈述

大型推理模型（LRMs）通过生成长链式思考（CoT）来实现高性能。然而，这些推理轨迹往往存在显著的冗余问题，即只有极小部分的标记（tokens）对最终答案有实质性贡献，而大部分内容则由重复内容、截断的思想或冗长但无信息的阐述组成。这种冗余是具有破坏性的，因为在这些冗长的轨迹上进行监督微调（SطFT）会导致模型模仿低效的模式，将学习能力浪费在平凡的延续上，并可能降低推理性能。

现有的识别重要推理部分的方法面临以下局限性：

标记级分析：往往忽略了语义完整性，且无法从有意义的推理单元角度来解释冗余。
间接段落级指标（如困惑度或熵）：容易产生假阳性（过度强调表层脚手架文本）和假阴性（过滤掉虽然熵值较低但对于准确性至关重要的独立验证步骤）。
基于剪枝的方法：在压缩 CoT 监督信息时，往往会损害推理准确性。

方法论

本文提出了一种段落级选择性学习框架，利用**集成梯度（Integrated Gradient, IG）**归因来量化推理段落对最终答案预测的影响力。

1. 段落重要性指标

作者使用转换关键词（如“Wait,” “Alternatively”）将长 CoT 切分为若干段落。随后，他们将标记级 IG 归因聚合为两个段落级指标：

归因强度（Attribution Strength）：衡量一个段落对模型预测影响的总量级。其计算方式为段落内绝对 IG 值的总和，并根据段落长度的平方根进行归一化，以防止对较长段落产生偏差。
归因方向一致性（Attribution Direction Consistency）：捕捉段落的归因是均匀的正向/负向，还是混合性质。它定义为带符号 IG 归因的绝对值之和与绝对 IG 归因之和的比值。
- 高一致性：表明推理较为浅显或存在偏差（例如，表层的澄清或严重的扭曲）。
- 中度一致性：表明存在反思性推理，即模型在探索可能性、完善理解并排除错误内容。

2. 重要段落识别

该框架基于双重标准阈值来识别“重要”段落：

高强度：按归一化归因强度对段落进行排序。选择前 $k$ 个段落，使得它们的累积强度超过阈值 $\tau$ （例如，总归因强度的 80%）。
中度一致性：在排名靠前的段落中，保留那些方向一致性低于阈值 $\beta$ （例如，0.8）的段落。这可以过滤掉那些强度虽高但表现出极端统一性的段落（即指示浅层推理的段落）。

3. 选择性 SFT

该框架并非通过压缩 CoT（这会破坏连贯性）或在完整轨迹上进行训练（这包含噪声），而是应用选择性 SFT。

仅在属于识别出的重要段落的标记上计算损失函数。
不重要段落中的标记会被掩码（mask）处理。
这起到了一种隐式正则化的作用，在防止模型过拟于无信息内容的同时，保留了推理过程中完整的轨迹连贯性。

关键结果

实验在多个模型（R1-Distill-Qwen-1.5B, 7B, 和 Qwen2.5-7B-Instruct）以及数据集（MATH500, AMC23, AIME24, GPQA, Minerva, OlympiadBench）上进行。

准确率提升：所提方法一致优于标准的 Full-CoT SFT。在贪婪解码下，它实现了高达 4.7% 的准确率增益（例如在 R1-Distill-Qwen-1.5B 上）。
效率提升：该方法显著减少了输出长度，与 Full-CoT SFT 相比，标记减少量高达 18.2%，同时保持或提升了性能。
消融实验：
- 段落级 vs. 标记级：段落级选择优于标记级选择（基于 IG 或随机采样），这证明了保留推理单元能更好地维持连贯性。
- 指标比较：基于 IG 的“强度-一致性”准则优于其他重要性度量指标，如“首次正确解”（First-Correct Solution）、“置信度增益”（Confidence-Gain）、“段落困惑度”（Segment Perplexity）和“段落熵”（Segment Entropy）。
- 剪枝 vs. 选择性学习：当应用于剪枝（完全移除不重要的段落）时，基于 IG 的方法比其他剪枝策略能更好地维持性能，但作者指出，Selective SFT（掩码损失）在保持准确性方面优于剪枝。

意义与主张

本文声称提供了一种原则性的方法，用于区分真正的关键推理段落与各种形式的冗余（重复、截断、表层澄清）。通过使用集成梯度，该方法捕捉了推理步骤的直接和间接影响，解决了困惑度等间接指标的局限性。

其主要贡献是一个段落级选择性学习框架，使模型能够更有效地从长推理轨迹中学习。作者断言，这种方法：

同时提高了推理效能和输出效率。
避免了与 CoT 压缩或剪枝通常相关的准确性下降。
为应用于其他场景提供了更广泛的潜力，例如在强化学习中针对特定内容强调策略梯度更新。

这项工作表明，并非所有的推理步骤都具有同等的价值；通过将学习信号集中在具有高归因强度和中度方向一致性（指示反思性推理）的段落上，模型可以用更少的标记实现更好的性能。