📊 statistics

InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting

InfoSFT 是一种用于监督微调的基于原则的 token 加权方案，它将学习信号集中于信息量最大且置信度中等的 token，以在比标准监督微调和现有缓解方法更好地保留模型既有能力的同时，提升模型在多样化任务上的泛化性能。

原作者： Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文 InfoSFT 的解释。

宏观视角：教机器人新技能

想象你有一个非常聪明的机器人（大型语言模型），它已经掌握了大量关于世界的知识。现在，你想教它一项特定的新技能，比如解决复杂的数学问题或编写计算机代码。你通过展示专家执行该任务的示例来做到这一点。这个过程被称为监督微调（SFT）。

然而，这篇论文指出了我们进行这一过程的标准方法存在的问题。这就像一位老师试图通过强迫学生死记硬背教科书中的每一个例子来教学，无论这些例子是简单还是困难。

问题所在：“一刀切”的陷阱

该论文指出了标准方法存在的两个主要问题：

过拟合（鹦鹉效应）： 机器人试图完美地记住每一个示例，甚至是那些非常奇怪或它难以理解的示例。这就像一个学生死记硬背数学题的确切措辞，却不理解其中的逻辑，因此当数字发生变化时，他们就会失败。
灾难性遗忘（失忆效应）： 在试图学习这些新的、困难技能的过程中，机器人意外地“忘记”了它原本已经熟练掌握的东西。这就像一位厨师，在试图学习一道新的、复杂的菜谱时，却忘记了如何烧开水或切洋葱。

旧方案：过多或过少

以前的方法试图通过过滤掉“困难”的示例（即机器人认为不太可能的示例）来解决这个问题。

类比： 想象一位老师只允许学生练习那些他们已经能轻松解决的问题。
结果： 学生变得非常自信和稳定，但他们从未学到任何新东西，因为他们从未在需要掌握的那些困难概念上经历过挣扎。

新方案：InfoSFT（“金发姑娘”式老师）

作者提出了一种名为 InfoSFT 的新方法。InfoSFT 不像对待所有示例那样一视同仁，也不忽略困难的示例，而是像一位明智的老师，确切知道该给学生施加多大的压力。

核心理念：自信的“甜蜜点”
InfoSFT 根据机器人对每个生成单词的自信程度，为每个单词分配不同的“权重”（重要性分数）：

太容易（高置信度）： 如果机器人对某个单词（如“的”或“是”）已经有 99% 的把握，InfoSFT 会说：“你已经知道这个了；别再浪费时间了。”它给予这些单词零权重。
太难（零置信度）： 如果机器人完全迷失，且某个单词极不可能出现，InfoSFT 会说：“现在这太令人困惑了；我们暂时跳过它，以免弄坏你的大脑。”它给予这些单词极低的权重。
刚刚好（中等置信度）： 如果机器人不确定但有一个不错的猜测（可能是 50-80% 的置信度），InfoSFT 会说：“这是完美的学习时刻！专注于这里！”它给予这些单词最高的权重。

类比：
想象学习骑自行车。

标准 SFT 就像强迫你在平坦的人行道上骑行（太容易），然后突然把你扔进飓风里（太难）。你要么感到无聊，要么就会摔倒。
InfoSFT 就像一位教练，让你在一个平缓的山坡上练习。你会摇摇晃晃、感到不确定（中等置信度），因此你学得最多。如果山坡太陡，教练会阻止你；如果地面平坦，教练就让你滑行。

为什么这效果更好

论文表明，通过专注于这些“中等置信度”的时刻，机器人学习新行为（如数学或编程）的速度和质量都比以前更好。

更好的泛化能力： 机器人学习的是任务的逻辑，而不仅仅是具体的示例。它能够解决以前从未见过的新问题。
更少的失忆： 因为机器人没有被强迫为了死记硬背奇怪的示例而彻底改变其整体“性格”，所以它保留了原有的技能（如安全性和通用对话能力）。

“一行代码”的魔力

作者强调，这并不是大规模的彻底改革。这只是对训练机器人的数学公式进行了微小的调整。他们仅仅修改了决定对每个单词投入多少注意力的公式。这就像调节立体声音响的音量旋钮：不再以相同的音量播放所有歌曲，而是调高你需要听到的歌曲的音量，调低你已经熟悉的歌曲的音量。

总结

InfoSFT 是一种更智能的 AI 教学方式。它阻止 AI 死记硬背简单的内容，并避免其因无法理解的内容而感到困惑。相反，它将所有精力集中在那些真正发生学习的“刚刚好”的时刻。这有助于 AI 掌握新技能，同时不忘旧技能。

技术摘要：InfoSFT

问题陈述

监督微调（SFT）是利用离线专家演示来教导大语言模型（LLM）新行为的标准方法。然而，标准 SFT 存在两个关键局限性：

测试时泛化能力弱：标准 SFT 均匀地拟合所有样本，包括那些在基础模型下似然度较低的样本。这些低似然度 token 会产生较大的负对数似然损失，迫使模型过拟合特定样本，而非学习潜在的目标行为。因此，在泛化基准测试中，SFT 的表现往往不如同策略方法（如强化学习）。
灾难性遗忘：利用低似然度离线数据适应新行为会导致模型输出分布发生显著偏移。这种巨大的分布偏移与先前能力的退化（例如安全性、指令遵循或通用推理能力）相关，这种现象被称为灾难性遗忘。

现有的缓解策略，如过滤或降低低似然度数据的权重，往往会抑制基础模型本需学习的新颖行为，从而在学习新任务与保留旧任务之间造成权衡。

方法论：InfoSFT

作者提出了 InfoSFT，这是一种原则性的 token 加权方案，旨在将学习信号集中在“信息量最大、中等置信度”的 token 上。该方法源自近端更新框架，在固定的 KL 散度预算下，优化了拟合专家分布与保持接近基础模型之间的权衡。

理论推导

作者将 SFT 框架化为策略梯度问题，其中样本的权重取决于其在当前模型下的似然度 $q = \pi_\theta(y^*|x)$ 。

标准 SFT 赋予均匀权重（ $w=1$ ），实质上是将所有 token 同等对待。
DFT（似然度加权 SFT） 赋予与似然度成正比的权重（ $w \propto q$ ），这虽然稳定了训练，但低估了具有信息量的低似然度样本。
InfoSFT 推导出一条最优加权规则，优先拟合专家数据的总体分布，而非记忆单个样本。对于似然度为 $q$ $q$ 的 token，其最优权重推导如下：
$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$
其中：
- $p$ 是平均专家置信度的估计值（一个校准常数）。
- $\text{logit}(q) = \log(\frac{q}{1-q})$ 。
- $(\cdot)_+$ 表示截断以确保权重非负。

关键特征

中等置信度聚焦：加权函数在具有中等置信度的 token 处达到峰值。它为那些在基础模型下不太可能（因此具有信息量）但又不至于引起不稳定的 token 赋予高权重。
极端情况权重消失：
- 对于高置信度 token（ $q \to 1$ ），修正项消失，避免了对模型已能很好预测的 token 进行不必要的强化。
- 对于极不可能 token（ $q \to 0$ ），权重消失，防止了不稳定性。
实现：InfoSFT 仅需对标准 token 级损失函数进行一行修改。它将均匀权重替换为推导出的加权因子。

主要贡献

KL 预算下的最优更新：本文从理论上证明，当约束模型保持接近基础模型（固定 KL 预算）时，最优更新策略是将最高权重赋予具有中等置信度的样本，而非均匀权重或似然度成正比权重。
InfoSFT 算法：一种简单新颖的 SFT 变体，融入了该加权规则。它强调具有信息量的低似然度 token，同时给予已解决的 token 很少的权重。
与 SFT 的互补性：作者表明 InfoSFT 与标准 SFT 是互补的。SFT 在引入极不可能的格式（例如新的推理标签如 <thought>）方面有效，而 InfoSFT 在那些格式变得更为可能后，用于优化模型则更胜一筹。

实验结果

作者在数学、代码和思维链（CoT）推理任务上，使用多样化的模型系列（Qwen-2.5, Llama-3.1）和规模评估了 InfoSFT。

泛化性能：在测试时基准测试（MATH500, AMC, HumanEval, MultiPL-E）中，InfoSFT 始终优于普通 SFT 和 DFT。值得注意的是，它实现了更高的 pass@8 分数，表明在生成多个样本时，其正确解决方案的多样性和鲁棒性更好。
灾难性遗忘：在衡量新任务准确率与先前能力（科学问答和工具使用）之间权衡的实验中，InfoSFT 实现了更优的帕累托前沿。它在达到比 SFT 和 DFT 更高的新任务准确率的同时，更有效地保留了先前能力（例如 HumanEval, IFEval）。
熵控制：与常导致熵崩溃（确定性输出）的 DFT 不同，InfoSFT 保持了较高的输出熵，这对于下游对齐和基于采样的推理至关重要。
CoT 推理：在 CoT 微调中，两阶段方法（1 个 epoch 的 SFT followed by 1 个 epoch 的 InfoSFT）在 AIME 上取得了最佳结果，利用 SFT 学习格式，利用 InfoSFT 优化推理。

意义与主张

本文主张 token 加权是可靠监督后训练的关键要素。通过超越均匀拟合或简单的似然度加权，InfoSFT 解决了从离线数据学习新行为与保留现有能力之间的根本张力。该方法提供了一种原则性、低开销的解决方案，在不依赖复杂数据过滤或同策略采样的情况下，改善了泛化能力并缓解了灾难性遗忘。作者将 InfoSFT 定位为一种稳健的替代方案，弥合了 SFT 的稳定性与同策略方法的泛化优势之间的差距。