💬 NLP

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

本文提出了 LP-SFT，这是一种通过局部归一化 KL 散度在非目标标记之间保留预训练模型固有的多模态熵结构的监督微调方法，从而在提高下游性能的同时，减轻对既有能力和采样多样性的退化。

原作者： Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个才华横溢、博学多识的机器人如何遵循指令。这个机器人已经阅读了几乎整个互联网的内容，学习了语言的节奏、数学的逻辑和代码的结构。这个初始学习阶段被称为“预训练”（Pretraining）。现在，你想教它一项特定的工作，比如解决数学问题或编写计算机代码。你向它展示正确答案的示例，机器人会调整它的脑回路以匹配这些示例。这个过程被称为“监督微调”（Supervised Fine-Tuning，简称 SFT）。

然而，这里有一个陷阱。当机器人学会完美胜任这项新工作时，它有时会忘记如何成为一名优秀的通用对话者。它会变得如此痴迷于你展示给它的那个唯一的“正确”答案，以至于忘记了句子还有其他所有有趣且合理的结尾方式。这就像一个学生为了背诵某个数学题的特定答案而过度努力，结果导致他无法解决一个稍有变体的问题；或者像一个作家，只知道一种开始故事的方式。这个领域的一个大问题是：我们如何在教机器人新工作的过程中，又不让它忘记原有的丰富知识？

这正是论文《LP-SFT》所解决的问题。作者们是一群来自顶尖大学的研究人员，他们注意到目前教这些机器人的标准方法（称为“交叉熵”，Cross-entropy）有点过于粗暴。它告诉机器人：“只看我正在展示给你的这一个词；忽略其他一切。”问题在于，机器人的原始大脑其实拥有一张包含许多可能的“好”词汇的地图，而不仅仅是一个。通过强迫机器人只关注这一个目标词，我们无意中抹去了所有其他可能性的地图，导致了创造力的丧失，以及一种被称为“灾难性遗忘”（Catastrophic Forgetting）的现象——即机器人忘记了它原本拥有的技能。

研究人员发现了关于这些机器人思维方式的一些迷人之处。他们发现，机器人的大脑并不只是选择一个词，它经常在几个同样好的选项之间徘徊，形成一种“多模态熵结构”（Multimodal Entropy Structure）。把它想象成一个分叉路口。有时，机器人看到两条或三条路径，它们都是同样有效的。标准的训练方法却强迫机器人只选一条路径，并烧毁其他路径，即便其他路径原本也是完全合理的。

为了解决这个问题，团队提出了一种名为 LP-SFT（局部保持监督微调，Local-Preserving Supervised Fine-Tuning）的新方法。LP-SFT 不再只是对着机器人大喊“选这个词！”，而是说：“选这个词，但请不要忘记另外那三个或四个也挺不错的词。”

它是如何运作的呢？我们可以用一个简单的类比来理解：想象你在训练一只狗去捡特定的球。标准的方法是，只有当狗叼回那颗“确切的球”时才给予奖励，并忽略其他所有东西。久而久之，这只狗可能会停止寻找其他玩具。LP-SFT 则像是说：“把红球（目标词）给我拿来，但与此同时，也要记得蓝球和绿球也是很有趣的捡拾对象。”该方法创建了一个由机器人原本可能选择的前 10 个词组成的“安全区”。它移除了你正在教它的那一个词（以免产生混淆），然后轻轻地引导机器人，使其保持剩余九个词的相对受欢迎程度与之前保持一致。

这种方法的成果非常令人期待。当研究人员在不同的模型（如 Qwen 和 Llama）以及不同任务（数学、编程和通用聊天）上测试 LP-SFT 时，他们发现它比旧方法表现得更好。经过 LP-SFT 训练的机器人不仅能很好地完成所教的具体任务（在数学和编程测试中获得高分），而且还保持了多样性和创造力。它们不像其他方法那样容易丢失通用知识。事实上，该方法在“得到正确答案”与“保留多种可能方案”之间实现了最佳的平衡。

论文表明，通过尊重机器人原有的“可能性地图”，我们可以在不破坏其大脑的前提下教会它新技能。这提醒我们，有时为了教会机器变得完美，你必须让它保留一点点它的“不确定性”。研究人员证明，这种局部保持（Local Preservation）有助于防止机器人陷入枯燥、单一的思维模式，使其保持聪明、灵活，并为接下来的任何挑战做好准备。

技术摘要：LP-SFT（局部保留监督微调）

1. 问题陈述

监督微调（SFT）是将预训练语言模型（PLM）适配到下游任务的标准范式。然而，依赖于 Token 级交叉熵（CE）损失的标准 SFT 往往会导致两个维度的能力退化：

灾难性遗忘： 对微调分布的过度专业化导致了对领域外能力的丧失。
生成多样性降低： 模型会抑制其他有效的解，导致分布向单个 Token 坍缩，从而降低了采样可及的多样性（通过 pass@k 衡量）。

作者认为，这种退化源于交叉熵目标函数与预训练模型中编码的丰富分布知识之间的不匹配。虽然预训练模型学习到了广泛的能力，使得其下一个 Token 的预测分布在观察到的单个目标 Token 之外还包含大量的实质性信息，但标准交叉熵忽略了剩余的偏好结构。在微调过程中反复抑制合理的替代方案，会破坏预训练的结构完整性。

2. 核心观察：多模态熵结构

在提出解决方案之前，作者分析了基座模型中下一个 Token 预测的熵结构。

多模态熵峰值： 通过使用香农（Shannon, $H_1$ ）和 Rényi-2（ $H_2$ ）熵，作者观察到熵分布在整数 $k$ 附近存在明显的多模态峰值。
Plateau-k 状态： 这些峰值对应于“熵压缩状态”，即不确定性分布在 $k$ $k$ 个相似的候选下一个 Token 上。
- 低阶平台（ $k=1\text{--}5$ ）： 通常对应于逻辑或语义分支，即存在多个有效的延续。
- 高阶平台（ $k \approx 10$ ）： 通常对应于结构性歧义（例如随机数字、ID），模型将概率分布在一组字符上。
启示： 基座模型本质上编码了丰富的分布知识。标准交叉熵将所有 Token 一视同仁，通过强制模型忽略这些有结构的替代方案，不必要地扭曲了这种异质结构。

3. 方法论：LP-SFT

为了解决这个问题，作者提出了 LP-SFT（局部保留监督微调）。该方法使用冻结的基座模型作为局部结构参考，以在不与监督学习信号冲突的情况下，保留非目标替代方案之间的相对偏好。

核心组件

局部 Top-K 保留集：
- 在每个 Token 位置 $t$ ，该方法从冻结基座模型分布（ $q_t$ ）的前 $K_{max}$ 个 Token 中构建一个候选集 $S_t$ 。
- 默认情况下， $K_{max} = 10$ ，旨在覆盖分析中观察到的低阶分支和显著的高阶平台。
目标 Token 移除：
- 为了避免与主要的交叉熵目标（优化监督目标 Token $y_t$ ）发生冲突， $y_t$ 被显式地从保留集中移除。
- 保留集变为 $A_t = S_t \setminus \{y_t\}$ 。
局部 KL 归一化：
- LP-SFT 没有在全词表上应用全局 KL 散度（这可能计算昂贵且过于严格），而是在集合 $A_t$ 上应用局部归一化的 KL 散度。
- 基座模型（ $q_t$ ）和可训练模型（ $p_t$ ）的概率仅在 $A_t$ 内进行归一化，以获得 $\hat{q}_t$ 和 $\hat{p}_t$ 。
- 损失定义为： $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$ 。
- 原理： 这保留了剩余非标签替代方案之间的相对偏好结构，而不会人为地限制它们的绝对概率质量或分配给该集合的总质量。

训练目标

最终目标结合了针对目标 Token 的标准交叉熵损失和局部保留损失：
$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$
其中 $\mu$ 控制保留强度。

实现效率

不同于在每个训练步骤都需要基座模型进行前向传播的方法，LP-SFT 采用了两阶段实现方式：

离线预计算： 基座模型对整个训练数据集进行一次处理，以缓存前 $K_{max}$ 个 Logits。
微调： 训练循环仅需要可训练模型的前向传播，并使用缓存的 Logits 来计算局部保留损失。与全词表锚定方法相比，这显著降低了计算开销。

4. 实验结果

作者在三个模型家族（Qwen3-4B, Llama-3.1-8B, Qwen3-14B）以及混合领域和单领域（数学、代码、通用指令）设置下评估了 LP-SFT。

性能对比 Vanilla SFT： 在整体平均性能方面，LP-SFT 始终优于标准交叉熵和近期的 SFT 增强基准方法（DFT, EAFT, GEM, ASFT）。
Pass@1 与 Pass@k 的权衡：
- 标准交叉熵通常以牺牲 pass@k（多样性）为代价来提高 pass@1（单样本准确率）。
- 像 DFT 这样的方法虽然提高了 pass@1，但会导致 pass@k 大幅下降。
- LP-SFT 实现了最佳平衡： 它在提高 pass@1 的同时，保持或提升了 pass@k，这表明它在不牺牲准确性的前提下，保留了采样可及的多样性。
灾难性遗忘： 在混合领域微调中，LP-SFT 显著减轻了能力退化。例如，在 MMLU 基准测试中，LP-SFT 保持了几乎与冻结基座模型相当的性能，而标准交叉熵则出现了严重的下降。
消融实验： 该方法对超参数 $\mu$ 相对不敏感。研究发现，目标 Token 移除和局部 KL 归一化对于稳定性和性能都至关重要。

5. 意义与主张

论文声称，LP-SFT 通过显式保护预训练模型的内在熵结构，提供了一种全新的监督微调方法。

机制： 通过将目标 Token 学习与局部结构偏好的保留解耦，LP-SFT 防止了对基座模型结构化不确定性的“覆盖”。
结果： 这种方法有助于缓解灾难性遗忘，并在保持或提高单样本准确率的同时，保留生成多样性（采样可及的解）。
效率： 与全词表锚定技术相比，该方法能以适度的计算开销提供这些收益，使其成为在领域适配期间保留预训练能力的实用替代方案。

作者总结道，局部保留是一种平衡下游适配与保留通用能力的有效策略，这表明在微调过程中应当保留而非丢弃预训练阶段学到的丰富分布知识。