💬 NLP

A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design

本文通过提出的 Q-target 框架，将监督微调（SFT）重新诠释为一个目标分布设计问题，并由此开发出 Target-SFT，该方法直接从期望分布构建训练目标，并在各种推理任务中一致地优于现有方法。

原作者： Tong Xie, Yuanhao Ban, Yunqi Hong, Sohyun An, Yihang Chen, Cho-Jui Hsieh

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Tong Xie, Yuanhao Ban, Yunqi Hong, Sohyun An, Yihang Chen, Cho-Jui Hsieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名非常聪明的学生（即 AI 模型）如何解决复杂的数学问题或回答医学问题。你手里有一本充满了由专家编写的“完美”范例的教科书。

旧方法：僵化的复读机
传统上，当我们教导这个学生时（这个过程被称为监督微调，即 SFT），我们的角色就像一名严厉的教官。我们会说：“看这句话。下一个词必须是‘因此’（therefore）。如果你写成‘于是’（thus）或‘所以’（so），你就错了。你必须逐字逐句地模仿教科书。”

论文指出这种方法是有缺陷的。在现实生活中，并不只有一种“完美的”表达方式。“因此”、“于是”、“所以”和“由此可见”可能都是正确的。此外，有时教科书可能会有错别字，或者专家选择了一种不符合学生自然思维方式的奇怪风格。强迫学生精确复制每一个词，会让他们变得过度自信、困惑，或者在教科书不够完美时无法进行调整。

新理念：设计目标，而非仅仅设计评分标准
作者提出了一种看待教学的新方式。与其仅仅关注“分数”（用于惩罚错误的数学公式），我们应该问：“我们希望学生达到的实际目标是什么？”

他们称之为目标分布设计（Target Distribution Design）。与其瞄准一个单一、僵化的目标（例如 100% 的“因此”），不如设计一个灵活的目标，它规定了：

我们应该在多大程度上信任教科书？（如果学生已经很有信心，就减少信任；如果学生不确定，就增加信任。）
如果学生不确定，该怎么办？（不要只是随机猜测；要向“老师”寻求其他优选方案的提示。）

解决方案：TARGET-SFT
论文介绍了一种名为 TARGET-SFT 的新方法。可以把它想象成一个聪明的辅导系统，它使用了两种工具：

置信度计量器（“信任”开关）：
系统会检查学生对教科书答案的信心程度。
- 如果学生 99% 确定答案是“因此”，系统会说：“很好，就按这个来。”
- 如果学生只有 10% 的把握，系统会说：“好吧，别慌。我们会稍微信任一下教科书，但我们不会强迫你完美地复制它。”
老师的提示（“残差”指南）：
当学生不确定时，系统不会任由其盲目猜测，而是引入一位“老师”（一个更高级的 AI 模型）。这位老师不仅仅是说“写下‘因此’”；老师会说：“如果你不确定用‘因此’，这里还有一些同样合理的词，比如‘于是’或‘由此可见’。”

系统会将教科书的答案与老师的提示进行融合。如果教科书的答案站不住脚，老师的提示声就会变大；如果教科书的内容很扎实，老师就会保持安静。

为什么有效（结果）
研究人员在包括难题数学题和医学问题在内的 10 个不同场景中测试了该方法。

僵化的复读机（标准 SFT）： 经常表现不佳，甚至效果变差，因为它强迫学生去记忆嘈杂或僵化的模式。
“只管模仿老师”（知识蒸馏）： 表现尚可，但有时会忽略当前具体的问题。
TARGET-SFT： 在几乎所有案例中都胜出了。通过保持灵活性——即知道何时信任教科书以及何时倾听老师——它学会了更好的推理，而不会被不完美的数据搞混。

大局观
这篇论文的核心观点很简单：不要仅仅惩罚错误；要设计一个更好的目标。

与其盲目地强迫 AI 复制单一的“正确”答案，我们应该教会它去理解应该在多大程度上信任那个答案，以及如果那个答案不是完美的，还有哪些其他好的选择存在。这使得 AI 变得更聪明、更灵活，并能更好地解决现实世界中并非总有一种唯一正确表达方式的问题。

技术摘要：通过目标分布设计统一监督微调的视角

问题陈述

监督微调（SFT）是将大语言模型（LLM）适配到特定任务的关键阶段，其核心是通过模仿专家演示来实现。然而，标准的 SFT 依赖于一种僵化的独热（one-hot）目标分布，即模型被训练为最大化观测到的 token $y_t$ 的概率，同时将所有其他 token 的概率分配为零。

作者认为，这种公式化表达在以下几个方面是次优的：

非唯一性： 在现实的数据集中，单个提示词往往对应多种有效的推理路径、表达方式或中间步骤。单个观测到的 token 很少是唯一的正确延续。
噪声与失配： 观测到的 token 可能存在噪声，或者与预训练模型中编码的丰富知识先验不一致。
过度自信： 严格拟合独热目标会放大噪声、诱发过度自信、干扰预训练先验，并降低泛化能力。

现有工作试图通过 token 级的重加权（如 DFT、ProFit）或分布正则化（如标签平滑、KL 约束）来缓解这些问题。然而，这些方法通常被视为互不相关的算法选择，缺乏一个统一的理论框架来解释它们之间的联系，或指导更优目标的构建。

方法论：Q-Target 框架

本文将 SFT 重新诠释为不仅仅是一个损失最小化问题，而是一个目标分布设计问题。其核心洞察在于：任何 token 级的损失函数都会隐式地驱动模型去匹配一个特定的目标分布 $Q_t$ 。

Q-Target 公式化

作者提出了 Q-target 框架，该框架将训练监督分解为两个明确的设计选择：
$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$
其中：

$\delta_{y_t}$ 是观测到的 token 的独热分布。
$\gamma_t \in [0, 1]$ 代表对观测 token 的信任度（trust）。它控制分配给标签的概率质量。
$\tilde{\pi}_t$ 是关于合理替代方案的残差分布（residual distribution），接收剩余的概率质量 $(1 - \gamma_t)$ 。

该框架统一了现有的 SFT 变体：

Token 加权变体（如 DFT、ProFit）： 主要根据模型置信度或 token 质量来调整 $\gamma_t$ ，但在实现上隐式地将残差 $\tilde{\pi}_t$ 设置为模型自身的先验（自我匹配），从而无法为替代方案提供纠正信号。
分布变体（如标签平滑、KL 约束）： 主要指定 $\tilde{\pi}_t$ （例如均匀分布、参考模型），但通常使用固定的 $\gamma_t$ 。

TARGET-SFT：一个具体的实例化

基于此框架，作者提出了 TARGET-SFT，它显式地设计了这两个组成部分：

自适应信任度 ( $\gamma_t$ )： 不同于固定权重， $\gamma_t$ 是由模型自身的预测概率 $p_y = \pi_\theta(y_t | x_t)$ 推导而来的。
- 如果模型很自信（ $p_y \approx 1$ ），则 $\gamma_t \approx 1$ ，目标趋近于标准 SFT。
- 如果模型不确定（ $p_y \approx 0$ ），则 $\gamma_t \approx 0$ ，从而削弱对潜在噪声标签的严格模仿。
- 这受到将 token 的“信任”建模为具有 Beta 分布的隐变量的启发，其后验均值近似于模型概率。
教师引导的残差 ( $\tilde{\pi}_t$ )： 并非将残差质量默认设为学生的自身先验（这无法提供新信息），TARGET-SFT 将其分配给一个教师引导的分布。
- 残差通过 KL 正则化奖励塑造构建： $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$ ，其中 $\pi_T$ 是教师分布（例如经过指令微调的模型）， $\eta$ 控制教师信号的强度。
- 这使得模型在观测标签不确定时，能够从教师建议的“合理替代方案”中学习，起到一种回退监督机制的作用。

最终的目标是模型分布与构建出的 $Q_t^{TARGET}$ 之间的交叉熵损失：
$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$

核心贡献

目标分布视角： 本文引入了一个根本性的转变，即看待 SFT 的方式应从损失函数转向诱导出的目标分布。
Q-Target 框架： 一个统一的视角，将 SFT 目标分解为两个显式选择：标签信任度 ( $\gamma_t$ ) 和残差分配 ( $\tilde{\pi}_t$ )。该框架解释了现有变体如何作为该空间内的隐式选择。
TARGET-SFT 算法： 一种具体的方法，能够自适应地平衡标签模仿与教师引导的残差监督。它避免了对不确定标签的过拟合，同时利用教师知识引导模型走向合理的替代方案。

实验结果

作者在 10 个数据集-模型设置下评估了 TARGET-SFT，涵盖数学推理（NuminaMath-CoT, OpenR1-15k）和医学推理（m23k），模型规模从 1.5B 到 8B 参数不等（Qwen2.5, Qwen3, LLaMA）。

性能表现： TARGET-SFT 在所有设置中始终取得了最高的 Average@16 准确率，优于标准 SFT、概率加权 SFT (p-loss) 以及知识蒸馏基线。
数学推理： 标准 SFT 往往仅带来微小收益甚至导致性能下降（例如在 Qwen3-1.7B 上），这是由于僵化的独热拟合造成的。TARGET-SFT 显著优于 p-loss，证明了显式设计残差分布比仅仅降低标签权重更为有效。
医学推理： 虽然标准 SFT 在某些医学案例中表现良好（表明严格模仿有时是有效的），但 TARGET-SFT 仍然取得了最佳的平均性能。这表明，即使在简单的重加权效果较差的情况下，教师引导的残差分支依然能提供价值。
消融实验：
- 改变教师信号强度 ( $\eta$ ) 显示出自适应权重在不同强度下都是鲁棒的。
- 用固定常数 $c$ 代替自适应权重 $(1-\gamma_t)$ 会导致性能下降，证实了依赖不确定性进行加权的必要性。
- 蒸馏基线对混合权重 $c$ 非常敏感，且未能达到 TARGET-SFT 的性能，这表明将教师作为固定的全量目标，不如使用自适应回退监督有效。

意义与主张

本文声称其公式化揭示了一个更基本的 SFT 训练设计原则。通过将关注点从损失函数转向诱导出的目标分布，作者：

统一了不同的 SFT 变体于单一的理论框架之下。
展示了更广阔的 SFT 目标搜索空间，允许显式控制如何在数据模仿、保留先验以及融入外部引导之间进行权衡。
证明了有效的 SFT 源于对模仿强度和剩余概率质量分配的精心设计，而非依赖僵化的独热目标或静态正则化。

作者总结道，TARGET-SFT 提供了一个全新的、更完整的 SFT 视角，为更好地平衡数据集模仿、先验保留和替代监督开辟了新的目标设计途径。