💬 NLP

PriFT: Prior-Support Guided Supervised Fine-Tuning

PriFT（先验支持引导的微调）通过从冻结的预训练模型中导出稳定的标记重加权信号，以避免由使用在线模型分布所导致的自我强化动态，从而提升监督微调的泛化能力和强化学习的初始化效果。

原作者： Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个才华横溢的学生（即 AI 模型），他已经读过数百万本书，并掌握了大量的通用知识。这就是预训练模型（Pretrained Model）。现在，你想教这个学生一项特定的新技能，比如解决复杂的数学问题或编写代码。这个教学阶段被称为监督式微调（Supervised Fine-Tuning, SFT）。

通常情况下，老师会给学生展示一本带有正确答案的教科书，并说：“逐行背诵这些内容。”然而，这篇论文指出，这种“逐行”背诵存在一个缺陷：学生可能会试图去背诵那些基于他们现有知识水平来看并不真正理解的内容。这会导致学生出现过拟合（Overfitting）——他们过度背诵了特定的教科书，以至于在面对稍微不同的问题时就会失败。

问题所在：“移动目标”型老师

最近一些试图修复此问题的尝试引入了一位“聪明老师”，这位老师会观察学生当前正在学习的内容，并决定：“好吧，这个答案目前对学生来说是合理的，所以让我们专注于它。那个答案很令人困惑，所以我们忽略它。”

论文称之为在线重加权（Online Reweighting）。问题在于，根据作者的说法，这位老师是不稳定的。随着学生的学习，他们的思维也在发生变化。这位“聪明老师”实际上是学生的大脑在照镜子。

陷阱： 如果学生最初喜欢某种类型的答案，老师就会不断强化它。如果学生不喜欢另一种类型，老师就会停止教授它。
结果： 学生变成了一个“强者愈强”的机器。他们在自己原本喜欢的领域变得极其出色，但却失去了探索新的、多样化的解题方式的能力。他们变得僵化，并失去了原有的广泛知识。

解决方案：PriFT（“冻结”的参考标准）

作者提出了一种名为 PriFT（先验支持引导微调，Prior-Support Guided Fine-Tuning）的新方法。

与其询问学生当前不断变化的大脑来决定学习什么，PriFT 会向学生的原始预训练大脑（即“冻结的参考标准”）寻求建议。

可以这样理解：

旧方法： 你问一个正处于压力和困惑中的学生：“我应该学什么？”他们可能会说：“只学那些我已经掌握的东西！”因为他们对新事物感到恐惧。
PriFT 方法： 你询问学生的“过去的自我”（即开始这门特定课程之前的版本）：“这节新课中有哪些部分与我已有的知识相契合？”过去的自我给出了一个稳定且冷静的回答：“这些概念与你的基础知识相符，请专注于这些。但不要忽略其他部分。”

这个“过去的自我”提供了一个**先验支持（Prior Support）**信号。它告诉模型：“这个词（Token）得到了你原始知识的支持，所以它是安全的。而另一个词则有些牵强，所以要小心。”

PriFT 的运作方式（两种形式）

论文介绍了使用这种“过去的自我”建议的两种方式：

PriFT-prob（概率检查）： 它观察“过去的自我”说出某个特定词的可能性。如果“过去的自我”非常自信，它会给予该词较高的权重。如果“过去的自我”不确定，则给予较低的权重。
PriFT-mass（群体检查）： 有时，一个词可能很容易（“过去的自我”有 99% 的把握），但这并不意味着它是最重要的学习词汇。PriFT-mass 观察的是“累积质量（Cumulative Mass）”。它会问：“这个词是否得到了‘过去的自我’所考虑的所有可能选项中至少一半的支持？”这能防止模型只学习那些超级简单、显而易见的词，从而迫使它关注更难、更重要的推理步骤。

实验结果：为什么这很重要

作者在三个困难任务上测试了该方法：数学、编程和医学问题。

更好的泛化能力： 使用 PriFT 训练的模型不仅仅是背诵训练数据，它们在解决从未见过的新问题方面也变得更出色了。
更多的多样性： 与那些让模型变得僵化的“在线”方法不同，PriFT 保持了模型的思维多样性。这就像是保持一个拥有多种工具的工具箱，而不是只有一个锤子。
更好的强化学习（RL）准备： 通常在 SFT 之后，研究人员会使用强化学习（类似于通过试错来学习的电子游戏）来让 AI 变得更聪明。论文发现，PriFT 为这个下一阶段创造了一个更好的“起点”。因为 PriFT 没有过早地缩小模型的关注范围，所以在开始强化学习游戏时，模型拥有更多的“成长空间”。

核心结论

论文声称，通过使用一个冻结且稳定的参考标准（模型的原始知识）来引导学习过程，而不是让模型当前不断变化的状态来决定学习内容，我们可以得到一个更聪明、更灵活的 AI。这体现了一个学生是盲目跟随当下的情绪，还是咨询其坚实的知识基础来决定下一步该学什么之间的区别。

关键要点： PriFT 帮助 AI 模型在学习新技能的同时，不会忘记自己的本质或变得过于狭隘，从而在数学、编程和医学领域表现出更好的性能，并为未来的训练阶段奠定了更大的成功基础。

技术摘要：PriFT (先验支持引导的微调)

问题陈述

监督微调 (SFT) 是使预训练大语言模型 (LLM) 适配下游任务的标准且计算高效的方法，通常作为强化学习 (RL) 的初始化阶段。然而，与 RL 相比，SFT 存在泛化差距。作为一种离策 (off-policy) 方法，SFT 是逐个 token 地拟合固定的演示数据。当演示数据中的目标 token 与模型的预训练分布对齐程度较差时，这一过程可能导致过拟合并扭曲预训练知识。

近期的研究尝试通过根据 token 与模型预测分布的对齐程度（例如使用目标 token 的概率或熵）分配非均匀训练权重来缓解这一问题。然而，这些方法通常使用正在进行微调的在线模型 (online model) 来计算这些权重。本文指出，这存在一个关键缺陷：在线模型的预测分布在训练过程中会迅速偏离预训练分布。因此，权重信号会与优化轨迹纠缠在一起，产生一种自我强化动态 (self-reinforcing dynamic)，即模型会将学习信号集中在它最初偏好的 token 上，同时抑制其他 token。这降低了采样多样性，并限制了模型进行进一步在策 (on-policy) 优化（RL）的能力。

方法论：PriFT

为了解决在线重加权的不稳定性，作者提出了 PriFT (Prior-support guided Fine-Tuning，先验支持引导的微调)。其核心洞察在于，token 权重应当源自一个冻结的预训练参考模型，而非不断演变的在线模型。这提供了一个稳定的“先验支持”估计，即目标 token 在进行特定任务适配之前，受模型原有知识支持的程度。

框架

PriFT 通过引入由冻结的预训练模型 $\pi_{\theta_{pt}}$ 推导出的 token 权重 $m_t$ 来修改标准的 SFT 目标函数：
$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$
其中 $u(\cdot)$ 是一个 token 效用函数。通过从冻结的参考模型中计算权重，PriFT 将权重估计与优化轨迹解耦，从而防止了在线方法中观察到的自我强化偏差。

具体实现

论文介绍了两种特定的效用函数 $u$ 的实例化形式：

PriFT-prob：直接使用预训练目标 token 概率。
$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$
它根据该 token 在预训练分布下的合理程度来缩放梯度幅度。它保留了标准的 SFT 更新方向，但降低了先验支持较低的 token 的权重。
PriFT-mass：使用预训练分布下的累积概率质量 (cumulative probability mass)，以减少对具有尖锐分布的“容易”token 的偏好。
$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$
其中 $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$ 。
该指标衡量了分配给比目标 token 更不可能出现的 token 的概率质量比例。0.5 的阈值用于选择受至少一半预训练概率质量支持的 token。与 PriFT-prob 不同，这产生了一个二进制选择掩码，其中所有被选中的 token 获得相等的权重，从而防止过度强调平凡的高置信度 token（如虚词），同时保留来自更难上下文的信息量丰富的 token。

计算开销

PriFT 只需要对冻结的预训练模型进行一次前向传播即可预计算 token 权重或掩码。这增加了大约 $1/(3E)$ （其中 $E$ 是 epoch 数）的相对开销，且可以离线完成。与需要在每个优化步骤中都需要访问参考分布的 KL 正则化方法不同，PriFT 仅需存储标量权重或二进制掩码，避免了显著的内存开销。

核心贡献

识别信号漂移： 作者证明了在线 token 统计特性会迅速偏离预训练分布，从而产生一个自我强化的循环，将学习集中在最初偏好的 token 上，并降低泛化能力。
通过冻结参考实现稳定重加权： 他们表明，从冻结的预训练模型中推导 token 权重，在各种重加权规则（基于概率和基于熵）下，表现始终优于使用在线模型。
PriFT 框架： 提出了一个简单的、通用的框架，通过从冻结的参考模型中预计算权重，将重加权信号与优化轨迹解耦。
实证验证： 大量实验表明，PriFT 在各类 SFT 基线模型中达到了最先进的水平，并为随后的 RL 训练提供了更优的初始化。

实验结果

作者在数学推理、代码生成和医学问答任务上评估了 PriFT，使用了 Qwen2.5-Math、Qwen3 和 LLaMA-2 等模型。

数学推理： 在 Qwen2.5-Math-7B 上，PriFT-mass 实现了 40.67 的平均准确率 (Avg@16) 和 69.60 的 Pass@16，分别超过了最强的先验基线 (TALR) 3.97 和 8.75 个百分点。值得注意的是，虽然在线重加权方法（如 DFT）通常会以牺牲 Pass@16 为代价来提高 Avg@16，但 PriFT 同时提升了这两个指标。
代码生成： 在 Qwen3-4B-Instruct 上，PriFT 各变体优于标准 SFT 和其他 token 重加权基线，特别是在具有挑战性的 LiveCodeBench 切片上。PriFT-mass 与原始检查点相比，在 HumanEval+ 上的性能下降最小，表明其更好地保留了现有能力。
医学问答： PriFT-mass 在 MMLU-Medical 和 MedMCQA 基准测试中取得了最佳的整体表现，优于其他 token 重加权方法。
RL 初始化： 与使用标准 SFT 或在线重加权方法 (DFT) 进行初始化的模型相比，使用 PriFT 初始化的模型在随后的 RL (DAPO) 训练后表现出更强的性能。例如，在 Qwen3-8B-Base 上，与基线 SFT 初始化相比，PriFT-mass 在 RL 后的 Avg@16 提升了 9.57 个百分点。

重要性与主张

论文声称 PriFT 解决了 token 重加权 SFT 中的一个根本局限：权重信号与优化轨迹的纠缠。通过利用预训练模型作为“先验支持”的稳定来源，PriFT：

保持采样多样性： 它避免了概率质量向狭窄推理路径的自我强化集中，从而维持了更广泛的熵分布和更好的 Pass@k 表现。
减少分布偏移： 与在线重加权方法相比，它在微调期间最大限度地减小了与预训练模型的 KL 散度。
增强 RL 就绪性： 它通过保留模型进行进一步在策优化的能力，为 RL 提供了一个更强的初始化，这表明“优秀的 SFT”不仅关乎即时性能，更关乎维持未来学习所需的差异性。

作者指出了局限性，包括侧重于中等规模的开源模型和特定任务领域，这为未来探索更大规模的模型和更广泛的效用函数留下了空间。他们并未声称 PriFT 解决了所有泛化问题，而是将其定位为 SFT 范式的一个稳健且可推广的改进。