💬 NLP

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

该论文通过大规模实验与理论分析揭示了模型能力连续体是决定监督微调目标函数有效性的关键维度，指出在强模型端优先采用降低低概率 Token 权重的“先验偏向”目标函数能超越传统的负对数似然（NLL），而在弱模型端 NLL 仍占主导，从而为根据模型能力自适应选择优化目标提供了原则性依据。

原作者： Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当我们已经训练好一个很聪明的“大语言模型”（LLM）后，在教它做具体任务时，是不是应该一直用同一种“教学方法”？

传统的做法是，无论教什么，都用一种叫“负对数似然（NLL）”的方法。这就好比老师教学生，不管学生是天才还是初学者，也不管题目是简单的还是全新的，老师都只用同一种严厉的打分标准：你答错了，我就狠狠扣分，而且越离谱的错扣得越狠。

但这篇论文发现，这种“一刀切”的方法并不总是最好的。作者提出了一个核心概念：“模型能力连续体”（Model-Capability Continuum）。

我们可以把大模型想象成一个学生，把不同的任务想象成不同的学科。这篇论文告诉我们，根据这个学生原本的知识储备（预训练知识）和当前任务的难度，我们需要切换不同的“教学策略”。

1. 核心比喻：三种不同的学生与三种教学策略

作者把任务分成了三类，就像面对三种不同状态的学生：

第一类：学霸模式（Model-Strong）

场景：比如数学题。这个学生（大模型）在上学（预训练）时已经读了海量的数学书，脑子里全是数学公式和解题思路。现在老师（SFT）给他一道新的数学题，他其实大概率已经知道怎么做了，只是偶尔会在某个步骤上犹豫一下。
传统方法（NLL）的问题：传统的“负对数似然”方法，就像是一个吹毛求疵的考官。哪怕学生答对了 99%，只要有一个小步骤概率稍微低了一点点，考官就拼命扣分，强迫学生去关注那些他本来就不太可能犯错的“低概率”细节。这反而让学生乱了阵脚，甚至把原本正确的思路给改歪了。
新策略（Prior-leaning）：作者建议用一种**“信任学霸”的方法（比如 $-p$ 目标）。这种方法会忽略那些学生觉得“不太可能”的错误选项**，只关注那些学生觉得“很有可能”的正确选项。
- 比喻：就像老师对学霸说：“你这道题思路是对的，别管那些乱七八糟的干扰项，把你觉得最对的那个答案再坚定一点就行。”
- 结果：在数学这种“学霸”领域，这种**“少扣分、多鼓励”**的方法效果最好，成绩提升明显。

第二类：学渣模式（Model-Weak）

场景：比如看图猜字谜（Figfont Puzzles）。这个学生以前从来没在课本里见过这种奇怪的字体，脑子里完全没有相关概念。现在让他猜，他完全是瞎蒙，每个答案的概率都差不多低。
传统方法（NLL）的优势：这时候，传统的“负对数似然”方法反而成了救星。因为它会严厉地惩罚每一个错误的猜测，强迫学生去关注每一个可能的选项，哪怕概率很低。
- 比喻：就像老师对完全不懂的学生说：“你完全不知道答案，所以你必须把每一个可能的选项都仔细检查一遍，哪个错了就狠狠改哪个，不能放过任何线索。”
- 结果：在完全陌生的领域，这种**“全面纠错、严厉鞭策”**的方法（NLL）最有效。如果用“信任学霸”的方法，学生可能会因为盲目自信而坚持错误的直觉，导致学不到新东西。

第三类：中等生模式（Model-Intermediate）

场景：比如医疗诊断。学生学过一些医学常识（预训练），但没专门学过这个特定的病例。他有点感觉，但又不敢确定。
结果：这时候，不管是“信任学霸”还是“严厉纠错”，效果都差不多。因为学生处于中间状态，两种方法谁也说服不了谁。这时候可能需要更好的教材（数据），而不是换教学方法。

2. 论文的核心发现：没有万能钥匙

这篇论文最重要的结论是：没有一种“万能”的数学公式（损失函数）能通吃所有情况。

当模型很强（有丰富背景知识）时：我们要**“做减法”**。忽略那些低概率的噪音，强化模型已有的正确直觉。
当模型很弱（缺乏背景知识）时：我们要**“做加法”**。严厉地纠正每一个错误，强迫模型从所有可能性中学习。

3. 生活中的类比

想象你在教一个老练的厨师（强模型）和一个刚入行的学徒（弱模型）做一道新菜：

教老厨师：他已经有丰富的经验了。如果你拿着放大镜，因为他切葱时慢了 0.1 秒就严厉批评他（NLL），他可能会手抖，反而把菜做砸了。你应该说：“你切葱的手法很稳，保持这个节奏，别管那些细枝末节。”（这就是Prior-leaning策略）。
教小学徒：他连刀都拿不稳，完全不知道切葱该多快。这时候如果你说“别管细节，凭感觉来”，他肯定切得乱七八糟。你必须拿着尺子，严格纠正他每一个动作，告诉他“切慢了不行，切快了也不行，必须按标准来”（这就是NLL策略）。

总结

这篇论文就像给 AI 训练师们发了一张**“因材施教”的指南**：

在训练大模型时，不要死守一种“负对数似然”的教条。

如果模型底子好、知识多，就少批评、多肯定，让它发挥特长。
如果模型底子差、没概念，就严要求、多纠错，逼它从头学起。

通过这种**“看人下菜碟”**的策略，我们可以让大模型在更多领域表现得更好。这就是论文标题《超越对数似然》的真正含义：根据模型的能力，灵活选择最适合的训练目标。

这篇论文《Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum》（超越对数似然：跨模型能力连续体的基于概率的监督微调目标）深入探讨了大语言模型（LLM）在监督微调（SFT）阶段的目标函数选择问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状：监督微调（SFT）是后训练大语言模型（LLM）的标准方法，通常默认使用**负对数似然（Negative Log Likelihood, NLL, $-\log p$ ）**作为训练目标。
痛点：尽管 NLL 在从头训练（training from scratch）的小规模分类任务中被证明是最优的，但在 LLM 的后训练场景中，NLL 往往表现出泛化能力有限的问题。
原因分析：后训练与从头训练处于不同的范式。后训练基于已经编码了任务相关先验知识（priors）的预训练模型，且监督数据通常包含长链式思维（Chain-of-Thought），其中可能包含噪声。强制模型逐字复制所有 token（包括低概率的噪声 token）可能会阻碍泛化。
核心问题：是否存在一个通用的“万能”损失函数？如果没有，不同目标函数在什么条件下有效，什么条件下失效？

2. 方法论 (Methodology)

论文提出并系统研究了一类基于概率的目标函数族，而非寻找单一的替代方案。

统一的目标函数族：
作者将 NLL 推广为一个参数化的目标函数族 $f_\alpha(p) := -\frac{p^\alpha - 1}{\alpha}$ 。
- 当 $\alpha \to 0$ 时，退化为 NLL ( $-\log p$ )。
- 当 $\alpha = 1$ 时，变为 $1-p$ （即最大化预测准确率，对应 $-p$ 目标）。
- 更一般地，通过改变 $\alpha$ ，可以控制目标函数的凸凹性。
关键分类：先验倾向 vs. 先验厌恶：
通过分析梯度形状 $W_f(p) = -f'(p)p(1-p)$ ，作者将目标函数分为两类：
- 先验倾向（Prior-leaning）：凹函数（如 $-p, -p^{10}$ ）。它们降低低概率 token 的权重，专注于模型已经高置信度的 token，利用预训练先验进行微调。
- 先验厌恶（Prior-averse）：凸函数（如 NLL, $-\log p$ ）。它们强调低概率 token，强制模型从所有 token（包括模型认为不可能的 token）中学习，适用于纠正错误的先验。
模型能力连续体（Model-Capability Continuum）：
这是论文的核心概念。作者根据预训练先验的强度将任务划分为三个区域：
1. 模型强端（Model-Strong, MS）：预训练数据中包含大量相关 token（如数学推理），模型在微调前已有高置信度先验。
2. 模型弱端（Model-Weak, MW）：预训练数据中几乎无相关 token（如新型字谜、低资源语言），模型缺乏先验。
3. 中间区域（Intermediate, MI）：部分相关先验（如医疗推理）。

3. 主要贡献 (Key Contributions)

提出了“模型能力连续体”理论：首次系统性地论证了 SFT 目标函数的有效性取决于基础模型的先验强度，而非存在一个通用的最优损失函数。
揭示了目标函数的反转现象：
- 在模型强端，先验倾向目标（如 $-p$ ）显著优于 NLL。
- 在模型弱端，先验厌恶目标（NLL）显著优于 $-p$ 。
- 在中间区域，两者表现差异不大。
理论与实证结合：
- 理论分析：通过梯度流（Gradient Flow）分析，证明了在模型强端，先验倾向目标能带来更大的风险降低；而在模型弱端，NLL 更优。
- 大规模实验：在 8 个模型骨干、27 个基准测试、7 个领域（数学、医疗、字谜、代码、指令微调等）上进行了验证。

4. 实验结果 (Results)

模型强端（数学推理）：
- 使用 NuminaMath 数据集，在 LLaMA-3.1-8B、DeepSeekMath-7B 等模型上， $-p$ 目标（或阈值化的 NLL，即忽略低概率 token） consistently 优于标准 NLL。
- 例如，在 Math500 上， $-p$ 比 NLL 提升了约 16% 的准确率。
- 消融实验表明，低概率 token 在强模型中主要充当噪声，抑制它们能显著提升性能。
模型弱端（字谜/低资源语言）：
- 在 Figfont 字谜或低资源语言指令微调中，NLL 显著优于 $-p$ 。
- 原因：当先验不可靠时， $-p$ 会过度信任模型的高概率错误预测，而 NLL 能强制模型关注并修正这些低概率（通常是错误）的 token。
中间区域（医疗推理）：
- 在 m23k 等医疗数据集上， $-p$ 和 NLL 的表现非常接近，没有单一目标占绝对优势。
通用指令微调：
- 随着模型规模增大（从 3B 到 14B），模型能力增强，先验倾向目标（ $-p$ ）的胜率逐渐超过 NLL，验证了连续体理论的普适性。

5. 意义与影响 (Significance)

打破教条：挑战了 NLL 作为 SFT 唯一标准目标的教条，指出在 LLM 后训练阶段，盲目使用 NLL 可能不是最优解。
指导实践：为 practitioners 提供了明确的指导原则：
- 如果任务领域模型已有丰富先验（如数学、代码），应使用先验倾向目标（如 $-p$ 或阈值化 NLL）以抑制噪声。
- 如果任务领域模型缺乏先验（如新领域、低资源语言），应坚持使用NLL以强制学习。
理论深度：建立了目标函数的凸凹性与模型先验强度之间的理论联系，解释了为什么不同的优化目标在不同场景下表现迥异。
与 RL 的联系：论文指出，许多强化学习（RLHF/RLVR）方法本质上也是“先验倾向”的更新策略（因为它们基于当前策略采样，倾向于高概率 token），这为理解 RL 与 SFT 的关系提供了新的视角。

总结：
这篇论文通过引入“模型能力连续体”的概念，证明了没有一种损失函数适用于所有场景。在 SFT 中，选择目标函数应基于基础模型对该任务的先验知识强度：对于强先验任务，应抑制低概率噪声（使用 $-p$ 等）；对于弱先验任务，应全面学习（使用 NLL）。这一发现为优化大模型后训练策略提供了重要的理论依据和实用指南。