💬 NLP

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

该论文提出了一种名为动态熵微调（DEFT）的参数化无关目标函数，通过利用广义变形对数族统一监督微调框架，并基于模型预测的不确定性动态调节梯度信任门控，从而有效平衡了探索与利用，解决了传统负对数似然方法在噪声抑制与置信度强化之间的矛盾。

原作者： Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

发布于 2026-02-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 DEFT（动态熵微调）的新方法，旨在解决大语言模型在“微调”（SFT）阶段遇到的一个核心难题：如何既学会新知识，又不忘掉旧本领，同时还能把已经掌握的知识练得更精准？

为了让你轻松理解，我们可以把训练大模型想象成**一位老练的厨师（预训练模型）在进修新菜谱（微调数据）**的过程。

1. 传统方法的困境：要么“太较真”，要么“太敷衍”

目前的微调方法（标准 NLL 损失函数）就像一位死板的考官，他对所有题目一视同仁：

遇到不会的题（低概率）： 考官会疯狂给分（梯度很大），强迫厨师死记硬背。
- 问题： 如果这道题本身是错的（比如数据噪声，或者考官出题出错了），厨师就会把错误的做法刻在脑子里，甚至把以前做得很好的菜（原有知识）给忘了。这就叫“灾难性遗忘”。
遇到会的题（高概率）： 考官觉得厨师已经会了，就随便给点分（梯度很小）。
- 问题： 厨师虽然会做，但可能做得不够完美（比如火候差一点）。因为考官不重视，厨师就没有动力去精益求精，导致技能无法“ sharpen（锐化）”。

总结： 传统方法就像“一刀切”，不管你是真不懂还是假不懂，也不管你是真会还是只会个大概，它都用同一套标准，导致厨师在“学新东西”和“练旧手艺”之间左右为难。

2. DEFT 的核心理念：聪明的“信任门”

这篇论文提出，我们需要一个聪明的考官，他手里有一个**“信任门”（Trust Gate）。这个门的大小不是固定的，而是根据厨师当下的自信程度**动态调整的。

核心比喻：信任门（The Trust Gate）

想象厨师在答题前，心里会先估摸一下：“这道题我有几成把握？”

情况 A：厨师很迷茫（低置信度，不确定性高）
- 考官反应： 打开“信任门”。
- 逻辑： “既然你都不确定，那这道题可能是个全新的知识点，也可能是个陷阱。为了保险起见，我们先全盘接受你的学习信号，让你大胆去试错，确保不漏掉任何新知识。”
- 效果： 就像在探索新大陆，保持**探索（Exploration）**能力，防止因为太保守而学不到新东西。
情况 B：厨师很有信心（高置信度，确定性高）
- 考官反应： 关闭“信任门”，只留一条缝。
- 逻辑： “既然你很有把握，那如果题目和答案对不上，大概率是题目错了（数据噪声）。这时候要保护你原有的正确知识，不要让你为了迎合错误题目而改变做法。但如果题目是对的，我们要严厉要求你做到完美。”
- 效果： 就像在打磨艺术品，保持**利用（Exploitation）**能力，把已有的技能练到极致，同时过滤掉噪音。

3. DEFT 是怎么做到的？（魔法原理）

论文里用了一些高深的数学（比如凯莱变换 Cayley Transform 和熵），我们可以用更通俗的方式解释：

动态调整（Dynamic）：
传统的考官是“死”的，DEFT 的考官是“活”的。他会实时观察厨师的整体状态（不仅仅是看这一道题，而是看厨师对整个知识体系的把握程度，即“分布的集中度”）。
- 如果厨师脑子里乱糟糟的（熵高，不确定），考官就大开绿灯，鼓励学习。
- 如果厨师脑子里条理清晰（熵低，确定），考官就严格把关，只允许微调细节，防止被带偏。
无缝切换（Seamless Interpolation）：
这个“信任门”不是突然开关的，而是像调光开关一样平滑过渡。
- 从“完全不懂”到“完全精通”，考官的态度是平滑变化的：从“全听你的（像 NLL）”慢慢变成“只信你的核心部分（像概率损失）”。
- 这就解决了“既要学新，又要练旧”的矛盾。
不需要额外参数（Parameter-free）：
很多新方法需要人工设置很多参数（比如“什么时候该保守，什么时候该激进”），这很难调。DEFT 很聪明，它自己就能算出什么时候该激进，什么时候该保守，不需要人去操心。

4. 实验结果：真的好用吗？

论文在数学、医疗、推理等多个领域做了测试，结果非常亮眼：

在“强手”领域（模型本来就很强）： DEFT 能防止模型被数据里的噪声带偏，把原本就好的技能练得更纯熟（比如数学题做得更准）。
在“弱手”领域（模型本来不懂）： DEFT 能大胆地让模型吸收新知识，不会因为怕犯错而不敢学。
在“混合”领域（既有懂的又有不懂的）： DEFT 表现得最均衡，既没有因为学新东西而忘掉旧东西，也没有因为保守而学不到新东西。

总结

DEFT 就像给大模型配备了一位“因材施教”的私人教练。

当你迷茫时，它鼓励你大胆尝试，确保你学到新东西（覆盖不确定性）。
当你自信时，它帮你去伪存真，防止你被错误信息带偏，并督促你精益求精（锐化确定性）。

这种方法让大模型在微调过程中，既能稳健地吸收新知识，又能牢固地守住旧本领，最终达到一个完美的平衡点。这就是为什么它能在各种复杂的任务中表现更好的原因。

这篇论文提出了一种名为**动态熵微调（Dynamic Entropy Fine-Tuning, DEFT）**的新方法，旨在解决监督微调（SFT）中标准负对数似然（NLL）目标函数的局限性。文章通过统一变形对数（deformed-log）族目标函数，揭示了一种通用的“门控×误差”梯度结构，并提出了一种无需额外超参数的动态门控机制，以在探索（学习新知识）和利用（强化已有知识）之间取得更好的平衡。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在大型语言模型（LLM）的预训练后微调阶段，标准的**负对数似然（NLL）**目标函数存在两个主要缺陷，导致“可塑性 - 稳定性困境”（Plasticity-Stability Dilemma）：

过度强调低概率目标：NLL 对所有 Token 一视同仁，无论其概率高低。当模型对某个 Token 预测概率很低时，NLL 会施加巨大的梯度。如果该低概率是由于数据噪声或冲突（Confident Conflicts，即模型已有高置信度但被错误标签覆盖）引起的，这种巨大的梯度会放大噪声，破坏模型稳健的先验知识，导致灾难性遗忘。
高置信度下的锐化效率低下：当模型已经对某些 Token 非常自信（高概率）时，NLL 的梯度随误差线性衰减，导致分布锐化（Sharpening）效率低下，无法进一步巩固正确知识。

现有的解决方法（如细粒度数据过滤或基于置信度的静态重加权）通常依赖昂贵的离线计算或静态启发式规则，无法适应训练过程中模型状态的动态变化。

2. 方法论 (Methodology)

作者提出了一套统一的理论框架和具体的 DEFT 算法：

2.1 统一的目标函数框架：变形对数族 (Deformed-Log Family)

作者基于 Tsallis $q$ -对数，将 Token 级别的 SFT 目标统一为一个单参数族：
$\mathcal{L}_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$
其中 $p$ 是目标 Token 的预测概率， $\alpha$ 是聚焦指数（Focus Index）。

当 $\alpha \to 0$ 时，退化为标准 NLL（ $-\log p$ ）。
当 $\alpha = 1$ 时，退化为线性概率损失（ $1-p$ ）。
梯度结构：该目标的梯度可以分解为 门控（Gate）× 误差（Error） 的形式：
$\nabla \mathcal{L}_\alpha \propto \underbrace{p^\alpha}_{\text{Gate } G(p)} \times \underbrace{(1-p)}_{\text{Error}}$
这里的门控项 $G(p) = p^\alpha$ 决定了模型在多大程度上信任当前的预测。 $\alpha$ 控制着门控的开启程度： $\alpha$ 越小，门越开（覆盖更多低概率样本）； $\alpha$ 越大，门越关（抑制低概率样本，强化高概率样本）。

2.2 优化 - 熵对偶性 (Optimization-Entropy Duality)

理论分析表明，聚焦指数 $\alpha$ 的选择对应于优化过程中优先降低的广义熵类型：

$\alpha \to 0$ 对应香农熵（Shannon Entropy），侧重于信息获取和覆盖（Exploration）。
$\alpha \to 1$ 对应 2 阶 Tsallis 熵（碰撞熵），侧重于分布锐化和利用（Exploitation）。

2.3 动态信任门控：Cayley 变换

为了解决单一静态 $\alpha$ 无法同时满足“低置信度覆盖”和“高置信度锐化”的矛盾，作者推导了一个状态依赖的聚焦轨迹 $\alpha^*(p)$ 。

边界条件：
- 当 $p \to 0$ （不确定）时， $\alpha \to 0$ （恢复 NLL 行为，确保覆盖）。
- 当 $p \to 1$ （确定）时， $\alpha \to 1$ （恢复线性损失行为，最大化锐化）。
几何推导：利用费舍尔 - 拉奥（Fisher-Rao）距离和Cayley 变换，将不确定性半径映射到聚焦指数，得到闭式解：
$\alpha^*(p) = \frac{1 - \sqrt{1-p}}{1 + \sqrt{1-p}}$
该轨迹在信息论上等价于归一化误差惊讶度（Normalized Error Surprisal）的双曲正切函数。

2.4 DEFT 算法实现

由于在训练过程中无法直接获知理想的 $\alpha^*(p)$ （因为它依赖于目标概率 $p$ ，而 $p$ 本身是动态的且受噪声影响），作者提出了 DEFT：

核心思想：使用模型整体分布的集中度（Distribution-level Concentration）作为 $\alpha$ 的代理。
具体实现：使用 Rényi-2 熵（即分布的碰撞概率 $\sum p_i^2$ $\sum p_{i}^{2}$ ）来动态调节聚焦指数：
$\alpha_{\text{DEFT}}(c) = \sum_{v \in V} P_\theta(v|c)^2$
- 当模型分布弥散（高不确定性）时， $\alpha_{\text{DEFT}}$ 较小，门控较开，允许模型学习新知识（类似 NLL）。
- 当模型分布集中（高置信度）时， $\alpha_{\text{DEFT}}$ 接近 1，门控变窄，抑制低概率噪声并强化高概率预测。
优势：DEFT 是**无参数（Parameter-free）**的，无需离线过滤或额外超参数，且能自适应模型在不同训练阶段和不同任务域的状态。

3. 主要贡献 (Key Contributions)

统一的目标框架：提出了基于变形对数族的 Token 级 SFT 框架，显式地通过置信度依赖的信任门控来分配学习信号，统一了之前的多种目标函数。
状态依赖的信任门控：利用 Cayley 变换推导出了参数化的聚焦轨迹，在“覆盖”和“锐化”之间实现了平滑插值，解决了 SFT 中的探索 - 利用张力。
DEFT 方法与实证结果：提出了 DEFT 这一实用方法，通过分布级集中度自适应调节聚焦指数。在广泛的实验（涵盖 7 种模型骨干和多个领域基准）中，DEFT 在模型能力强（Model-Strong）、中等（Model-Intermediate）和弱（Model-Weak）三种设定下均取得了最佳或极具竞争力的性能。

4. 实验结果 (Results)

实验在三个主要设定下进行了评估：

Model-Strong（模型强设定）：预训练模型已具备丰富的领域知识（如数学推理）。
- 结果：DEFT 和 Cayley 变换显著优于标准 NLL。NLL 在此设定下容易因过度拟合低概率噪声而导致遗忘，而 DEFT 能有效抑制噪声，同时保持对高置信度知识的锐化。
Model-Weak（模型弱设定）：预训练模型缺乏相关先验知识（如新任务）。
- 结果：DEFT 显著优于基于概率缩放的 $-p$ 方法。 $-p$ 方法因过度抑制低概率 Token 的梯度而阻碍了新知识的注入，而 DEFT 在不确定性高时自动切换为类似 NLL 的行为，确保了学习的有效性。
Model-Mixed（混合设定）：同时包含强先验和弱先验的混合数据。
- 结果：DEFT 在通用任务和数学任务上均取得了最佳平衡，整体平均分最高，证明了其在复杂分布下的鲁棒性。
泛化性（OOD）：在数学领域微调后迁移到医疗领域测试，DEFT 表现出更强的跨域泛化能力，减少了灾难性遗忘。

5. 意义与影响 (Significance)

理论深度：文章从信息几何和广义熵的角度，深刻揭示了 SFT 中梯度分配的本质，将 NLL 和概率损失统一在一个框架下，并给出了动态切换的理论依据。
实用价值：DEFT 提供了一种简单、无参数且高效的 SFT 优化方案。它不需要昂贵的数据清洗或复杂的超参数搜索，即可显著提升模型在微调阶段的性能，特别是在处理噪声数据和平衡新旧知识时。
解决核心矛盾：成功缓解了 SFT 中“保留稳健先验”与“学习新知识”之间的矛盾，为大模型在特定领域的落地应用提供了更优的优化策略。

总结来说，这篇论文通过引入动态熵门控机制，让模型学会“何时该大胆学习，何时该谨慎巩固”，从而在监督微调中实现了更优的探索与利用平衡。