💬 NLP

Confident in a Confidence Score: Investigating the Sensitivity of Confidence Scores to Supervised Fine-Tuning

该论文研究发现，监督微调（SFT）会导致语言模型置信度分数与输出质量之间的相关性下降，主要归因于分数受训练分布相似性等因素的干扰，从而警示现有置信度指标无法直接复用，亟需开发对微调更具鲁棒性的新指标。

原作者： Lorenzo Jaime Yu Flores, Cesare Spinoso di-Piano, Jackie Chi Kit Cheung

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Lorenzo Jaime Yu Flores, Cesare Spinoso di-Piano, Jackie Chi Kit Cheung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且重要的问题：当我们给人工智能（AI）模型“上课”（微调）后，它们对自己答案的“自信程度”还靠谱吗？

想象一下，你有一个聪明的学生（AI 模型），他平时考试（预训练模型）时，如果答对了，他会很自信；如果答错了，他会犹豫。这时候，他的“自信程度”和“答案质量”是匹配的。

但是，当你给他报了一个特训班（监督微调 SFT），专门教他做某种特定的题目（比如翻译或数学题）后，情况可能就会变得很奇怪。这篇论文就是来调查这个“特训班”到底把学生的自信心变成了什么样。

以下是用生活中的比喻对这篇论文核心内容的解读：

1. 核心发现：特训班后的“盲目自信”与“过度谦虚”

论文发现，经过特训（微调）后，AI 对自己答案的“自信评分”和“实际答案质量”之间的联系变弱了，甚至断开了。

概率类指标（像“直觉”）：变得盲目自信
- 比喻：这就好比那个学生特训后，不管题目多难，不管自己是不是真的懂了，只要看到题目像以前做过的，他就敢拍着胸脯说：“这题我肯定对！99% 把握！”
- 现实情况：研究发现，基于“概率”的自信指标（比如计算每个词出现的概率），在微调后往往会让 AI 对错误的答案也表现出极高的自信。就像学生背下了标准答案的“感觉”，却忘了理解逻辑，结果答错了还觉得自己特牛。
一致性指标（像“反复核对”）：变得过度谦虚
- 比喻：另一类指标是让 AI 把同一道题做十遍，看看十次答案是否一致。如果十次答案都不一样，AI 就会说“我不确定”。
- 现实情况：研究发现，这种“反复核对”的方法在微调后，反而让 AI 变得太不自信了。哪怕它答对了，它也会因为一点点细微的差别而犹豫不决，觉得自己可能错了。

2. 为什么会这样？（不仅仅是因为“学得好不好”）

论文深入挖掘了原因，发现 AI 的自信程度不仅仅取决于“答案对不对”，还受到**“这道题像不像我训练时见过的题”**的影响。

比喻：想象你在一个全是红苹果的果园里特训。现在让你去挑苹果，如果你看到一个红苹果，哪怕它是个烂苹果（错误答案），你也会觉得“这跟我见过的苹果很像”，于是你非常自信地把它挑出来。
科学解释：AI 的自信分数，很大程度上取决于输出内容与训练数据的相似度。如果 AI 生成的答案很像它训练时见过的数据，它就会给高分，哪怕这个答案在逻辑上是错的。这就导致了“自信”和“质量”脱节。

3. 后果：盲目使用会出大错

如果开发者直接拿来就用（Off-the-shelf），不经过测试，后果很严重。

场景：假设你用一个 AI 来帮你做医疗诊断或法律建议。
问题：AI 可能会对一个完全错误的诊断给出“高置信度”的评分。
后果：你会因为看到那个高评分而信任它，从而做出错误的决定。论文通过一个问答任务的案例证明，经过微调后，AI 利用自信评分来识别“正确答案”的能力，在接近一半的情况下下降了。

4. 论文的建议：不要“拿来主义”

这篇论文给开发者和用户提了一个醒：

不要盲目信任：你不能随便拿一个现成的“自信度评分工具”就用在你的 AI 模型上。
必须重新测试：每次给 AI 进行微调（特训）后，都必须重新检查它的“自信度”是否还和“答案质量”挂钩。
需要新工具：我们需要开发更聪明的工具，能排除“像不像训练数据”这种干扰因素，真正只根据“答案对不对”来打分。

总结

这就好比给一个学生报了补习班，结果他学会了“装样子”：

遇到像以前做过的题，他就盲目自信（哪怕做错了）；
遇到稍微变通的题，他就过度谦虚（哪怕做对了）。

这篇论文告诉我们：在 AI 领域，自信不等于正确。 在把 AI 投入实际应用前，一定要先看看它是不是在“装自信”，否则可能会闹出大笑话甚至造成损失。

1. 研究背景与问题 (Problem)

不确定性量化 (Uncertainty Quantification, UQ) 是衡量语言模型（LLM）对其输出置信度的一系列技术。这些置信度分数可用于检测幻觉、筛选高质量回答、模型自评估或提示用户审查不确定预测。

核心假设：为了使 UQ 技术有用，生成的置信度分数必须与输出的质量（Quality）高度相关。
现有问题：近期的研究表明，监督微调 (Supervised Fine-Tuning, SFT) 可能会破坏这种相关性，导致模型变得“过度自信”（Overconfident）或“过度不自信”（Underconfident）。
研究缺口：目前的 UQ 指标和工具包通常设计为即插即用（off-the-shelf），适用于任何白盒模型。然而，当模型经过不同方式的 SFT 后，这些指标是否仍能保持与质量的相关性尚不清楚。
研究目标：探究置信度分数与质量之间的相关性对 SFT 的敏感性，并分析导致相关性下降（Mis-correlation）的底层动态机制。

2. 方法论 (Methodology)

2.1 实验设置

任务：机器翻译 (Eng-Afr, NLLB 数据集)、问答 (SQUAD)、数学推理 (GSM8K)。
模型：BART-Base, Flan-T5-Base, Llama 3.1-8B, Gemma-2-2B。
微调策略：在不同样本量（100-2000）和不同训练轮次（Epochs）下进行 SFT，并采用早停（Early Stopping）策略。
评估指标：使用 Spearman 相关系数 ( $\rho$ ) 来衡量置信度分数与输出质量（如 ChrF+, F1, Exact Match）之间的相关性。

2.2 置信度指标 (Confidence Scores)

研究主要关注两类无需额外训练即可使用的指标：

基于概率的方法 (Probability-based)：
- 平均 Token 对数概率 (Avg Tok Prob)
- 平均 Token 熵 (Avg Tok Ent)
- Dropout 熵 (DO Ent)
- 束搜索加权平均 (BS Imp Wt)、比率 (BS Ratios) 和总和 (BS Sums)
基于自一致性 (Self-Consistency-based)：
- 通过 Dropout 采样多个输出，计算其一致性（如 BLEU 方差、KL 散度、METEOR 方差）。
- 组合指标 (CoCoA)：结合概率和自一致性。

2.3 分析框架

RQ1 (敏感性)：测量 SFT 前后、不同 Epoch 和不同样本量下，任务级相关性的变化。
RQ2 (底层动态)：在样本级别分析置信度与质量的变化方向。
- 一致变化 (Concordant)：质量升/降，置信度也升/降。
- 相对过度自信 (Relatively Overconfident)：质量下降，但置信度上升。
- 相对不自信 (Relatively Underconfident)：质量上升，但置信度下降。
- 相对错位 (Relative Miscorrelation)：两个样本 A 和 B，若 $Quality_A < Quality_B$ 但 $Confidence_A > Confidence_B$ ，则发生错位。研究分析导致这种错位的具体原因（是质量排序变了，还是置信度排序变了）。

3. 关键发现与结果 (Key Results)

3.1 相关性对 SFT 高度敏感 (RQ1)

相关性剧烈波动：在 144 种“任务 - 模型 - 指标”配置中，33.3% (48/144) 的情况在 SFT 后相关性显著下降（出现错位），而 66.7% 的情况有所提升。这意味着不能假设 SFT 后的模型自动保留原有的置信度校准特性。
训练轮次 (Epochs) 的影响：相关性随 Epoch 变化剧烈。即使仅增加一个 Epoch，相关性也可能下降高达 0.391 个 Spearman 相关系数点。某些指标（如 Beam Score Ratios）在早期表现好，后期被其他指标（如 Dropout Entropy）超越。
样本量 (Samples) 的影响：微调使用的样本数量显著影响相关性。即使固定训练步数，仅改变样本数量（即改变每个 Epoch 的迭代次数），相关性也会发生显著变化。

3.2 底层动态机制 (RQ2)

概率法倾向于“过度自信”：SFT 后，基于概率的指标（如 Avg Log Probs）倾向于使模型在质量下降的样本上表现出更高的置信度（相对过度自信）。随着 Epoch 增加，平均对数概率普遍向上偏移，无论输出质量如何。
自一致性法倾向于“不自信”：基于自一致性的指标（如 Dropout BLEU Variance）在 SFT 后倾向于使模型在质量提升的样本上表现出更低的置信度（相对不自信）。
错位的主要成因：
- Case 1 (置信度翻转)：样本的质量排序保持不变，但置信度排序发生了翻转。这是最常见的情况（约占错位对的 68.5%）。
- 根本原因：置信度的变化往往不是由输出质量引起的，而是由输出与训练分布的相似度引起的。研究发现，置信度分数与样本和训练数据的余弦相似度之间存在显著的正相关。这意味着模型可能仅仅因为输出“看起来像训练数据”而提高置信度，即使该输出是错误的。

3.3 下游任务影响 (Case Study)

在 TruthfulQA 数据集上测试置信度分数用于判断答案正确性的能力（AUROC）。
结果显示，在 47% (23/48) 的情况下，SFT 后置信度分数识别正确答案的能力下降。
案例：模型在 SFT 后对一个错误答案表现出极高的置信度（相对过度自信），导致下游任务误判。

4. 主要贡献 (Key Contributions)

揭示了 SFT 对置信度校准的破坏性：证明了现有的 UQ 指标在未经测试的情况下直接用于微调后的模型是不可靠的。SFT 参数（Epochs, 样本量）的选择会显著改变指标的有效性。
区分了不同类型的错位机制：
- 概率类指标易受“过度自信”影响（置信度随训练分布相似度上升，而非质量）。
- 自一致性指标易受“不自信”影响。
- 指出了导致错位的主要原因是模型对“训练分布相似性”的响应，而非对“输出质量”的响应。
实证了下游任务的性能损失：通过案例研究证明，如果不解决错位问题，置信度分数在筛选正确回答等下游任务中的实用性会大幅下降。
提出了未来方向：呼吁开发对 SFT 更鲁棒的置信度指标，或者在研究中更好地报告指标的一致性。未来的指标需要能够解耦“输出质量”与“训练分布相似度”的影响。

5. 意义与启示 (Significance)

实践警示：研究人员和开发者不能将置信度指标作为“开箱即用”的工具直接应用于微调后的模型。在部署前，必须针对特定的微调配置（任务、模型、超参数）重新评估和校准置信度指标。
理论洞察：语言模型的置信度不仅仅反映其“知道什么”，还反映了其“见过什么”（训练分布）。SFT 改变了模型对训练分布的拟合程度，从而扭曲了置信度与真实质量的关系。
未来工作：需要设计新的 UQ 方法，能够显式地控制或消除训练分布相似性对置信度的干扰，或者开发能够适应不同微调阶段的动态校准机制。

总结：这篇论文有力地证明了监督微调会显著改变语言模型置信度分数与输出质量之间的相关性，且这种改变往往是不可预测的。这为 UQ 在生成式 AI 中的实际应用敲响了警钟，强调了在微调后重新验证置信度指标的重要性。