💬 NLP

Generalization of Fine-Tuned Uncertainty Communication and Metacognition in Large Language Models

本文表明，监督式微调可以提高大语言模型表达不确定性的能力，并使置信度与准确性保持一致，尽管这些元认知能力的提升在不同领域间的泛化效果优于在不同置信度评估格式间的泛化效果，而多任务训练则提供了最稳健的泛化能力。

原作者： Mark Steyvers, Catarina Belem, Padhraic Smyth

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Mark Steyvers, Catarina Belem, Padhraic Smyth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的机器人朋友，它可以回答你提出的几乎任何问题。问题在于，这个机器人有时会出错，但它从不承认。无论是在谈论法国的首都在还是在谈论关于外星人的虚构事实时，它都用同样响亮、自信的声音进行回答。这是很危险的，因为如果你信任它那自信的声音，你可能会做出错误的决策。

这篇论文在问：我们能否教会这个机器人说出“我不确定”或“我挺有把握的”，并且让这种表达方式与它的正确率真正相匹配？

研究人员尝试“训练”这个机器人（具体来说是两个流行的 AI 模型），让它变得更具自我意识。以下是他们的发现，通过简单易懂的方式进行了解释：

1. 测试“自我意识”的两种方式

为了观察机器人是否在学习，研究人员使用了两种不同的游戏：

“信心评分”游戏： 机器人回答一个问题，并给出一个 0 到 100% 的数字来表示它有多确定。
- 目标： 如果机器人说“90% 确定”，那么它应该在 90% 的情况下是正确的。
“选哪一个？”游戏： 给机器人展示两个问题。它必须挑选出它认为自己能够正确回答的那一个。
- 目标： 它应该挑选它知道答案的问题，并跳过那个它在瞎猜的问题。

2. 训练方法：“熟能生巧”

研究人员不仅仅是告诉机器人“要更诚实”。相反，他们给了它大量的练习题。

他们把同一个问题问了机器人 10 遍。
如果机器人在 10 次中给出了 9 次相同的答案，他们就会教它：“你的表现很一致，所以你应该非常有信心。”
如果机器人在 10 次中给出了 10 个不同的答案，他们就会教它：“你很困惑，所以你应该信心不足。”
然后，他们要求机器人根据这种模式来预测自己的信心水平。

3. 好消息：它学会了诚实（大部分情况下）

经过这种训练后，机器人在将信心与实际准确率匹配方面做得更好。

训练前： 机器人就像一个过度自信的学生，每次考试都拿“A”，但实际上只掌握了一半的知识。即使在错误的情况下，它也会说“95% 确定”。
训练后： 机器人变得更像是一个谨慎的专家。当它知道答案时，它会说“90% 确定”；当它在瞎猜时，它会说“40% 确定”。
神奇之处： 这种技能不仅停留在它练习过的学科上（如数学或常识）。它还帮助机器人在面对新的、困难的主题时（如医疗建议和法律问题），也能表现得更加诚实。这意义重大，因为这意味着即使机器人没有针对这些特定案例进行专门训练，它在严肃场合下也更值得信赖。

4. Bad News：技能并不总是可以迁移

这里变得棘手了。研究人员发现，擅长一种游戏并不意味着会自动擅长另一种游戏。

“评分” vs. “选择”： 如果他们训练机器人给出一个数字（例如“75%”），它会非常擅长给出数字。但当要求它玩**“选哪一个？”**游戏时，它并没有变得更好。
反之亦然： 如果他们训练它玩**“选哪一个？”游戏，它会擅长挑选正确的问题，但在被要求给出具体的数字**时，它仍然做不好。

类比： 想象一名篮球运动员，他非常擅长罚球（给出数字）。你专门针对罚球对他进行训练，他在罚球方面变得极其出色。但如果你让他去打防守（挑选正确的对手进行防守），他并不会因此变得更好。这些技能是相关的，但它们属于不同的肌肉。

5. 解决方案：“全能型”训练

研究人员尝试了最后一件事：他们同时对机器人进行两种游戏的训练。

结果： 这效果好得多。机器人学会了一种“通用的自我意识”，这有助于它在数字游戏和选择游戏中都能表现出色。它变成了一个在各方面都更加灵活、可靠的思考者。

核心结论

我们可以教会 AI 知道自己在瞎猜吗？ 可以。
它在新的主题上有效吗？ 有效。它能帮助 AI 在处理医疗和法律问题时更加诚实，即使它主要是在常识和数学方面接受的训练。
它是完美的吗？ 不完美。教 AI 给出一个信心评分，并不一定会教会它如何比较两个问题，反之亦然。
解决方法： 要获得最好的结果，你必须同时对 AI 进行多种类型的“自我检查”任务的训练。

简而言之，这篇论文表明，AI 可以学会更好地判断自己的知识水平，但它需要多样化的训练“食谱”才能有效地做到这一点。这不仅仅是记忆事实，而是学习如何以人类可以真正信任的方式说出：“我知道这个”，或者“我不确定”。

技术摘要：大语言模型中微调后的不确定性通信与元认知的泛化

问题陈述

大语言模型（LLMs）正越来越多地应用于法律、医学和教育等高风险领域。这些领域的一个关键局限在于，模型往往以极高的置信度生成事实错误的信息，从而误导缺乏明确不确定性信号的 pengguna。虽然 LLM 可能保留了内部不确定性信号（例如，Token 似然度或采样一致性），但它们往往无法以校准且可解释的方式显式地表达这些信号。目前的显式置信度报告通常与答案正确性对齐不良，而隐式度量（如基于采样的一致性）则需要访问内部概率或会产生高昂的计算成本。本文解决的核心问题是：监督微调是否能提高 LLM 传达不确定性的能力，以及这种元认知能力的提升是否能在不同的知识领域和不同的元认知任务格式之间实现泛化。

研究方法

模型与数据集

研究使用了两个具有代表性的模型：GPT-4.1-mini 和 Llama3.1-70B-Instruct。

训练领域： 使用了三个数据集进行微调：MMLU-PRO（专家级多项选择题）、GSM8K（小学数学）和 TriviaQA（简答类常识知识）。这些数据集被单独使用，也进行了组合使用（M+G+T）。
领域外评估： 使用了三个专门用于测试泛化能力的保留数据集：TruthfulQA（误解类）、MetaMedQA（医学推理）和 LegalBench（法律推理）。

元认知任务

评估了两种互补的任务：

单问题置信度估计： 模型在提供答案的同时提供一个数值置信度分数（0–1）。性能通过校准度（预期校准误差，ECE）和判别力（曲线下面积，AUC 以及答案级元信息， $meta-I^2_{r,ans}$ ）来衡量。
成对置信度比较： 给定两个问题，模型选择它更有可能回答正确的一个。性能通过 AUCc（与参考一致性得分的对齐程度）和 AUCa（与实际答案正确性的对齐程度）来衡量。

微调程序

作者采用使用基于一致性的不确定性信号作为训练目标的监督微调。

目标生成： 对于每个训练问题，生成 $N=10$ 个独立的样本。根据与众数答案匹配的样本比例计算一致性得分。
校准： 对于单问题任务，将一致性得分映射到经验准确率（事实校准）以创建目标置信度值。在这些目标中加入了少量的噪声，以防止模型记忆离散的区间并鼓励更平滑的报告。
训练变体： 模型针对以下任务进行了微调：
- 单问题置信度 (S)。
- 成对比较 (C)。
- 两项任务联合训练 (C+S)。

评估指标

校准度 (ECE)： 衡量陈述的置信度与观察到的准确率之间的差距。
判别力 (AUC)： 衡量正确答案获得更高置信度的概率高于错误答案的程度。
元信息： 量化在给定模型的置信度区间时，关于答案正确性的不确定性减少程度。

核心贡献与结果

1. 训练领域内的提升

监督微调显著提高了训练领域内的校准度和判别力。

校准度： 微调大幅降低了 ECE（例如，GPT-4.1-mini 在领域内测试中的 $\Delta ECE = -0.57$ ）。模型从过度自信、聚集的预测转向了与经验准确率相符的更广泛的置信度值范围。
判别力： AUC 显著增加（例如， $\Delta AUC = 0.17$ ），表明模型变得更擅长为正确答案分配更高的置信度，为错误答案分配较低的置信度。
准确率： 至关重要的是，整体答案准确率保持稳定 ( $\Delta Accuracy \approx 0$ )，这证实了判别力的提升是由于更好的不确定性估计，而非由于事实正确性的提高。

2. 跨领域的泛化

在组合数据集 (M+G+T) 上微调的模型在评估领域外基准测试（TruthfulQA, MetaMedQA, LegalBench）时，表现出了改进的校准度和判别力。

虽然增益小于领域内提升，但具有统计学意义 ( $\Delta AUC = 0.05$ , $\Delta ECE = -0.03$ )。
这表明，关于不确定性通信的元认知技能可以迁移到陌生的内容和答案格式，包括复杂的医学和法律推理任务。

3. 元认知任务间的有限迁移

一个关键发现是两个元认知任务之间缺乏双向迁移。

仅在单问题置信度上进行微调的模型，在成对比较任务上没有表现出改进。
仅在成对比较上进行微调的模型，在单问题置信度估计上也没有表现出改进。
这表明，绝对估计和相对排序被学习为不同的元认知例程，而非同一个底层不确定性信号的不同表达。

4. 多任务微调的益处

多任务微调 (C+S) 产生了比单任务训练更广泛的泛化效果。

同时在两个任务上训练的模型在跨领域评估中表现出优于单任务模型的性能。
例如，在 MetaMedQA 上，多任务模型实现了比单任务模型更高的 AUC 和更低的 ECE。
这表明，联合训练有助于促进部分共享的不确定性内部表示的发展，从而弥合了孤立元认知例程之间的差距。

5. 模型架构差异

虽然 GPT-4.1-mini 和 Llama-3.1-70B 都表现出相似的趋势，但也存在细微差别。Llama-3.1-70B 从用于单问题任务的多任务训练中受益，但在多任务微调下的成对比较性能较单任务比较训练略有下降。这暗示，通过多任务训练形成共享不确定性表示的能力可能会因模型架构而异。

6. 消融实验

事实校准： 包括将一致性得分映射到经验准确率的步骤，显著提高了校准度（降低了过度自信），但并未显著改变判别力 (AUC)。
噪声注入： 向目标置信度值添加噪声并未改变聚合性能指标，但显著增加了模型报告的置信度值的多样性，防止了仅输出离散、整数输出的问题。

意义与主张

论文声称，LLM 中的不确定性通信是可训练的，但如果不进行特定干预，元认知任务之间的迁移是有限的。

可训练性： 使用基于一致性信号的监督微调有效地将陈述的置信度与观察到的准确率对齐，解决了高风险应用中过度自信错误的风险。
领域泛化： 这些改进可以迁移到未见的领域（医学、法律），表明不确定性通信并非严格受限于特定的知识库。
任务特异性： 本研究挑战了元认知技能是单一整体的假设。单任务训练无法迁移到其他元认知格式的现象表明，LLM 学习的是针对不同不确定性评估类型的不同“例程”。
多任务解决方案： 论文认为，多任务微调是一种可行的策略来克服这些局限性，能够促进更广泛泛化的共享不确定性表示。

作者总结道，尽管他们的发现很有前景，但其局限性在于仅限于两个模型家族和特定的任务。他们呼吁在更多样化的模型家族和更广泛的元认知任务（例如，弃权、错误检测）上进行进一步测试，以充分理解这些共享不确定性表示的泛化性。