Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs
该论文通过构建新数据集系统评估了不同不确定性来源（如知识缺失、输出变异性及输入歧义）对大语言模型不确定性量化方法的影响，发现现有方法在单一知识局限场景下表现良好，但在多源不确定性共存时性能显著下降或产生误导，从而强调了开发能明确区分并处理不确定性来源的量化方法的必要性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇文章就像是在给大语言模型（LLM）做一场“体检”，专门检查它们在面对不同情况时，到底有没有搞清楚自己“知不知道”、“能不能答”以及“该不该乱猜”。
简单来说，以前的研究只关心一个指标：“模型对自己答案的自信程度有多高？”（比如给个 0 到 1 的分数）。但这就像只问司机：“你觉得自己开得稳吗？”却不管他是因为路太黑（不知道）、路况复杂（有多种走法）还是导航指令模糊（问题没问清楚）才觉得不稳。
这篇论文发现：如果不分清“为什么不确定”，光看“自信分数”是会出大问题的。
下面我用几个生活中的比喻来拆解这篇论文的核心内容：
1. 三种“不确定”的真相（三种不同的迷路）
论文把模型“不知道答案”的原因分成了三类，就像司机迷路有三种不同的原因：
类型一：知识盲区（Model Knowledge Uncertainty）
- 比喻：司机问：“珠穆朗玛峰有多高？”但他脑子里根本没存过这个数据。
- 表现：这是真正的“不知道”。这时候，模型应该诚实地说：“我不知道，别问我。”
- 现状：现有的很多检测方法在这里表现不错，能识别出这种“真不懂”。
类型二：答案多样（Output Variability）
- 比喻：司机问：“请列举一种沙漠里的动物。”
- 表现：骆驼、蜥蜴、沙鼠都可以。这不是模型“不懂”，而是答案本来就不止一个。如果模型每次回答都不同（一次骆驼，一次蜥蜴），现有的检测方法会误以为模型“很混乱、很不确定”，从而给出低分。
- 问题：这其实是健康的多样性，但被误判为“能力不行”。
类型三：问题模糊（Input Ambiguity）
- 比喻：司机问：“那个东西在哪？”（没说是哪个东西，也没说在哪）。
- 表现：问题本身就没说清楚。这时候模型最该做的是反问一句：“您指的是哪个东西？”
- 问题：现有的模型往往太自信了，它们会随便猜一个意思（比如猜成“那个红色的东西”），然后自信满满地回答。这时候，它们的“自信分数”很高，但实际上是在瞎蒙。
2. 他们做了什么？（造了一个“压力测试场”）
为了搞清楚这些检测方法到底靠不靠谱，作者们没有用现成的数据，而是亲手造了一个新数据集。
- 做法：他们像做实验一样，把问题分成了三组：
- 一组是真不知道的问题（比如问一个模型没学过的冷门知识）。
- 一组是有多个正确答案的问题（比如“列举一种水果”）。
- 一组是故意把问题问模糊的问题（比如把“谁在 1990 年获得了冠军？”改成“谁获得了冠军？”）。
- 目的：就像给汽车做碰撞测试，分别测试它在“没油”、“路况复杂”和“导航失灵”三种情况下的反应，看看现有的“自信检测器”能不能分清这些情况。
3. 发现了什么？（体检报告）
他们测试了各种各样的“自信检测器”（有的看概率，有的看回答的一致性，有的让模型自己打分），结果发现：
- 没有万能药：没有一种检测方法能在所有情况下都表现完美。
- 知识盲区时：大部分方法都能工作，知道模型“不懂”。
- 答案多样时：很多基于“一致性”的方法（比如让模型多回答几次，看答案是否一样）会误判。因为答案本来就该不一样，它们却认为模型“不稳定”。
- 问题模糊时：这是最危险的！大多数方法都失效了。模型明明在瞎猜，但检测器却显示它“非常自信”。这就好比一个司机在迷雾中乱开，却还自信地告诉你“我开得稳”，这非常危险。
4. 这意味着什么？（给未来的建议）
这篇论文告诉我们，未来的大模型不能只给一个冷冰冰的“自信分数”。
- 要像医生一样诊断：系统需要能分辨出“我是因为不知道（知识盲区）”、“因为答案很多（多样性）”还是“因为您没问清楚（模糊）”。
- 采取不同的行动：
- 如果是不知道 -> 模型应该闭嘴，或者去查资料。
- 如果是答案多 -> 模型应该列出几个选项，告诉用户“这几个都对”。
- 如果是问题模糊 -> 模型应该反问用户：“您具体指哪一个？”而不是瞎猜。
总结
这就好比我们以前只关心“司机敢不敢开车”，现在这篇论文告诉我们：必须搞清楚司机为什么不敢开（或者为什么敢乱开）。
只有分清“不知道”、“有多种可能”和“没听清指令”这三种情况，我们才能让大语言模型在医疗、法律等关键领域更安全、更靠谱地工作，而不是在模糊的问题面前盲目自信地胡说八道。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。