Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution
该论文提出通过让大语言模型生成包含所有可能答案的口头化概率分布来提升置信度估计的可靠性，实验表明该方法结合思维链推理，在多种任务和模型上均优于现有基线，并能显著降低达到最优性能所需的计算成本。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文探讨了一个非常有趣的问题：当人工智能（AI）回答问题时，我们怎么知道它是不是在“瞎蒙”？而且，我们怎么让它诚实地说出自己有多少把握？
想象一下，你正在和一个非常博学但偶尔会犯迷糊的“超级顾问”聊天。
1. 核心问题：AI 的“盲目自信”
现在的 AI（大语言模型）很厉害，能写诗、能解题。但就像我们人类一样，它们也会犯错。
- 传统做法的缺陷：以前，如果 AI 不确定，它可能会直接说“我不确定”，或者给出一个数字分数（比如“我有 80% 的把握”）。但研究发现，AI 经常过度自信。哪怕它完全猜错了，它也可能信誓旦旦地说“我有 99% 的把握”。这就好比一个学生做数学题，明明算错了，却拍着胸脯说“这题太简单了，我绝对没错”。
- 后果：在医疗、法律或金融这些高风险领域，如果 AI 盲目自信地给出了错误建议，后果不堪设想。
2. 论文的新招：让 AI“把底牌全摊开”
为了解决这个问题，作者提出了一种新方法，叫**“口头化概率分布”（Verbalized Probability Distribution）**。
我们可以用一个生动的比喻来理解：
旧方法（Verbalized Confidence）：
就像让 AI 只猜一个答案，然后说：“我猜是 A，我有 90% 的把握。”- 问题：AI 可能根本没想过 B、C、D 也是可能的。它只盯着 A 看，所以显得特别自信，哪怕 A 其实是错的。
新方法（Verbalized Probability Distribution）：
作者要求 AI 像下棋高手一样思考。它不能只猜一个，必须列出所有可能的答案，并给每个答案分配一个“可能性分数”，而且这些分数加起来必须等于 100%（就像分蛋糕一样，切完必须分完）。- 比喻：这就好比 AI 在说：“我觉得 A 是对的，可能性 60%；B 有点像，可能性 20%；C 有点牵强，可能性 15%；D 完全不可能，5%。”
- 关键点：为了做到这一点，AI 被迫重新思考整个问题。它必须考虑：“如果 A 不对，那 B 有没有可能？”这种“全盘考虑”的过程，迫使 AI 更加谨慎，不再盲目自信。
3. 为什么这个方法有效？
论文通过实验发现，这种方法有两个神奇的效果：
强迫“三思而后行”：
当 AI 被要求给所有选项打分时，它就像是一个正在做全面体检的医生，而不是只盯着一个症状看。它必须权衡所有可能性，这自然降低了它“瞎自信”的概率。- 比喻：以前是“先射箭再画靶子”（先猜个答案，再强行解释为什么对）；现在是“先画靶子再射箭”（先分析所有情况，再决定哪支箭最准）。
不仅更准，还更省资源：
论文还发现，用这种方法，AI 在推理时表现更好。甚至在某些情况下，为了达到同样的准确度，它需要的计算量（算力）比传统方法少了6 倍！- 比喻：就像以前为了找到宝藏，需要把整个岛翻个底朝天（计算量大）；现在有了新方法，AI 能更聪明地规划路线，用更少的力气找到宝藏。
4. 实验结果：小模型也能变强
作者测试了各种大小的 AI 模型（从小的到大的）。
- 发现：即使是那些“脑子”没那么大的小模型，只要用了这个“摊开底牌”的方法，它们的判断力也能大幅提升，甚至接近大模型的水平。
- 强化学习（RL）的加持：作者还训练了 AI，让它学会这种“摊牌”的思维方式。结果显示，经过训练的 AI 不仅更诚实，而且在面对从未见过的新问题时，也能保持这种诚实和准确。
5. 局限性：不是万能的
当然，这个方法也不是完美的。
- 什么时候不管用？ 如果问题本身非常死板，只有一个绝对正确的答案（比如纯数学计算，步骤错了就是错了，没有中间地带），让 AI 去猜“其他可能性”反而会让它困惑。
- 比喻：就像做数学题"1+1=?"，你不需要列出"1+1=3"的可能性。但在问“明天会下雨吗？”这种开放问题时，列出各种可能性就非常有用。
总结
这篇论文的核心思想就是：不要让 AI 只盯着一个答案死磕，让它把脑子里所有的可能性都列出来，并诚实地给每个可能性打分。
这就好比让一个学生考试时，不要只写一个答案，而是把解题思路、备选方案都写出来。这样，老师（人类用户）不仅能看到最终答案，还能看到学生思考的深度和对自己答案的把握程度。如果学生说“我有 90% 把握，但我还留了 10% 给另一个选项”，那我们就知道，这个学生是真的懂，而不是在瞎蒙。
这种方法让 AI 变得更透明、更可靠，是未来让 AI 安全进入我们生活（比如看病、理财）的重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。