On Verbalized Confidence Scores for LLMs
本文研究了大语言模型通过置信度分数表达自身不确定性的可靠性，结果表明，尽管效果因提示策略而异，但特定方法能够以较低开销实现校准良好且与模型无关的不确定性量化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在向一位非常聪明、博览群书的朋友寻求建议。有时他们对自己的答案绝对确信，而有时他们只是在猜测。当今大语言模型（LLM）的问题在于，即使它们错了，也往往表现得信心十足。它们就像一位即使完全不知道自己在说什么，也绝不说“我不确定”的朋友。
这篇论文《关于大语言模型的言语化置信度分数》探讨了一个简单的想法：如果我们直接让 AI 告诉我们它有多确定，会怎样？
研究人员并没有去查看 AI 的内部代码，也没有运行它一百次以观察它是否给出相同的答案，而是简单地要求 AI 在其回答中添加一个“置信度分数”，就像说：“答案是 X，我有 85% 的把握。”
以下是他们研究发现的分解，使用了日常类比：
1. 目标：一个“信任计量器”
研究人员希望验证这个“信任计量器”（即置信度分数）是否真的有效。他们需要一个系统：
- 诚实：如果 AI 表示它有 90% 的把握，那么它应该在 90% 的情况下是正确的。
- 灵活：无论提出什么问题或使用哪种 AI 模型，它都应有效。
- 快速：获取该分数不应耗费额外的时间或计算资源。
2. 实验：测试不同的“提问方式”
团队意识到，如何向 AI 提问至关重要。这就像向一个孩子询问猜测。
- 如果你问：“法国的首都是什么？猜一下！”他们可能只会说“巴黎”，并感到自信。
- 如果你问：“法国的首都是什么？猜一下，并在 0 到 100 的尺度上告诉我你有多确定。”他们可能会思考得更深入。
研究人员在11 种不同的 AI 模型和10 种不同类型的问题（如科学常识、逻辑谜题和常识）上，测试了17 种不同的提问措辞（提示词）。
3. 重大发现：这取决于 AI 的“大脑大小”
最有趣的发现是，获得诚实回答的最佳方式取决于 AI 模型有多“聪明”（或规模有多大）。
对于“微型”AI 模型（初学者）：
可以将它们视为仍在学习的学生。如果你给它们一个复杂、花哨且包含大量示例和指令的提示词，它们会感到困惑并开始胡编乱造。- 论文发现： 简单的提示词效果最好。仅仅简单地问它们“你有多确定？”比给它们一长串规则更有效。
对于“大型”AI 模型（专家）：
可以将它们视为博士毕业生。它们拥有大量知识，但可能过于自信。如果你只是简单地询问，即使错了，它们仍可能以 100% 的置信度进行猜测。- 论文发现： 它们需要更复杂的“推动”。研究人员发现，结合多种技术——例如提供几个回答示例、要求它们解释推理过程，并明确指示它们考虑任务的难度——能使它们更加诚实。
- 结果： 使用正确的复杂提示词，这些大型模型产生的置信度分数与其实际成功率之间的误差约为7%。这比单纯猜测有了巨大的改进。
4. “组合”提示词
研究人员为大型模型创建了一个“超级提示词”（称为combo）。这就像给 AI 一份清单：
- 思考这个问题。
- 考虑它有多难。
- 审视你自己的知识。
- 给出你最好的猜测。
- 给出一个概率分数（0.0 到 1.0）。
当他们使用这个“组合”提示词时，大型模型在承认自己不确定方面变得好得多。
5. 这意味着什么（根据论文）
论文得出结论，要求 AI“表达其置信度”是一个非常有力的工具。它是：
- 简单：你不需要窥探 AI 的“大脑”内部。
- 快速：只需生成几个额外的单词即可。
- 有效：如果你知道如何提出正确的问题，AI 就能告诉你它何时在猜测，何时知道答案。
然而，有一个陷阱： 你不能随意用任何方式向任何 AI 提问。你必须量身定制问题。如果你向小型 AI 提出复杂的问题，它会失败。如果你向大型 AI 提出简单的问题，它可能会在自信方面撒谎。但是，只要拥有正确的提示词“配方”，我们就可以让这些模型变得更加可信。
简而言之：AI 可以告诉你它有多确定，但你必须知道如何以正确的方式向它提问，才能获得真实的答案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。