Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models
本文表明，通过在单语数据上训练的线性探测器，可以在无需重新训练的情况下，有效地估计大型语言模型在多种未见语言中的置信度，从而揭示了多语言大语言模型编码了集中在其中间层的共享且可迁移的置信度特征。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明、精通多种语言的机器人，它可以回答几十种语言的问题。但就像任何人类一样，这个机器人有时也会在意识不到的情况下编造事实（这个问题被称为“幻觉”）。我们需要一种方法来知道这个机器人是在自信地回答，还是仅仅在瞎猜。
这篇论文讲述了如何教机器人学会“信任自己的直觉”，即使我们只针对一种语言对其进行了这种训练。
核心问题：“仅限英语”的盲点
大多数关于如何让 AI 产生信心的研究都只关注英语。但现实世界是多语言的。作者们注意到一个令人担忧的差距：如果我们不知道机器人在日语或俄语中的信心程度，我们可能会对错误的答案也给予同样的信任。
现有的方法在切换语言时往往会失效。这就像是一个测谎仪，在面对说英语的人时表现完美，但当你开始说法语时，它就完全失灵了。
解决方案：“共享信心室”
研究人员基于先前的研究有一个直觉：在这些大型 AI 模型内部，存在一个不同语言汇聚的“共享房间”。尽管机器人说法语、俄语和日语，但其大脑的中部部分会以类似的方式处理单词的“含义”，而不管是什么语言。
他们问道：如果机器人知道自己在法语中很有信心，那么它是否也知道自己在俄语中很有信心，即便我们从未教过它俄语的信心？
实验：“轻量级翻译器”
为了测试这一点，他们构建了一个微小且简单的工具，称为线性探针（linear probe）。你可以把这个探针想象成一个非常简单的翻译器或“信心计”。
- 训练： 他们使用仅有的法语数据来训练这个计。他们向计展示法语的问题和答案，并让它学习观察机器人的内部“想法”（隐藏状态）来预测：这个答案是对还是错？
- 测试： 然后，他们关闭了法语训练，并让机器人回答西班牙语、波兰语、俄语和日语的问题。
- 结果： 这个计在从未见过俄语或日语数据的情况下，表现得惊人地好！它能够观察机器人在这些新语言中的内部想法，并判断：“嘿，这个答案看起来不太靠谱，”或者“这个看起来很扎实。”
“中间层”的发现
这个魔力发生在机器人大脑的哪个位置？
研究人员发现，“信心信号”存在于 AI 的中间层。
- 类比： 想象 AI 是一个多层的办公大楼。
- 底层是处理原始单词（字母、脚本）的地方。
- 顶层是写出最终答案的地方。
- 中间层是“共享会议室”。在这里，机器人不再以“法语”或“日语”思考，而是开始进行纯粹的“概念”思考。
- 研究人员发现，当信心计倾听这个中间会议室里的声音时，效果最好。
效果如何？
- 并非完美： 这个计在处理与法语相似的语言（如西班牙语）时表现最好，而在处理差异较大的语言（如日语）时效果略有下降。这是预料之中的，就像法语使用者理解西班牙语比理解日语要容易一样。
- 优于其他方案： 即便存在这种性能下降，他们这个简单的“法语训练”信心计，在表现上仍优于许多试图在不重新训练的情况下猜测信心的复杂方法。
- 校准（Calibration） vs. 判别（Discrimination）：
- 判别： 这个计擅长区分正确答案和错误答案（就像一个优秀的测谎仪）。
- 校准： 它也擅长了解自己应该有多大的信心（例如，在实际正确率为 90% 时，能够说出“我有 90% 的把握”）。
总结
这篇论文证明了，在这些 AI 模型中，信心是一个通用的特征。你不需要为了了解机器人在每种新语言下是否在撒谎而重新训练整个机器人。你只需要接入那个所有语言都重叠的“共享中间层”。
通过这种方式，我们可以为所有人（而不只是英语使用者）提供一种检查机器人信心的方法，从而朝着让 AI 变得更安全、更可靠的目标迈出了重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。