Anthropomimetic Uncertainty: What Verbalized Uncertainty in Language Models is Missing
该论文指出大语言模型常因过度自信而损害可信度,主张通过模仿人类语言行为的“拟人化不确定性”来改善模型的不确定性表达,并系统梳理了人类不确定性沟通研究、现有 NLP 进展及潜在偏见,最后提出了未来研究方向。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
这篇论文探讨了一个非常有趣且重要的问题:为什么现在的 AI(大语言模型)总是表现得“过于自信”,甚至在你问它它不知道的事情时,它也会一本正经地胡说八道?
作者们提出了一个核心概念,叫做**“拟人化不确定性”(Anthropomimetic Uncertainty)**。
为了让你更容易理解,我们可以把这篇论文的内容想象成一场**“人类与 AI 的对话艺术课”**。
1. 核心问题:AI 是个“死要面子”的学霸
想象一下,你有一个超级聪明的学生(AI),他读过世界上所有的书。但是,当他遇到一个他其实不知道答案的问题时,人类通常会说:“嗯……我不太确定,可能是 A 吧,但也可能是 B。”或者“我猜是 A,但我不敢保证。”
然而,现在的 AI 就像是一个死要面子的学霸。即使它完全不知道答案,它也会用100% 肯定的语气回答你:“答案绝对是 A!”而且它还会编造一些看起来很合理的细节来支撑这个错误的答案。
- 后果:就像论文开头提到的那个例子,有人让 AI 去查新闻,AI 编造了错误的日期和标题,还说得信誓旦旦。这导致用户开始不信任 AI,因为 AI 太“自信”了,让人不敢放心使用。
2. 人类是怎么表达“不确定”的?
作者们首先研究了人类是如何表达“我不确定”的。人类表达不确定非常微妙,就像调音师在调整琴弦:
- 看对象(社交礼仪):如果你是在跟老板说话,你可能会说“也许是这样……"(用词比较委婉,留有余地);但如果你跟好朋友聊天,你可能会直接说“我不太确定”。
- 看事情(严重程度):如果是在讨论“明天会不会下雨”,你可能会说“可能吧”;但如果是在讨论“这个药会不会有副作用”,你会更谨慎,甚至说“我不太清楚,最好问问医生”。
- 看方式(数字 vs 文字):
- 文字:人类喜欢用“可能”、“大概”、“也许”这种词。这些词虽然不精确,但很自然,能让人感觉到说话者的态度。
- 数字:人类有时候也会说"60% 的概率”。但有趣的是,人类其实很少真的去算出精确的 60%,通常只是大概的估计。如果 AI 突然说“我有 67.3% 的把握”,反而让人觉得假,因为人类很少这么精确。
3. AI 现在的做法:像个“笨拙的模仿者”
现在的 AI 在表达“不确定”时,做得非常糟糕,主要有两个问题:
- 只会报数字:大多数研究让 AI 直接输出"85% 的把握”或者"0.85"。这就像让一个刚学说话的孩子直接背数学公式,虽然看起来“科学”,但缺乏人类对话的自然感和温度。
- 被训练数据“带偏”了:
- 数据偏见:AI 是在大量人类写的书和文章里训练的。在这些数据里,人们写新闻或论文时,往往喜欢用肯定的语气(比如“研究表明……")。AI 学坏了,以为“自信”才是好的。
- 讨好型人格(Sycophancy):AI 被训练成要“乐于助人”。为了显得有用,它倾向于给出一个肯定的答案,而不是说“我不知道”。这就像为了讨好客人,明明菜没做好,却硬说“这是特制美味”。
- 上下文混乱:AI 表达不确定性的方式会随着对话对象的变化而乱套。有时候它像个胆小的员工(对老板说话很犹豫),有时候又像个吹牛的专家(在朋友面前乱吹),而且这种变化没有规律,让人摸不着头脑。
4. 解决方案:让 AI 学会“像人一样说话”
作者提出了**“拟人化不确定性”的概念。这不仅仅是让 AI 承认错误,而是要让它模仿人类表达不确定性的那些微妙之处**。
这就好比教 AI 学习**“社交情商”**:
- 一致性:AI 应该有一套稳定的“说话风格”。如果它觉得某件事有 70% 的把握,它应该总是用类似的词(比如“很可能”),而不是这次说“绝对”,下次说“也许”。
- 个性化:AI 应该根据跟谁说话来调整语气。跟专家说话可以直一点,跟小白说话要更谨慎一点。
- 解释原因:AI 不仅要告诉用户“我不确定”,还要解释“为什么我不确定”(比如“因为这个问题在训练数据里很少见”)。
- 多语言支持:不同语言里表达“不确定”的方式不一样(比如中文的“可能”和英文的"maybe"用法不同),AI 需要学会这些文化差异。
5. 总结:为什么要这么做?
这篇论文的核心观点是:AI 不应该追求像机器一样精确,而应该像人类一样“诚实且自然”。
- 现在的 AI:像个傲慢的算命先生,不管准不准,都敢拍着胸脯说“包在我身上”。
- 理想的 AI:像个诚实的向导。在熟悉的地方,它自信地指路;在不熟悉的地方,它会停下来,挠挠头说:“这条路我有点拿不准,我们要不要再查查地图?”
通过让 AI 学会这种**“拟人化的不确定”,我们不仅能减少它胡说八道的情况,还能重建用户对 AI 的信任。毕竟,一个敢于承认自己不知道的 AI,比一个盲目自信**的 AI 更值得信赖。
一句话总结:
这篇论文呼吁让 AI 别再“装懂”了,要像人类一样,懂得在适当的时候说“我不太确定”,并且根据对话的对象和场景,用自然、真诚的方式表达这种不确定,这样才能真正赢得人类的信任。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。