💬 NLP

Popular but Wrong: Understanding and Mitigating LLM Overconfidence through Knowledge Popularity

本文揭示了大型语言模型在错误答案具有高流行度或与查询高度共现时会表现出过度自信，并证明了引入知识流行度信号能有效缓解这种过度自信，同时显著提高置信度估计的准确性。

原作者： Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在服务器集群静谧的嗡鸣声中，一种新型的智能已经出现，它能够创作诗歌、求解方程，并以一种近乎人类的流利程度回答问题。这些大型语言模型是在浩如烟海的文本上训练出来的，通过识别人类知识中的模式，学习预测句子中的下一个词。但问题在于：这些机器并不像我们那样真正“了解”事实。它们没有对世界的记忆，只有一种关于哪些词通常会出现在一起的统计学感知。当它们不确定时，往往不会承认。相反，它们经常以绝对的确定性产生错误的答案，研究人员将这种现象称为“过度自信”。对于任何依赖这些工具进行安全、医疗或金融领域工作的人来说，这是一个关键问题，因为一个自信的谎言比一个犹豫的真相要危险得多。科学家们核心的问题在于，为什么这些模型如此深信自己的错误。这是一种随机的故障，还是在它们学习的过程中存在某种隐藏的模式，导致它们对错误的事情深信不疑？

一个研究小组致力于通过研究“流行度”的概念来调查这个谜团。他们想知道，模型是否仅仅是在偏好那些在其训练数据中著名或频繁出现的答案，即使这些答案对于所提出的特定问题是错误的。为了测试这一点，他们专注于一种特定类型的任务：关于现实世界实体的客观事实问题，例如询问谁导演了某部特定的电影，或者某位篮球运动员出生在哪里。他们收集了数千个此类问题，并将正确答案与模型生成的错误答案进行了对比。他们通过计算互联网上有多少链接指向这些人或地点，以及他们在书面文档中共同出现的频率，来衡量涉及对象的“流行度”。这种方法使他们能够观察模型是否在向着最熟悉的名称而非正确答案靠拢。

研究人员发现，当这些模型犯错时，它们的错误绝非随机的。模型并不会猜测晦涩或不太可能的名称，而是倾向于幻觉出比正确事实更受欢迎的答案。例如，如果一个模型不知道一部知名度较低的电影的导演，它更有可能自信地命名一位它见过多次的著名导演，而不是一个随机的无名氏。此外，模型经常选择那些经常出现在问题所在句子中的答案，即使这种联系是不正确的。一个模型可能会通过命名制片人来回答关于电影导演的问题，仅仅因为这两个角色经常在文章中被共同提及。研究发现，这些流行但错误的替代选项不仅常见，而且是模型最信任的选项。即使答案是错误的，模型也会为流行的、听起来熟悉的响应分配比为较不著名的正确响应更高的置信水平。

这一模式在不同类型的提问和不同规模的模型中都成立，表明这些系统处理知识的方式存在根本性的缺陷。研究人员发现，一条信息在训练数据中被重复的次数越多，模型生成它的可能性就越大，其置信度也就越高，无论它是否是针对特定查询的正确答案。这创造了一个危险的反馈循环：最熟悉的错误答案被视为最可能的真相。研究强调，显著的领域知识差距与更强的流行度偏差生成相关，这意味着当模型对特定主题了解较少时，它们更有可能依赖于熟悉但错误的关联。研究结果揭示了流行度与过度自信之间存在强烈的系统性关联，尽管研究人员指出，这些是相关关系而非因果关系，这意味着它们展示了清晰的联系，但并未证明仅靠流行度就导致了过度自信的预测。

为了解决这个问题，研究人员开发了一种方法，帮助模型识别其置信度何时可能放错了地方。他们创建了一个系统，在接受模型的置信度评分之前，会先考察答案的流行度以及问题与答案之间的关系。通过将答案的流行度以及它与问题的出现频率纳入考量，该系统可以在模型对一个流行但可能错误的答案过于笃定时，将其置信度向下调整。当他们在六个不同的模型上测试这种方法时，结果令人瞩目。模型对其错误答案的平均置信度大幅下降，从高达 0.765 降至 0.254。与此同时，模型置信度的整体准确性显著提高，这意味着模型变得更擅长于识别自己何时是对的，何时是错的。

研究结论指出，流行度是人工智能过度自信的关键驱动因素。模型不仅仅是在猜测；它们是在沿着通往最熟悉名称和关联的最省力路径前进。通过理解这种偏差，可以构建更好的防护机制，防止这些系统在实际出错时表现得权威。研究人员指出，虽然他们的工作侧重于关于特定实体的客观事实问题，但这一原则很可能延伸到模型可能偏好常见模式而非特定事实的其他领域。他们还承认，他们的流行度衡量标准是基于公开的互联网数据，这作为模型在训练期间所见内容的代理指标，并且他们发现的关系是强相关而非已证实的因果关系。尽管如此，利用这些流行度信号来平息机器的过度自信，为使这些强大的工具在日常使用中更加可靠和值得信赖提供了一个切实可行的步骤。

技术摘要：流行但不正确：通过知识流行度理解并缓解 LLM 的过度自信

问题陈述

大语言模型（LLMs）经常表现出过度自信，即为错误的答案分配极高的生成概率。虽然现有研究已经证实 LLM 往往存在校准失准的问题，但驱动这种过度自信的具体因素仍未得到充分理解。先前的研究主要关注“基于事实真相侧”的流行度（即正确答案在训练数据中出现的频率）来解释模型何时成功。然而，这种方法无法解释为什么模型会自信地生成错误答案。本文认为，答案正确性与分配的置信度之间的不匹配，源于 LLM 所学习到的知识的频率结构，具体而言是生成答案本身的流行度，而非仅仅是事实真相的正确性。

研究方法

任务与数据

本研究侧重于源自 Wikidata 三元组（主体、关系、客体）的以实体为中心的实事问答（QA）。模型通过给定主体和关系来生成客体。

数据集： 使用了由前人研究（Yuksekgonul et al., 2023）构建的三个数据集，涵盖了电影（导演）、歌曲（表演者）和篮球（球员出生地）。这些数据集在知识流行度和模型准确度方面各不相同。
模型： 实验针对六个 LLM 进行，包括开源模型（Llama 3-8B, Qwen2-7B, Qwen2.5-7B/14B/32B）和黑盒模型（ChatGPT/GPT-3.5-Turbo）。

知识流行度指标

由于无法获取训练数据，作者使用外部统计数据作为知识频率的代理指标：

实体流行度 ($Pop$)： 通过指向特定实体的维基百科页面链接数（sitelinks）来衡量。
共现计数 ($RPop$)： 通过问题实体与答案实体共同出现的维基百科文档数量来衡量。
定义的信号：
- $Pop_Q$ ：问题实体的流行度。
- $Pop_{GT}$ ：事实真相答案的流行度。
- $RPop_{GT}$ ：问题与事实真相之间的共现程度。
- $Pop_{Ge}$ ：生成答案的流行度。
- $RPop_{Ge}$ ：问题与生成答案之间的共现程度。

分析与校准方法

相关性分析： 作者使用偏 Spearman 相关系数，分析了这些流行度信号与模型置信度（定义为 Token 生成概率的几何平均值）之间对于正确和错误预测的关系。
校准策略： 为了缓解过度自信，作者提出了一种感知流行度的置信度估计器。
- 模型： 一个轻量级的多层感知器（MLP）将模型的原始置信度 ( $c$ ) 和流行度信号 ( $p$ ) 作为输入，以预测事实真相的正确性 ( $y$ )。
- 信号： 系统测试了单个信号（ $Pop_Q, Pop_{Ge}, RPop_{Ge}$ ）以及组合设置。
- 自生成流行度： 为了减少对外部语料库的依赖，作者还探索了使用 LLM 自身来估计流行度信号 ( $\hat{Pop}$ )。

核心发现

1. 幻觉是非随机且流行的

当 LLM 产生幻觉时，它们并不会生成任意的错误答案。相反，它们倾向于生成满足以下特征的答案：

比事实真相答案更流行 ( $Pop_{Ge} > Pop_{GT}$ )。
与问题实体的关联度比事实真相更强 ( $RPop_{Ge} > RPop_{GT}$ )。
这种模式在模型事实召回率较低的领域（如篮球数据集）中最为显著，表明当知识稀缺时，模型会默认转向全局流行或高共现的实体。

2. 流行度驱动错误中的置信度

即使在答案错误的情况下，生成的答案的流行度与其被分配的置信度之间也存在强正相关关系。

错误预测： 置信度受问题-答案共现度 ( $RPop_{Ge}$ ) 和答案流行度 ( $Pop_{Ge}$ ) 的强烈驱动。
正确预测： 置信度普遍较高，因为正确的答案通常涉及高度流行且关联性强的知识，这使得相关性难以被检测出来，因为方差较低。
规模效应： 增加模型规模（例如从 7B 增加到 32B 参数）并不能消除这种相关性；大型模型在面对流行但错误的答案时依然表现出过度自信。

3. 通过流行度信号进行缓解

引入知识流行度信号可以显著改善置信度校准：

降低过度自信： 当使用所有流行度信号时，错误答案的平均置信度 ( $Conf_w$ ) 从 0.765（原始概率）降至 0.254。
校准质量： 期望校准误差（ECE）从 0.356 降至 0.050。
对齐性： 正确区分正确与错误答案的能力（对齐性）从 77.08% 提升至 83.72%。
信号有效性： 在单个信号中， $RPop_{Ge}$ （问题-答案共现度）是最有效的独立预测因子。
自生成信号： 使用 LLM 估计流行度信号也能提高校准效果，尽管其增益略低于使用外部语料库的情况。

重要性与主张

本文声称提供了一个对“流行但不正确”现象的系统性理解，揭示了过度自信不仅是知识检索的失败，更是一种对熟悉、高频实体的系统性偏见。

机制： 研究结果表明，LLM 对错误答案分配高置信度，是因为这些答案拥有强大的流行度信号（高实体频率或与查询的高共现性），模型将这些信号解读为正确性的标志。
实际效用： 本研究证明了这些流行度信号可以作为一种后验校准机制。通过显式建模流行度与正确性之间的关系，可以在不需要访问内部模型状态或进行重新训练的情况下，大幅降低过度自信并提高基于置信度的决策可靠性。
局限性： 作者谦虚地指出，其发现是相关性的而非因果性的，且研究局限于闭卷、以实体为中心的实事问答。该结论在开放式生成或复杂推理任务中的适用性仍是一个悬而未决的问题。

总之，本文认为知识流行度是 LLM 过度自信的一个关键且此前未被充分探索的因素，并且考虑到生成答案的流行度，为实现更好的校准模型提供了一条可行的路径。