💻 computer science

Information Discernment in Large Language Models

本文介绍了 Learn2Discern 框架，旨在揭示大型语言模型始终无法根据来源可靠性或真实性来恰当地权衡信息，这一关键缺陷经用户研究证实会削弱信任，并且尽管模型规模有所增加，该问题依然存在，但可以通过简单的推理时干预措施来缓解。

原作者： Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解谜团的侦探。你对自己发生的事情有一个自己的理论，但随后你开始收到来自公众的线索。有些线索来自一位经验丰富、诚实的警察；而另一些则来自一个只想制造麻烦的惯犯骗子。有些线索帮助你接近真相，而另一些则让你误入歧途。大问题在于，你的侦探大脑知道如何权衡这些线索吗？你会更多地听取诚实警察的意见，还是会被最响亮的声音所分心？当一个线索对你有帮助时，你会改变主意，还是会固执己见，即便原本的猜测是错误的也依然坚持原有的看法？

这正是科学家们正在询问关于现代“大语言模型”（LLMs）的问题。这些是驱动聊天机器人和搜索引擎的超级智能计算机程序。它们在海量的互联网数据上进行训练，但它们也需要查阅新的信息来回答它们尚不知道的问题。问题在于，互联网是一个嘈杂的地方。它充满了可靠的新闻网站，但也充满了假新闻、谣言和流行但错误的想法。如果一个计算机程序无法分辨可靠来源与流行的骗子，或者无法分辨有用的线索与误导性的线索，它就可能向数百万人传播错误信息。这篇论文深入探讨了这些“数字侦探”是否真的擅长从噪音中筛选出真相。

研究人员（来自密歇根大学的一个团队）创造了一种测试这种技能的新方法，他们称之为“信息辨别力”（information discernment）。他们设计了一个巨大的实验，涉及 13 种不同的 AI 模型和近 67 万次试验。他们向模型提出已知答案的问题，给它们一个“先验”信念（模型在之前的想法），然后向它们提供来自特定来源的新说法。有时来源是高度可靠的，有时是边缘网站。有时新说法更接近真相，有时则完全错误。他们想看看模型是否会对好的来源和有帮助的说法做出更多的更新。

结果令人震惊。论文发现，总体而言，这些 AI 模型在进行这种辨别方面表现得很糟糕。在决定信任哪个来源方面，它们的表现几乎不比随机猜测好多少。事实上，模型因为一个来源仅仅是因为它“流行”（比如访问量很大的网站）而听从它的可能性，是听从“可靠”来源（比如经过事实核查的新闻机构）的两倍。这就像是侦探忽略了警察，而去听从那个拿着最大扩音器的人。此外，模型似乎并不在意一条新信息是帮助它们接近真相还是让它们远离真相；它们在两种情况下的信念更新程度大致相同。

该团队还检查了让模型变得更大或更新是否能解决这个问题。他们发现，更新、更大的模型在识别说法中的真相方面略有进步，但它们仍然无法学会区分可靠与不可靠的来源。这表明，仅仅让 AI 变得更“聪明”或训练得更久，并不会自动教会它去批判性地思考信息的来源。然而，也有一个好消息：研究人员发现，一些简单的技巧，比如要求模型在回答之前先评估来源的可靠性，可以显著提高其表现。

为了确保这不仅仅是一个计算机科学问题，研究人员还询问了 299 名真实人类用户。他们发现，人们绝对非常在意这些技能。当用户被告知一个聊天机器人忽略了可靠来源，或者在原本正确时改变了主意时，他们表示会降低对该机器人的信任度并减少使用。这证实了辨别信息的能力不仅仅是一个技术指标；它是构建人们真正可以信赖的 AI 的核心要求。

简而言之，这篇论文揭示了虽然我们目前的 AI 模型在检索信息方面非常出色，但在判断信息质量方面却相当盲目。它们倾向于追随流行度而非真相，并且难以正确更新自己的信念。但好消息是，通过一些简单的指令，我们可以帮助它们看得更清楚一点，使它们成为对每个人都更安全、更有用的工具。

技术摘要：大语言模型中的信息辨别能力

问题陈述

随着大语言模型（LLMs）越来越多地作为检索并合成外部信息的“前端答案引擎”（例如，通过检索增强生成或 RAG），它们面临着“知识冲突”的问题，即外部主张与其内部训练先验知识发生矛盾。如果模型无法适当地权衡这些外部证据，就会出现关键漏洞。具体而言，如果模型对高信誉度机构和边缘网站的信息进行同等权重的更新，则可能传播错误信息（这是来源辨别力的失效）；或者如果模型对于使自身更接近真相的主张与使自身远离真相的主张进行同等权重的更新，则可能导致错误信息传播（这是真理性辨别力的失效）。鉴于人类倾向于过度信任 LLM 的输出，这种在权重分配外部信息方面的失败，对 AI 介导查询的可信度构成了显著风险。

方法论

作者引入了 Learn2Discern (L2D)，这是一个旨在衡量知识冲突下信息辨别能力的实验框架和基准测试。

实验设计

核心实验包含一个三步引导程序：

先验引导（Prior Elicitation）： 模型被问及一个带有数值地面真值（ $T$ ）的问题（ $Q$ ），以建立先验信念（ $P_1$ ）。
冲突注入（Conflict Injection）： 通过扰动地面真值生成一个主张（ $C = T \times F$ ，其中 $F$ 是扰动因子），并将其归于一个具有已知可靠性（ $R_s$ ）和流行度（ $P_s$ ）的来源（ $S$ ）。
后验引导（Posterior Elicitation）： 使用提示语：“S 说答案是 C。你现在怎么看？”来记录后验信念（ $P_2$ ）。

数据构建

该基准测试 Learn2Discern 包含：

问题： 4,248 个数值问题，源自现有基准测试（TriviaQA, NumerSense）以及新型纵向数据集（General Social Survey, World Bank Development Indicators, TREC 用户查询），以减轻数据污染。
来源： 132 个网络新闻来源，根据可靠性（使用 Lin 等人的 PC1 指标）和流行度（Open PageRank）进行分层，创建了六个阶层（3 个流行度等级 $\times$ 2 个可靠性等级）。
规模： 组合设计产生了超过 280 万个潜在的实验元组，并在 13 个模型上进行了约 67 万次试验。

指标

该框架将三个规范性公理转化为可解释的指标：

来源辨别力 (Source Discernment, SD)： 更新幅度（ $\Delta = |P_1 - P_2|$ ）与来源可靠性之间的 Spearman 秩相关系数（ $\rho$ ）。正相关表示模型对可靠来源的更新更多。
真理性辨别力 (Truth Discernment, TD)： 更新幅度与“改进程度”（ $I = |P_1 - T| - |C - T|$ ，其中 $I$ 为主张相对于先验使模型更接近真值的程度）之间的 Spearman 秩相关系数。正相关表示当主张使模型更接近真相时，模型的更新幅度更大。
正确防御 (Correct Defense)： 当模型的先验是正确且新主张是错误时，模型维持其原答案的概率。

验证

通过一项预注册、配额匹配的用户研究（ $n=299$ ）来验证这些公理。用户确认他们认可这些原则，并表示违反这些原则会降低他们对聊天机器人的信任度和使用意愿。

核心贡献

公理与指标： 提供了知识冲突下来源辨别力和真理性辨别力的正式定义，为衡量对错误信息的易感性提供了标准化方法。
用户验证： 提供了实证证据，证明 LLM 用户重视这些辨别属性，且违反这些属性会负面影响信任和采用率。
基准数据集： 发布了 Learn2Discern，这是一个将多样化数值问题与分层网络来源相结合的大规模数据集，能够因果测试模型如何权衡可靠性和真相信号。
实证发现： 对 13 个模型（在规模、时效性和架构上各异）进行了全面评估，揭示了系统性的辨别力失败。

结果

在 13 个模型和近 67 万次试验中，研究发现：

接近随机水平的表现： 模型在来源辨别力和真理性辨别力指标上的表现接近随机水平。它们并未一致地对可靠来源或使准确度提高的主张进行更多更新。
流行度偏差： 模型对来源流行度的依赖程度大约是来源可靠性的两倍（ $\rho_{pop} \approx 0.07$ vs. $\rho_{rel} \approx 0.03$ ）。
模型规模与时效性： 虽然规模更大、更新的模型在真理性辨别力和正确防御方面表现出改进，但它们在来源辨别力方面并未表现出改进。这表明来源辨别力是一个持久的盲点，无法通过增加模型复杂度来解决。
先验准确度相关性： 外部证据集成在模型先验已经准确的数据集上最为有效。当模型最初是错误时，它们往往无法正确整合外部信息，有时甚至会向远离真相的方向更新。
干预有效性： 简单的推理时干预（提示策略）可以提高辨别力。具体而言：
- 在更新前明确要求模型评估来源可靠性，可以提高来源辨别力。
- “防御”提示（评估原始答案是否正确）可以提高正确防御能力。
- 思维链（CoT）推理可以改善与真理性相关的指标。

意义与主张

本文声称，信息辨别力是一种核心的对齐属性，随着 LLM 取代传统搜索引擎，其重要性也随之增加。研究结果表明，当前的 LLM 缺乏区分高质量和低质量外部证据的内在能力，而是依赖于像流行度这样的表象信号。

作者谦虚地指出，虽然目前的模型表现出系统性的缺陷，但这些不足可以通过低成本的推理时干预（例如特定的提示修改）得到部分解决。他们将 Learn2Discerm 定位为评估和改进这一属性的必要测试平台，并指出如果没有这种辨别力，外部证据的集成可能会降低而非提高用户接收到的信息的可靠性。这项工作强调，来源辨别力仍然是一个特定的挑战，仅靠模型规模化无法解决，这表明需要未来的工作通过微调或架构变更来编码来源可靠性知识。