🤖 AI

When Agents Say One Thing and Do Another: Validating Elicited Beliefs from LLMs

本文提出了一种决策理论框架，用于验证大语言模型所 elicited 的概率信念与其决策之间的一致性，结果表明，尽管即使是性能最强的模型在其陈述的信念与实际行动之间也存在细微差异，但这些信念并非驱动其选择的信息的完美总结。

原作者： Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在聘请一位擅长诊断患者的医学顾问。你向他们询问关于特定患者的两件事：

猜测：“该患者患有某种特定疾病的概率百分比是多少？”
行动：“基于你所知，我们应该怎么做？是进行治疗、让他们回家，还是进行更多检查？”

本文提出了一个简单却棘手的问题：顾问的“猜测”是否真的与其“行动”相符？

有时，人们（或人工智能）会说一套做一套。也许顾问说：“我对这是该疾病的把握只有 60%，”但随后他们却表现得仿佛有 99% 的把握，立即建议进行高风险手术。或者，他们表现得十分谨慎，尽管声称自己非常有信心。

本文的研究人员构建了一个“真相探测器”，以观察大型语言模型（LLM）——即那些智能 AI 聊天机器人——是否保持一致。他们不仅检查了 AI 的数学计算是否正确，还检查了 AI 的言辞（其陈述的信念）是否真正解释了其选择。

“黑盒”侦探工作

研究人员将 AI 视为一个“黑盒”。他们无法窥探其大脑内部以了解其思考过程。他们只能看到输出结果：AI 口头说出的概率，以及它做出的决策。

为了测试 AI，他们使用了两个主要的“试金石”，可以通过以下类比来理解：

1. “无额外秘密”测试（条件独立性）

想象 AI 是一位撰写报告的侦探。

信念：报告写道：“我认为嫌疑人有罪的可能性为 80%。”
行动：侦探逮捕了嫌疑人。

如果这份报告是侦探所知一切内容的完整总结，那么一旦你读到了"80% 的把握”这一部分，通过查看逮捕决定就不应再获得任何新信息。逮捕决定应完全由这 80% 的把握来解释。

发现：研究人员发现，对于许多 AI 模型而言，"80%"这个数字并非全部真相。即使在得知 AI 说了"80%"之后，观察 AI做了什么（逮捕或未逮捕）仍然会泄露关于患者真实状况的额外信息。

类比：这就像一位天气预报员说：“降雨概率为 50%。”但随后你看到他们正撑着一把厚重的雨伞。如果你只听到了"50%"，你不会期待他们带伞。他们带伞的事实意味着他们“知道”一些比他们所说的更多的东西。AI 的行动揭示了其口头言辞未能捕捉到的隐藏信息。

2. “移动目标”测试（单调性）

想象你在观察交通信号灯。

如果灯是红色（高风险），你停下。
如果灯是黄色（中等风险），你减速。
如果灯是绿色（低风险），你通行。

如果 AI 是一致的，随着其口述的“风险”数值上升，其行动应可预测地转向更谨慎的选择。如果 AI 说风险为 10%，它应采取一种行动；如果它说风险为 90%，它应采取不同的行动。

发现：研究人员检查了随着数值变化，AI 的行动是否朝正确的方向移动。

好消息：对于最强大、最先进的 AI 模型，其行动确实朝正确的方向移动。当 AI 表示风险更高时，它的行动更加谨慎。
坏消息：这种联系并不完美。有时 AI 会说风险很高，却表现得像风险很低，反之亦然。这就像交通信号灯有时在车辆已经行驶时会在不同颜色之间闪烁。

裁决：“接近，但不完美”

本文得出结论，虽然最好的 AI 模型在使其言辞与行动保持一致方面有所进步，但它们尚未达到完美的连贯性。

“近理性”代理：研究人员从数学上证明，如果 AI 通过这些测试，它的行为就仿佛它真正相信自己所言。它的行为就像一个拥有清晰内部信念体系的理性人。
现实检验：大多数模型未能通过“无额外秘密”测试。这意味着 AI 内部的“大脑”掌握着关于患者的更多信息，而不愿将其简化为一个简单的百分比数字。口头陈述的信念是 AI 实际所知内容的不完美总结。

为何这很重要（根据本文）

作者强调，在医学等高风险领域，我们不能仅仅因为 AI 说“我有 90% 的把握”就信任它。

如果 AI 的行动与其言辞不符，我们就无法信任其解释。
本文提供了一种验证这些信念的方法。与其只听 AI 的一面之词，我们可以检查其行为是否证明它确实持有该信念。

简而言之：本文教导我们如何在 AI 代理说一套做一套时识破它们。它表明，虽然最聪明的 AI 模型正越来越接近诚实和一致，但它们的行动中仍隐藏着其口头言辞未能完全揭示的“隐藏想法”。

技术摘要：验证大语言模型所 elicited 的信念

问题陈述

大语言模型（LLMs）正越来越多地被部署于高风险领域，例如医疗诊断，在这些领域中，决策制定需要针对未知结果形成概率性信念。尽管研究人员可以提示大语言模型输出语言化的概率（例如，“疾病 X 的概率为 80%"），但这些输出是否反映了真正驱动模型决策的连贯内部信念，目前尚不明确。模型可能会语言化一个与其决策过程脱节的概率，这可能是由于微调伪影或偏好优化所致，这些因素扭曲了语言化的概率，却未改变底层的决策逻辑。现有工作主要关注校准（即报告概率的准确性），但并未解决所报告的信念是否是支配模型行为的充分统计量这一核心问题。核心挑战在于，在不强假设模型效用函数或无需访问内部表示的情况下，以黑盒方式验证大语言模型所 elicited 的信念是否为其决策提供了有意义的解释。

方法论

作者提出了一种决策理论框架，用于检验 elicited 信念与观测到的决策之间的一致性。该框架基于“近理性”决策者的假设，形式化为受扰动效用最大化者。此类智能体在严格凸正则化项（例如熵）的约束下最大化期望效用，允许随机选择及未观测到的效用成分，这比严格的期望效用最大化更为通用。

该框架依赖于由此形式化推导出的两个可实证检验的条件：

条件独立性（信念充分性）：
- 假设： 如果智能体的行为仅由其主观信念 $P_S(\theta|x)$ 驱动，那么以该信念为条件，应使行为 $A$ 与真实结果 $\theta$ 相互独立。形式上， $A \perp \theta \mid P_S(\theta|x)$ 。
- 检验： 作者使用非参数 k 近邻条件互信息（CMI）检验来检验零假设 $I(A; \theta \mid p) = 0$ 。此外，他们还测量了在已以 elicited 信念 $p$ 为条件的模型中加入行为 $A$ 后，对真实结果的预测提升。如果行为提供了显著的额外预测能力，则信念不是充分统计量。
循环单调性（行动引导信念）：
- 假设： 对于受扰动效用最大化者，从 elicited 信念到选择概率的映射必须相对于期望效用指数呈循环单调。在二元状态设定中，这意味着随着正态状态 elicited 概率的增加，选择在该状态下更有价值的行为的概率必须单调增加。
- 检验： 作者将 elicited 概率分箱，并估计各箱内的选择份额。他们构建了一个带符号边界的线性规划（SignedLP），以寻找满足跨箱严格单调性的效用差向量 $d$ 。正统计量 $\hat{\gamma}$ 表示严格单调性；负值则表示违反。

该框架应用于四个医疗诊断任务（结构性心脏病、糖尿病、儿童发热和婴儿啼哭），使用了来自真实世界记录和专家构建的贝叶斯网络的数据集。该研究评估了多个大语言模型家族（GPT-5 变体、DeepSeek-R1、Llama-4），通过在独立上下文窗口中 elicited 信念和决策以避免污染。

主要贡献

黑盒验证的形式化框架： 本文首次引入了形式化的决策理论条件，用于检验 elicited 的大语言模型信念是否与其行为相一致。关键在于，这些检验对智能体的效用函数不可知，仅依赖于受扰动效用最大化的结构。
必要且充分条件： 作者证明（命题 5），条件独立性和循环单调性联合构成了观测到的信念与行为分布可由持有 elicited 信念作为其真实主观概率的受扰动效用最大化者所理性化的必要且充分条件。
实证验证协议： 本研究将这些理论条件操作化为实用的统计检验（CMI 和 SignedLP），可应用于任何黑盒大语言模型。
一致性类型的区分： 该工作区分了决策理论一致性（信念引导行动）与概率一致性（遵守如迭代期望定律等公理），表明它们是不同的属性。

结果

不完美充分性： 在所有模型和数据集中，条件独立性检验均拒绝了零假设。Elicited 信念并非充分统计量；模型的行为包含关于真实结果的残余信息，这些信息未在其语言化的概率中体现。这表明模型“知道得比它说的多”，或者其决策相关信息未完全在 elicited 信念中传达。
单调性基本成立： 循环单调性检验显示，对于大多数模型 - 数据集组合，elicited 信念与行为之间的关系是单调的。具体而言，16 个组合中有 9 个表现出严格单调性（正的 $\hat{\gamma}$ ），仅有一个（Fever–Llama）出现违反。这表明虽然信念并非完美充分，但它们通常能引导决策朝正确方向移动。
模型与领域差异：
- 最强模型： 最强的模型（例如 DeepSeek-R1、GPT-High）表现出信念与行为之间最小的差异，表明它们在观测上更接近具有连贯信念的智能体。
- 领域效应： 糖尿病数据集显示出最弱的单调性，没有任何模型显示出严格正的边界。
校准无法解决充分性问题： 对 elicited 信念应用等渗校准改善了边际校准，但未能恢复条件独立性，证实充分性失效是结构性的，而不仅仅是校准问题。
内部一致性： 使用迭代期望定律（LIE）进行的检验揭示，概率一致性（遵守概率公理）并不一定与决策理论一致性相一致。在决策一致性检验中表现良好的模型，在概率一致性检验中未必表现良好。

意义与主张

本文主张，大语言模型 elicited 的概率是决策相关信息的不完美但具有行为信息量的摘要。作者认为，尽管模型并未表现得仿佛持有完全连贯的信念（如充分性失效所证明），但对于最先进模型而言，这些差异相对较小。

这项工作的意义在于提供了一种原则性的黑盒方法，用于验证大语言模型的语言化置信度是否为其决策提供了可信的解释。这对于医疗等高风险领域的安全性和透明度至关重要。作者强调，他们的检验并不能证明模型在哲学意义上“真正”持有某种信念，而是表明该模型在观测上与持有该信念的理性智能体无法区分。因此，本文结论认为，elicited 信念应经过实证验证，而不应被假定为忠实代表模型信念，这为开发者提供了一种诊断工具，以理解失效模式（例如，区分医疗智能体中的过度自信与成本感知问题）。