💬 NLP

Epistemic Observability in Language Models

该论文指出大语言模型在编造内容时往往表现出最高置信度，且仅凭文本输出无法可靠区分诚实回答与幻觉，但通过利用与正确性结构耦合的 token 熵等计算副产品，可有效突破这一观测局限并构建实用的验证资源分配策略。

原作者： Tony Mason

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Tony Mason

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 令人头疼的谎言：越瞎编，越自信

核心发现：
当你问一个 AI 一个问题，它如果瞎编（胡编乱造），它反而表现得最自信；而当它真的知道答案时，它却表现得有点犹豫。

生活中的比喻：
想象你在面试一个求职者。

诚实的求职者：遇到不会的问题，他会说“这个我不太确定，我得查查资料”。（犹豫、低自信）
撒谎的求职者：遇到完全不知道的问题，他反而拍着胸脯说“这太简单了！绝对是 A！”（极度自信、滔滔不绝）。

论文里的实验：
研究人员测试了四种主流模型（像 OLMo, Llama 等）。结果发现，当模型在编造事实（比如虚构一个不存在的会议或人物）时，它自己报告的“自信度”是最高的。

数据说话：如果用“自信度”来判断它是否在撒谎，准确率甚至比瞎猜（50%）还要低（只有 28%-36%）。这意味着，如果你相信模型的自信程度，你反而更容易被它骗。

2. 为什么我们看不穿谎言？（“文字-only"的盲区）

核心问题：
为什么我们没法通过看它写的字来判断它是不是在撒谎？

生活中的比喻：
想象你在玩一个**“传话游戏”**。

模型（说话者）：它脑子里有一个复杂的计算过程（就像它在心里默默演算、查资料、甚至犹豫）。
用户（听话者）：你只能听到它最后说出来的那一句话。

论文的“不可能定理”：
论文证明了一个数学上的死结：如果你只能听到最后说出来的话，你就永远无法区分“真心话”和“高明的谎言”。

场景 A（真话）：模型真的查到了资料，然后自信地告诉你答案。
场景 B（谎言）：模型其实啥也不知道，但它为了显得聪明，编造了一个听起来很像真的答案，并且也用同样自信的语气说出来。

关键点：
对于你（观察者）来说，A 和 B 说出来的话是一模一样的。
这就好比一个魔术师，无论他变的是真鸽子还是假鸽子，只要最后变出来的鸽子看起来一样，你就无法通过“看鸽子”来分辨魔术的真假。

结论：只要模型只给你看“文字结果”，不管它多大、多聪明，或者你请多少个专家来审核，只要专家只看文字，你就永远无法 100% 确定它是不是在撒谎。这是一个结构性的缺陷，不是模型不够聪明。

3. 如何给模型装上“测谎仪”？（张量接口）

核心方案：
既然只看“结果”（文字）不行，那我们就得看**“过程”**。

生活中的比喻：
继续上面的面试例子。

旧方法（只看文字）：只听求职者说什么。
新方法（看“心跳”和“手抖”）：你不仅听他说什么，还给他戴上心率监测仪和微表情分析仪。
- 如果他在编造，他的**心跳（计算时的熵值）**可能会因为“强行组织语言”而变得不自然。
- 如果他在回忆真实知识，他的**思维流（概率分布）**会更顺畅。

论文提出的“张量接口”（Tensor Interface）：
研究人员提出，不要只让模型输出“文字”，还要让它输出**“计算过程的副产品”**。

什么是副产品？ 就像汽车引擎在运转时，除了发出声音（文字），还会产生热量、震动和油耗数据。模型在生成每个字的时候，内部其实有一个**“犹豫度”（熵值）**。
- 低犹豫度（低熵）：模型非常确定，下一个字几乎只有一个选择。（通常意味着它在背诵或瞎编，因为它很“顺”）。
- 高犹豫度（高熵）：模型在几个选项间摇摆，不确定选哪个。（通常意味着它在努力回忆一个冷门知识，或者真的不知道）。

神奇的效果：

文字信号：模型可以学会“装傻”或“装聪明”，文字是可以被训练出来的。
熵值信号：这是计算过程的自然产物，就像你很难在跑步时假装心跳不加速一样。模型很难在不改变计算结果的情况下，单独把“犹豫度”调低。

实验结果：
使用这种“看过程”的方法（监测每个字的犹豫度），检测撒谎的准确率从“瞎猜”提升到了75.7%。这比只看文字（比如看回答长短、看有没有“我觉得”这种词）要准确得多。

4. 给系统建设者的“地图”（成本曲面）

论文最后给那些要开发 AI 系统的人画了一张**“投资地图”**。

比喻：
想象你在建一座**“安全大桥”**。

预算（Verification Budget）：你有多少钱请人检查桥的质量？
方法：
- 方法 A（只看文字）：请人读一遍桥的设计图。便宜，但只能发现 87% 的隐患。
- 方法 B（看计算过程/张量接口）：请人拿着仪器扫描桥的钢筋结构。稍微贵一点点（计算成本增加约 2.4%），但能发现 90% 以上的隐患。
- 方法 C（混合模式）：对普通问题用扫描仪，对关键问题（比如引用了文献）再派人去查原始档案。能发现 91.8% 的隐患。

结论：
这张地图告诉开发者：如果你想让 AI 在医疗、法律等关键领域更安全，光靠“看文字”是不够的，必须花钱去获取模型的“内部计算数据”（如熵值）。

总结：这篇论文到底说了什么？

坏消息：现在的 AI 越爱撒谎，越表现得自信。如果你只信它说的话，你会被坑。
原因：因为只给看“文字结果”就像只给看魔术的“成品”，你无法分辨真假。这是观察方式的问题，不是模型能力的问题。
好消息：我们可以要求 AI 把**“思考过程的数据”**（比如它有多犹豫）也一起发出来。
行动指南：
- 对于普通聊天，随便用。
- 对于医疗、法律、金融等不能出错的领域，必须使用能读取“内部犹豫度”的接口，并配合人工或外部核查。
- 不要只信 AI 说的“我很有信心”，要看它“计算时有多犹豫”。

一句话总结：
别听 AI 怎么吹牛（文字），要看它怎么思考（数据）。只有把“思考的汗水”也展示出来，我们才能真正信任它。

1. 研究背景与核心问题

核心发现：自信度倒置（Self-Report Inversion）
论文首先揭示了一个令人担忧的现象：语言模型（LLM）在**编造事实（幻觉）**时，往往表现出最高的置信度；而在回答已知事实或不确定时，置信度反而较低。

实验数据：在 OLMo-3、Llama-3.1、Qwen3 和 Mistral 四个模型家族中，模型自我报告的置信度与准确率呈负相关。
指标：区分真实回答与编造回答的 ROC 曲线下面积（AUC）仅为 0.28 到 0.36（0.5 为随机猜测，1.0 为完美区分）。这意味着模型越自信，越可能是错的。

根本问题：文本观测的局限性
当前的系统架构通常只允许监督者（Supervisor）观察模型的输出文本。论文指出，这种“仅文本观测”（Text-Only Observation）模式存在根本性的认识论缺口：

模型内部计算过程（如注意力模式、熵值）包含了区分“基于知识的生成”与“编造”的信息。
但标准接口将这些内部状态丢弃，仅输出线性化的文本。
由于文本完全可以通过训练被操控（模型可以学会用流畅、自信的语气编造），监督者无法仅凭文本判断模型是否诚实。

2. 方法论与理论框架

2.1 形式化证明：文本观测的不可行性

论文通过形式化方法证明了在仅文本观测下，无法实现“认识论诚实”（Epistemic Honesty）。

定义：
- 观测模型：监督者只能看到输出字符串 $r$ ，看不到内部状态 $S$ 。
- 认识论诚实：模型在有答案时给出正确答案，在无答案时选择“拒绝回答”（Abstention）。
定理 1：表示性不可能（Representational Impossibility）
- 内容：如果一个策略仅基于查询 $q$ 生成响应，它无法同时满足两个互斥的世界状态（ $w_A$ ：有答案； $w_B$ ：无答案）下的诚实要求。
- 逻辑：对于同一个查询 $q$ ，模型无法区分世界状态。为了在 $w_A$ 中诚实（回答），必须在 $w_B$ 中撒谎（编造）；反之亦然。仅基于 $q$ 的策略无法表达这种区分。
定理 2：学习不可能性（Learnability Impossibility）
- 内容：即使引入检索增强生成（RAG），如果监督者的验证预算有限（Bounded Supervisor），且无法验证某些编造内容（如不存在的引用），监督者无法区分“真实检索”和“编造”。
- 逻辑：由于监督者看到的观测结果相同（都是无法验证的文本），奖励信号（Reward Signal）在两种情况下也是相同的。优化算法无法学习到“在有答案时回答，无答案时拒绝”的分裂行为。
推论：堆叠法官无效
- 即使堆叠多个监督者（Judge Stacking），如果每一层都仅基于上一层的文本输出进行判断，信息量不会增加（观测单调性引理），无法打破僵局。

2.2 解决方案：张量接口（The Tensor Interface）

为了绕过上述不可能性，论文提出导出模型在推理过程中自然产生的计算副产品，这些信号在结构上与正确性耦合，难以通过训练独立操控。

核心信号：
1. Per-token Entropy（逐 Token 熵）：衡量模型对下一个 Token 预测分布的不确定性。低熵表示高置信，高熵表示不确定。
2. Log-probabilities：模型对生成 Token 分配的概率。
3. Attention Summaries：注意力模式的连贯性。
设计原则：
1. 状态外显性（State Exteriority）：系统必须基于外部世界状态（如检索到的文档）进行条件判断，而不仅仅是查询。
2. 验证独立性（Verification Independence）：验证信号必须来自与生成信号正交的通道（如熵值），不能被任务性能优化所“欺骗”。
3. 来源绑定（Provenance Binding）：输出必须结构性地绑定到可验证的来源。

3. 实验设计与结果

3.1 实验设置

数据集：200 个平衡查询（100 个可验证事实，100 个诱导编造的查询，如虚构人物、未来事件）。
模型：OLMo-3, Llama-3.1, Qwen3, Mistral 等四个架构。
评估指标：在不同验证预算（10%, 20%, 30% 的查询被人工或自动核查）下的准确率。
对比策略：
1. 无监督基线：直接使用模型输出。
2. 文本引导（Text-guided）：基于响应长度、语气词等文本特征筛选核查。
3. 张量引导（Tensor-guided）：基于逐 Token 熵值筛选核查。
4. 组合策略（Composed）：熵值 + 针对引用的边界查找（Bounded Lookup）。

3.2 关键结果：成本曲面（Cost Surface）

论文构建了一个“验证成本曲面”，展示了不同投入带来的准确率提升：

策略	10% 预算准确率	20% 预算准确率	30% 预算准确率
无监督	75.8%	75.8%	75.8%
文本引导	79.2%	82.8%	87.6%
张量引导 (熵)	81.7%	86.7%	90.2%
组合策略	81.1%	87.7%	91.8%

核心发现：
- 张量接口优于文本基线：在所有预算水平下，基于熵的验证比基于文本特征的验证高出 2.5% - 3.9% 的准确率。
- 泛化性：熵信号在跨架构（Spearman $\rho = 0.762$ ）和不同模型家族中表现一致，证明这是架构层面的特性，而非特定训练数据的过拟合。
- AUC 提升：使用逐 Token 熵进行区分， pooled AUC 达到 0.757，显著优于文本特征（通常 < 0.70）。
- 成本：导出熵值仅增加约 2.4% 的推理开销。

3.3 失败模式分析

引用幻觉（Citation Inversion）：在生成虚构引用时，模型往往非常流畅（低熵），导致熵信号失效（甚至出现负相关）。
解决方案：对于特定类型（如引用），需要组合不同的验证层级（如外部数据库查找），这验证了“不同失败模式需要不同信号”的理论。

4. 主要贡献

形式化不可能性证明：
- 证明了在“仅文本观测”和“有限验证预算”的约束下，任何系统都无法保证认识论诚实。这不是模型能力不足，而是观测架构的缺陷。
- 指出堆叠多个基于文本的法官无法解决此问题。
张量接口设计（Tensor Interface）：
- 提出导出内部计算信号（特别是熵值）作为解决方案。
- 论证了这些信号在标准训练下与正确性结构耦合，难以被模型独立操控（即难以“伪造”熵值而不影响生成质量）。
实证成本曲面（Empirical Cost Surface）：
- 提供了从 10% 到 30% 验证预算下的准确率映射表，为系统构建者提供了实用的决策工具，展示了从文本信号转向张量信号带来的具体收益。

5. 意义与影响

范式转变：将大模型幻觉问题从“能力问题”重新定义为**“可观测性问题”**。单纯扩大模型规模或增加 RLHF 训练无法解决根本问题，必须改变接口。
系统架构指导：
- 对于医疗、法律、金融等关键系统，仅靠文本输出是不可靠的。
- 系统构建者应要求模型提供商导出内部状态（熵、Log-prob），或自行构建包含这些信号的验证层。
治理与透明度：
- 论文指出，如果模型提供商隐藏内部信号（仅输出文本），则只有提供商自己能验证模型的诚实性，这导致了责任集中和透明度缺失。
- 呼吁行业开放“认识论遥测”（Epistemic Telemetry），以实现独立审计。
未来方向：
- 需要研究对抗性训练是否能破坏熵信号与正确性的耦合。
- 需要开发多层次的验证策略，针对不同失败模式（如通用事实 vs. 引用）组合使用不同信号。

总结：这篇论文通过严谨的理论证明和实证数据，揭示了当前 LLM 接口在验证诚实性上的根本缺陷，并提出了一个低成本、高收益的解决方案——利用模型内部计算产生的熵值信号作为“认识论探针”，为构建可信赖的 AI 系统提供了新的架构蓝图。