🤖 AI

A Unified Definition of Hallucination: It's The World Model, Stupid!

本文提出了一个将幻觉统一定义为用户可观察到的不准确内部世界建模的定义，认为该框架涵盖了先前的定义，通过指定参考世界明确了评估标准，并将幻觉与其他类型的错误区分开来，以促进更好的基准测试和缓解策略。

原作者： Emmy Liu, Varun Gangal, Chelsea Zou, Michael Yu, Xiaoqi Huang, Alex Chang, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Emmy Liu, Varun Gangal, Chelsea Zou, Michael Yu, Xiaoqi Huang, Alex Chang, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明但有点糊涂的机器人玩“传声筒”游戏。你给机器人讲一个故事、一张图片或一套规则，并让它讲述发生了什么。有时，机器人会告诉你一些听起来非常自信且流利的内容，但那些内容完全是编造出来的。在技术领域，我们称之为幻觉（hallucination）。

但问题在于，每个人都在争论到底什么才算作幻觉。

如果机器人总结一篇新闻文章时弄错了事实，这算幻觉吗？
如果机器人根据记忆回答一个常识问题时答错了，这算幻觉吗？
如果机器人试图点击一个并不存在的网页按钮，这算幻觉吗？

一些研究人员对这些问题都回答“是”。另一些人则说“不，那只是个错误”。这种混乱使得解决问题变得异常困难。

这篇论文认为，我们不应该再争论定义，而应该开始关注根本原因。作者提出了一个简单且统一的概念：幻觉本质上就是一个破碎的“世界模型（World Model）”。

核心思想：机器人的内部地图

把机器人想象成一个试图在城市中导航的探险家。为了做到这一点，它需要一张地图（世界模型）。

参考世界（The Reference World）： 这是真实的地图。它是地面真理（ground truth）。它可以是你给它的新闻文章、真实的国际象棋规则、公司的真实数据库，或者是网站的实时代码。
机器人的视角（The Robot's View）： 这是机器人实际被允许看到的内容。也许它能看到整篇文章，或者它只能看到一小段片段。
冲突规则（The Conflict Rule）： 这是裁判。如果机器人的记忆说“天空是绿色的”，但文章说“天空是蓝色的”，谁赢？通常，文章（参考世界）胜出。

论文的定义：
只有当机器人的输出根据冲突规则与参考世界相矛盾时，才发生幻觉。

如果机器人说“天空是绿色的”，而参考世界（文章）说“天空是蓝色的”，那么机器人就有一张破碎的地图。这就是在产生幻觉。

为什么这能统一一切

作者展示了人们讨论的所有不同类型的“幻觉”，实际上都是在不同的房间里发生的同一件事：

摘要（Summarization）： “参考世界”是源文档。如果摘要与文档相矛盾，说明机器人对该文档的地图错了。
常识问答（Open QA）： “参考世界”是宇宙的真实事实（例如，谁获得了诺贝尔奖）。如果机器人基于其训练数据做出了错误的猜测，那么它对现实的内部地图就是错误的。
网页浏览（Agents）： “参考世界”是实际的网站代码（DOM）。如果机器人说“我点击了提交按钮”，但代码显示并不存在这样一个按钮，那么机器人是在幻觉出一个不存在的对象。

“愚蠢”之处：是地图的问题，而不是机器人的问题

标题写着，“是世界模型，蠢货！”（It's The World Model, Stupid!），这是对一句著名政治口号的戏仿。作者的意思是：别再责怪机器人“糊涂”了。问题在于它的内部世界地图是不准确的。

有时机器人并不是在“撒谎”；它只是在看一张错误的地图。

规划错误（Planning Error）： 机器人知道地图是对的，但它选择了一条错误的路径。（这不是幻觉）。
幻觉（Hallucination）： 机器人认为地图上写着“此处有桥”，但地图实际写着“此处是悬崖”。（这就是幻觉）。

如何修复（根据论文观点）

论文建议我们不要试图构建一个“完美的机器人”，而是开始构建更好的测试场。

他们提议使用合成世界（如视频游戏或国际象棋）来测试机器人。

国际象棋类比： 想象一场国际象棋比赛，规则是100%清晰的，棋盘状态也是100%已知的。我们可以问机器人：“白色的骑士能否跳到这个格子？”
如果机器人说“可以”，但规则说“不可以”，我们就确切地知道它对国际象棋棋盘的内部地图是破碎的。
因为“参考世界”（国际象棋规则）是由计算机完美定义的，所以我们不需要人类来猜测机器人是否在撒谎。计算机能瞬间识别。

为什么这很重要

通过达成这一定义共识，研究人员终于可以：

进行同类比较： 我们可以判断一种新技术究竟是减少了幻觉，还是仅仅改变了游戏规则。
明确修复方向： 如果机器人是因为看不全整个文档而产生幻觉，我们就去修复“视角（View）”。如果它是因为忽略了文档而倾向于使用自己的记忆，我们就去修复“冲突规则（Conflict Rule）”。
构建更大的测试： 我们可以创建成千上万个测试场景（比如数百万个国际象棋谜题），在这些场景中，我们百分之百知道答案，而不需要人类去为每一个案例评分。

简而言之： 论文的核心观点是，“别再争论什么是幻觉了。它仅仅是指机器人的描述与我们约定的测试基准不符。让我们构建更好的地图和更好的测试，从而修复机器人破碎的指南针。”

技术摘要：关于幻觉的统一定义：本质上是世界模型，笨蛋！

1. 问题陈述

尽管自大型语言模型（LLM）诞生以来，研究人员在缓解策略方面进行了广泛的研究，但幻觉仍然是前沿模型中一个持续存在且尚未解决的问题。作者指出的核心问题是**“幻觉”定义的碎片化**。现有的定义是特定于任务的，且往往相互矛盾：

摘要研究人员将幻觉定义为不受源文档支持的内容，即使该内容在现实世界中是事实正确的。
开放域问答（QA）研究人员将其定义为事实错误的内容，无论其是否基于源文档。
视觉语言模型（VLM）研究人员关注视觉输入与文本之间的不一致性。
智能体（Agentic）研究人员将幻觉视为基于环境观察而采取的不当行动。

这种缺乏统一定义的现状，使得难以比较基准测试、评估缓解策略的可迁移性，或回答关于 LLM 是否能彻底停止幻觉的基本问题。目前的评估通常在没有明确说明“真理（ground truth）”是什么、如何获取真理或如何解决来源冲突的情况下，隐式地假设了存在真理。

2. 方法论：统一框架

作者提出了一个正式框架，将所有现有定义统一在一个单一概念之下：幻觉是用户可观测到的不准确（内部）世界建模。

2.1 核心组件

该框架相对于三个显式组件来定义幻觉：

参考世界模型 ( $W$ )： 对给定语境中客观真实情况的正式表示。 $W$ 是一个元组 $(S, H, R)$ ，其中 $S$ 是所有可能的世界状态集合， $H$ 是交互历史集合， $R$ 是约束容许状态的规则集合。 $W$ 可以实例化为源文档、知识库、模拟器、数据库或形式语法。
视图函数 ( $V$ )： 一个选择与特定输入 $x$ 相关联的世界模型部分的函数（例如，完整的文档、检索到的子集或部分 DOM 观察结果）。
冲突策略 ( $P$ ) 与真理函数 ( $T_{W,P}$ )： 一种决定如何协调多个信息源的策略（例如，“检索到的文档覆盖参数化记忆”）。真理函数根据 $W$ 、 $x$ 和 $P$ 为任何原子命题 $c$ 分配状态（真、假、未知）。

2.2 正式定义

令 $y$ 为模型输出， $C(y)$ 为用户可观测到的原子命题集。当且仅当存在一个命题 $c \in C(y)$ 使得 $T_{W,P}(x, c) = \text{false}$ 时，输出 $y$ 相对于 $(W, P)$ 产生幻觉。

至关重要的是，该定义将幻觉（对参考世界的错误信念）与其他错误类型区分开来：

规划错误（Planning Errors）： 信念正确但动作选择不当。
奖励/激励错误（Reward/Incentive Errors）： 信念正确但由于训练激励而表现出过度自信。
校准错误（Calibration Errors）： 未能正确表达不确定性。

3. 主要贡献

本文做出了三个主要贡献：

统一分类法： 作者证明了先前的定义（来自摘要、RAG、智能体设置和 VLM）仅仅是同一底层结构的各种不同实例化。通过改变 $W$ 、 $V$ 和 $P$ ，可以将现有定义（例如内在幻觉与外在幻觉）推导为特例。
显式基准设计指南： 该框架迫使基准测试设计者明确说明他们关于参考世界、模型的视图以及冲突解决的假设。这使得通过诊断定义分歧点，可以在不同的基准测试（如 FavaBench、HALoGEN、HaluEval）之间进行有意义的比较。
通过合成世界实现可扩展的基准生成： 本文提出了一种使用合成环境（如游戏、模拟器）创建大规模基准的方法，在这些环境中， $W$ $W$ 是完全指定且程序化已知的。
- 案例研究（国际象棋）： 作者展示了国际象棋环境如何作为基准。世界状态 ( $s$ ) 和历史 ( $h$ ) 即为真理。文档生成器创建文本语境，查询生成器创建问题。真理函数根据实际棋盘状态和规则评估命题，从而实现自动、大规模的幻觉标签生成，无需人工标注。

4. 结果与发现

作为一篇立场论文，这项工作并未展示模型性能的实证结果，而是提供了一种概念性和诊断性的分析：

诊断能力： 框架揭示了文献中的分歧往往源于 $W$ 、 $V$ 或 $P$ 的隐式差异，而非模型行为本身。例如，某种方法可能减少了摘要中的幻觉（其中 $W$ 是源文档），但在开放域问答中失效（其中 $W$ 是现实世界事实），因为干预措施针对的是不同的组件。
澄清缓解策略： 论文根据干预针对的组件对缓解技术进行了分类：
- 检索/工具： 针对视图函数 ( $V$ ) 的干预。
- 校准/弃权： 针对真理函数或输出策略 ( $T_{W,P}$ ) 的干预。
- 架构/训练变更： 针对模型内部对 $W$ 近似表示的干预。
区分错误类型： 该框架成功地将“幻觉”（世界建模错误）与“规划”或“指令遵循”错误区分开来，而后者在当前文献中经常被混淆。

5. 重要性与主张

作者声称，这种统一的视角之所以重要，原因如下：

科学严谨性： 它将该领域从模糊的、特定于任务的定义转向正式的、可复现的结构。它迫使研究人员在声称模型产生幻觉之前，先明确“什么是真理”。
可比性： 它通过将基准测试和缓解策略映射到共同的模板，实现了跨不同领域（文本、视觉、智能体）的比较。
可扩展性： 通过利用具有完全指定世界的合成环境，该框架能够创建由构造而非昂贵的人工标注或不可靠的“LLM 作为评判（LLM-as-a-judge）”方法来确定幻觉标签的基准测试。
可操作的指导： 它为开发者和研究人员提供了一条清晰的路线图，以识别失败是由于信息缺失 ( $V$ )、冲突规则 ( $P$ ) 还是根本性的内部模型损坏 ( $W$ ) 导致的。

论文总结道，虽然完美的模型建模可能无法实现，但 LLM 的目标应该是识别其知识边界，在不确定时弃权，并基于外部信息进行更新。所提出的框架，辅以 HALLUWORLD 基准测试套件，为系统地衡量和减少可观测的世界模型错误提供了路径。