A Geometric Taxonomy of Hallucinations in LLMs

该论文提出了一种基于嵌入空间几何特征的大语言模型幻觉分类法，将幻觉划分为不忠实、虚构和事实错误三类，并据此开发了相应的检测指标，同时揭示了现有基准测试中因标注风格混淆而导致的事实错误检测理论局限。

要点

这篇论文就像给大语言模型（LLM）的“胡言乱语”（幻觉）做了一次几何体检。

作者发现，虽然模型说错话都叫“幻觉”，但它们在数学空间里的“长相”和“走位”其实完全不同。作者把幻觉分成了三类，并发明了两种“测谎仪”来分别对付它们。

我们可以把大模型想象成一个在巨大球形广场（嵌入空间）上跳舞的舞者，而我们的任务是判断它跳得对不对。

1. 三种不同的“舞步失误”（幻觉分类）

作者把幻觉分成了三种，每种在广场上的表现都不一样：

• 第一类：装聋作哑（Type I: Unfaithfulness）

  • 场景：你给模型看了一份参考文档（比如一篇新闻），让它基于文档回答问题。
  • 失误：模型完全无视你给的文档，自顾自地背它脑子里的旧知识。
  • 几何特征：在广场上，它的舞步（回答）应该往“参考文档”的方向走，但它却原地踏步，或者往“你提问”的方向走，就是不肯靠近“参考文档”。
  • 比喻：就像你问导游：“根据这张地图，前面是公园吗？”导游却完全不看地图，直接背出他以前去过的另一个公园。

• 第二类：无中生有（Type II: Confabulation）

  • 场景：你问一个开放问题，比如“谁发明了时光机？”
  • 失误：模型一本正经地编造了一个不存在的科学家或机构。
  • 几何特征：它的舞步突然偏离了“合理答案”的轨道，跳到了一个从未有人跳过的奇怪区域。这种偏离是有方向性的，就像在广场上突然跳出了人群，走向了荒原。
  • 比喻：就像你问“谁发明了苹果？”它回答“是牛顿的邻居老张发明的”。这种回答在逻辑上是“异类”，在数学空间里离正常答案很远。

• 第三类：细节错误（Type III: Factual Error）

  • 场景：模型知道大框架是对的，但细节错了。
  • 失误：比如问“谁是美国总统？”，它回答“是林肯”（其实是拜登，但林肯也是总统）。
  • 几何特征：这是最狡猾的。因为它跳的舞步依然在“总统”这个圈子里，和正确答案的舞步几乎重叠。在数学上，错误的细节和正确的细节长得太像了，就像双胞胎，几何测谎仪根本分不清谁是谁。
  • 比喻：就像你问“苹果是什么颜色的？”，它回答“它是紫色的”。虽然错了，但“紫色”和“红色”在颜色圈里挨得很近，很难用几何距离把它和正确答案区分开。

2. 两种“测谎仪”（检测方法）

针对前两类，作者发明了两种工具：

• 工具一：语义锚定指数 (SGI) —— 专治“装聋作哑”

  • 原理：它测量模型的回答是更靠近“你给的文档”，还是更靠近“你的问题”。
  • 怎么判断：如果回答离文档更近，说明它认真看了；如果离问题更近（或者原地不动），说明它在“偷懒”瞎编。
  • 效果：就像检查导游有没有看地图，如果没看，直接报警。

• 工具二：方向锚定指数 (Γ) —— 专治“无中生有”

  • 原理：它先学习什么是“正常的回答方向”（比如大家公认的事实是怎么跳的）。然后看模型的新回答，是不是往奇怪的方向跳了。
  • 怎么判断：如果模型跳出了“合理舞步”的圈子，这个指数就会报警。
  • 效果：在检测人类编写的“瞎编乱造”时，这个工具非常准（准确率高达 95% 以上），比传统的“逻辑判断”工具强得多。因为它能发现那些“语法通顺但逻辑离谱”的废话。

3. 为什么第三类（细节错误）很难抓？

作者做了一个有趣的实验，发现以前大家以为能检测“细节错误”的方法，其实是个误会。

• 真相：在《TruthfulQA》这个测试集里，那些“假答案”之所以容易被检测出来，不是因为它们“错了”，而是因为它们写得比较短、比较肯定；而“真答案”通常写得比较长、比较谨慎（比如加了很多“可能”、“也许”）。
• 比喻：就像警察抓小偷，结果抓到的全是“说话声音大、语速快”的人，而真正的小偷（细节错误）其实说话很谨慎，和好人长得一模一样。
• 结论：只要模型还在“编造”（Type II），几何方法就能抓；但只要它是“记错了细节”（Type III），在数学空间里，错误和正确是几何上不可区分的。这不是技术不够好，而是数学原理决定的。

总结

这篇论文告诉我们：

1. 不要把所有幻觉混为一谈。有的幻觉是“不看文档”，有的幻觉是“瞎编乱造”，有的幻觉是“记错细节”。
2. 前两种可以用数学几何的方法精准打击，特别是那种“一本正经胡说八道”的编造。
3. 第三种（记错细节）目前无解，因为它们在数学上长得太像了。我们之前以为能检测出来，其实只是检测到了“说话风格”的不同，而不是事实本身。

这就好比：我们可以轻易发现谁在撒谎（编造），也可以发现谁在无视证据（不看文档），但如果一个人记错了（比如把生日记错一天），在数学的显微镜下，他和记对的人几乎是一模一样的。

技术摘要

1. 研究背景与问题定义

核心问题：
“幻觉”（Hallucination）一词在 LLM 领域涵盖了多种不同的失败模式，但现有的研究往往将其混为一谈。这些模式在嵌入空间（Embedding Space）中具有不同的几何特征，但目前的检测方法（如基于一致性的采样或基于 NLI 的验证）往往缺乏针对性，且无法区分不同类型的错误。

主要挑战：

• 概念混淆： 忽略上下文、编造不存在的内容、以及提供错误细节，这三种情况在语义和几何上截然不同。
• 基准数据集偏差： 大多数评估数据集通过提示 LLM 进行“编造”来生成错误答案，这捕捉的是模型“被要求撒谎”时的行为，而非真实事实性错误的几何特征。
• 检测局限： 现有的白盒方法（需访问内部状态）或黑盒方法（需多次生成或外部文档）存在部署限制或计算成本问题。

2. 核心方法论：几何分类学

作者提出了一种基于单位超球面（$S^{d-1}$）几何特性的分类学，将幻觉分为三种类型，并针对前两种类型提出了具体的检测指标。

2.1 幻觉的三种几何类型

1. Type I：不忠实（Unfaithfulness）

   • 定义： 模型忽略提供的上下文，仅依赖参数记忆生成内容。
   • 几何特征： 响应向量在角度上更接近查询（Query），而不是向上下文（Context）移动。
   • 术语： 作者称之为“语义懒惰”（Semantic Laziness）。

2. Type II：编造（Confabulation）

   • 定义： 模型发明了不存在的实体、机制或概念（如虚构的机构、重新定义的术语）。
   • 几何特征： 响应向量的位移方向偏离了“合理答案流形”（plausible-answer manifold），呈现出可检测的异常几何位移。

3. Type III：事实性错误（Factual Error）

   • 定义： 在正确的概念框架内提供了错误的细节（例如，知道“苹果是水果”，但说“苹果是红色的”而实际上是绿色的，或者在正确框架下混淆具体数据）。
   • 几何特征： 无法通过几何方法区分。 因为错误的细节仍然占据嵌入空间中与正确回答相同的语义区域。分布表示编码的是共现关系而非真理条件。

2.2 提出的检测指标

基于上述分类，作者提出了两个无需模型内部状态、无需多次生成的检测指标：

• 语义接地指数 (Semantic Grounding Index, SGI) - 针对 Type I

  • 原理： 测量响应向量是否向上下文向量移动。
  • 公式： $SGI(r; q, c) = \theta(r, q) / \theta(r, c)$
    • 其中 $\theta$ 是单位超球面上的测地线距离（角距离）。
  • 判定： 若 $SGI > 1$，表示响应更接近上下文（接地）；若 $SGI \le 1$，表示响应更接近查询（忽略上下文，即 Type I 幻觉）。
  • 优势： 使用角距离而非余弦相似度，满足三角不等式，几何原理更严谨。

• 方向接地指数 (Directional Grounding Index, $\Gamma$) - 针对 Type II

  • 原理： 测量响应相对于查询的位移方向是否与“合理答案”的位移方向一致。
  • 计算：
    1. 构建参考集 $R$（验证过的问答对）。
    2. 计算平均位移方向 $\hat{\mu}$（在球面上计算 Von Mises-Fisher 均值方向）。
    3. 计算查询 - 响应的归一化位移 $\hat{\delta}(q, r)$ 与 $\hat{\mu}$ 的点积。
  • 公式： $\Gamma(q, r; R) = \hat{\delta}(q, r)^\top \hat{\mu}$
  • 判定： $\Gamma \in [-1, +1]$。高值表示符合接地方向；低值或负值表示异常位移（Type II 编造）。
  • 优势： 仅需单次嵌入调用，计算复杂度 $O(d)$。

3. 实验设置与基准

• 数据集：
  • 人工编造数据集： 142 个由作者编写的高质量 Type II 错误样本（金融、医疗、法律领域）。
  • 外部人类标注基准： WikiBio GPT-3, FELM, ExpertQA。
  • LLM 生成基准： HaluEval, TruthfulQA。
• 基线模型： NLI CrossEncoder (DeBERTa-v3-small)，用于对比表面蕴含关系检测能力。
• 嵌入模型： 主要使用 sentence-t5-large (768 维)，并进行了架构消融实验。

4. 关键实验结果

4.1 Type I 检测 (SGI)

• 在 HaluEval QA 数据集上，SGI 在不同嵌入架构下表现一致（AUROC 0.776–0.824）。
• 接地响应的平均 SGI 为 1.180（>1），而 Type I 幻觉响应的平均 SGI 为 0.910（≤1），证明该方法能有效区分是否利用了上下文。

4.2 Type II 检测 ($\Gamma$)

• 人工编造数据集： $\Gamma$ 取得了极高的性能，AUROC 达到 0.958 ± 0.034。
  • 相比 NLI 基线（AUROC 0.611），$\Gamma$ 提升了 0.347。
  • 原因：编造内容在句法上连贯且符合表面蕴含，NLI 无法检测，但几何位移明显。
• 外部基准验证：
  • ExpertQA (专家领域)： $\Gamma$ AUROC 为 0.695，显著优于 NLI (0.452，接近随机猜测)。这表明在专家领域，事实性错误（Type II）具有独特的几何特征，而 NLI 失效。
  • FELM： $\Gamma$ AUROC 为 0.648，优于 NLI。
  • WikiBio： $\Gamma$ 表现不佳 (0.581)，因为该数据集将任何细节错误都标记为“主要错误”，混淆了 Type II 和 Type III。
• 领域局部性 (Domain Locality)：
  • 在 LLM 生成的基准（如 HaluEval）上，跨领域检测性能崩溃（AUROC $\approx$ 0.50），因为 LLM 生成的“编造”往往带有特定的提示工程痕迹，而非真实的语义偏离。
  • 但在真实的人类编造数据（ExpertQA, FELM）之间，几何模式是通用的（FELM $\leftrightarrow$ ExpertQA 转移 AUROC 0.822）。

4.3 Type III 边界与 TruthfulQA 分析

• 发现： 在 TruthfulQA 数据集上，逻辑回归（LR）直接利用原始嵌入取得了 AUROC 0.731，看似能检测事实错误。
• 归因分析： 作者通过几何分析发现，这是一个标注风格混淆（Stylistic Annotation Confound）。
  • 错误答案通常更短、更肯定；正确答案通常更长、更谨慎（使用 hedging）。
  • 更长的回答在嵌入空间中积累了更多与查询正交的语义内容，导致位移向量更大。LR 捕捉的是这种长度/风格差异，而非事实正确性。
  • 关键证据： 当使用 $\Gamma$（剥离风格信号）或检查余弦相似度时，错误答案反而比正确答案更接近查询（AUROC 0.365，低于随机），这与事实错误检测的预期完全相反。
• 结论： Type III 错误在几何上是不可见的，因为嵌入空间编码的是共现关系，而非真理条件。

5. 主要贡献与意义

1. 理论贡献： 建立了 LLM 幻觉的几何分类学。明确指出并非所有幻觉都能被检测，区分了“可检测的几何异常”（Type I, II）和“几何不可见的分布内错误”（Type III）。
2. 方法创新：
   • 提出了 SGI 和 $\Gamma$ 两个轻量级检测指标，无需模型内部状态、无需多次采样、无需外部文档。
   • 证明了基于位移几何的方法在检测“编造”（Confabulation）方面远超传统的 NLI 方法。
3. 实证发现：
   • 揭示了 TruthfulQA 等基准中存在的“风格伪影”，警告了直接利用嵌入进行分类的风险。
   • 验证了真实世界事实性错误（Type II）具有跨领域的通用几何特征，而 LLM 生成的合成错误数据往往不具备这种特征。
4. 实际意义：
   • 为高风险场景（如医疗、法律）提供了更精准的幻觉检测工具，特别是针对“编造”这一最危险的幻觉形式。
   • 明确了当前几何检测方法的理论边界：对于“在正确框架内的细节错误”（Type III），几何方法无能为力，需要结合其他验证机制。

6. 局限性与未来工作

• 混合幻觉： 对于部分利用上下文但包含编造的混合情况，$\Gamma$ 的分数解释尚不明确。
• 形式化证明： Type III 错误在几何上不可检测的假设基于分布假设，尚未在 $S^{d-1}$ 上得到严格的形式化证明。
• 范围限制： 该分类仅针对生成输出，未涵盖检索错误、提示注入或生成前的失败。

总结

这篇论文通过几何视角重新解构了 LLM 幻觉，指出不同类型的错误在嵌入空间中具有截然不同的“签名”。它成功开发了针对“不忠实”和“编造”的高效检测器，并深刻揭示了为何某些事实性错误（Type III）在几何上是不可见的。这一工作为开发更可靠的 LLM 评估和监控工具提供了重要的理论依据和方法论指导。