💬 NLP

Hallucination as an Anomaly: Dynamic Intervention via Probabilistic Circuits

本文介绍了 PCNET，这是一种基于概率电路的方法，它通过检测大语言模型残差流中的几何异常来识别幻觉，从而借助 PC-LDCD 实现动态、有针对性的干预，在无需修改模型权重或依赖外部验证器的情况下，显著减少幻觉并保留正确生成的完整性。

原作者： Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）是一位才华横溢、语速极快的说书人。这位说书人几乎读过所有写过的东西，但有时，为了急于讲完故事，他们会编造一些听起来完美却完全错误的事实。这被称为“幻觉”。

您提供的论文介绍了一个名为PCNET和PC-LDCD的新系统，旨在解决这一问题。以下通过简单的类比来解释其工作原理。

问题所在：“盲目修正”的错误

想象您正在剪辑一部电影。您注意到演员有时会念错台词。

旧方法：过去修正这一问题的方式是雇佣一位编辑，每当他们听到可能的错误时，就会立即拿起剧本重写演员的台词。问题在于：这位编辑并不擅长区分真正的错误与富有创意且正确的台词。因此，他们最终连演员正确的台词也重写了，从而毁掉了整部电影。论文将这种现象称为“检测 - 修正不对称性”：那些擅长发现错误的工具过于笨拙，无法在修复错误的同时不破坏好的内容。

解决方案：两步安全系统

作者提出了一种更智能的两步法，就像一名保安和一位专业编辑协同工作。

第一步：保安（PCNET）

首先，他们构建了一个名为PCNET的特殊检测器。

类比：想象说书人的大脑是一个巨大而拥挤的舞池。当他们讲述真相时，会在一个特定的、被踩得光秃秃的区域（即“事实流形”）跳舞。当他们开始撒谎或产生幻觉时，就会飘移到房间里一个奇怪、空旷的角落，那里没有人跳舞。
工作原理：PCNET 就像一位拥有舞池完美地图的保安。它无需猜测或求助他人。它观察说书人当前的“舞步”（计算机内存中的隐藏状态），并瞬间计算出：“这位舞者是在安全区，还是在那个奇怪的角落？”
神奇之处：它利用一种称为“概率电路”的数学技巧来实现这一点。这使得它能够瞬间得出答案，而无需运行百万次模拟或咨询外部专家。如果舞者处于“奇怪角落”，保安就会发出无声警报。

第二步：专业编辑（PC-LDCD）

如果保安发出警报，第二个系统PC-LDCD就会介入。

类比：这位编辑不会像以前那样抓起剧本重写整个场景（这会破坏流畅性），而是仅在保安发出信号时才介入。当保安标记出潜在的谎言时，这位编辑会暂停片刻。它会审视说书人可能要说的接下来的几个词，并问道：“如果我选择这个词，是让舞者留在安全区，还是将他们推向更深的奇怪角落？”
结果：它会选择那个能让故事保持正轨的词语。如果保安没有发出警报，编辑便不会插手，让说书人自然流畅地讲述。

为何这意义重大

该论文在四种不同的 AI 模型（从小型到中型）和四种不同类型的测试（如回答常识问题、阅读理解以及检查 AI 是否在说真话）上测试了这一系统。

超强检测能力：“保安”（PCNET）的准确率极高。它几乎能完美地识别幻觉（在某些测试中准确率高达 99%），远胜于以往仅基于词概率进行猜测的方法。
避免误伤：由于“编辑”（PC-LDCD）仅在保安确信时才介入，它解决了过去修正未出错内容的老问题。
- 数据：旧方法在尝试修正时，破坏了约 54% 的正确答案。而新系统仅破坏了约 54% 的总尝试次数（意味着它挽救了比以往多得多的正确答案），并成功保护了此前被搞砸的**79%**的正确生成内容。
更高的真实性：在旨在诱骗 AI 撒谎的"TruthfulQA"测试中，新系统在四个被测试模型中的三个中，获得了真实性和信息量方面的最高分。

总结

可以将这篇论文视为为 AI 发明了一种智能交通信号灯。

旧方式：一名警察拦下每辆车检查是否超速，经常拦下那些行驶完全正常的车辆，导致交通堵塞。
新方式：一种传感器，只拦截那些真正超速的车辆，让其他人顺畅通行。

其结果是，AI 撒谎的可能性大大降低，同时在试图讲述真相时，也不大可能陷入困惑或结巴。作者已公开了该代码，供他人使用。

技术摘要：基于概率电路的幻觉作为异常

问题陈述

大型语言模型（LLM）存在幻觉问题，会生成流畅但事实错误的输出。虽然现有的检测方法（监控不确定性）和修正方法（表示工程）各自显示出潜力，但它们的结合揭示了一个被称为检测 - 修正不对称性的根本局限性。当前的修正技术往往不加区分地将 steering 向量应用于每个 token。这种对潜在状态的连续编辑会将激活值推离模型的预训练流形，从而降低流畅性并破坏原本正确的生成。本文认为，无门控的修正会破坏 26% 至 90% 的事实性生成，因此需要一个将检测与修正解耦的框架，以维护事实性输出的完整性。

方法论

作者提出了一个两阶段框架：PCNET用于可处理的异常检测，PC-LDCD用于门控的、流形保持的修正。

1. PCNET：可处理的潜在异常检测

PCNET 是一个概率电路（PC），作为 LLM 残差流低维投影上的密度估计器进行训练。

架构：LLM 的最终隐藏状态（ $h \in \mathbb{R}^{D_{LLM}}$ ）通过多层感知机（MLP）瓶颈投影到紧凑的潜在空间（ $z \in \mathbb{R}^{D_{PC}}$ ）。PCNET 对该空间上的联合概率分布 $P(z)$ 进行建模。
结构：该电路是一个由输入节点、求和节点和乘积节点组成的有向无环图（DAG）。与标准概率电路不同，输入节点利用高斯分布、拉普拉斯分布和 Student-T 分布的异质混合，以捕捉 LLM 表示中复杂的重尾几何结构。
训练：PCNET 和投影瓶颈使用复合目标进行联合优化：生成项（事实状态上的负对数似然）和对比边界项（将幻觉状态推入低密度区域）。基础 LLM 保持冻结。
推理：PCNET 在单次前向传播中计算潜在状态的精确负对数似然（NLL），无需采样或外部验证器。高 NLL 表明存在几何异常，标志着偏离了“事实流形”。

2. PC-LDCD：流形保持的修正

PC-LDCD（概率电路潜在密度对比解码）利用 PCNET 作为动态门控，仅在必要时进行干预。

动态门控：在每个解码步骤，计算当前状态的 NLL。如果 NLL 超过校准阈值 $\tau$ ，则触发干预。如果状态被判定为事实性（低 NLL），则标准解码过程保持不变，保留基础模型的行为。
离散前瞻：当检测到异常时，系统暂停标准解码。它在离散 token 空间中执行 $k$ 个候选项的前瞻搜索。通过最大化惩罚后的对数概率来选择最佳 token：
$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$
其中， $\beta_t$ 是基于异常评分的动态强度参数， $\text{SNLL}$ 是假设未来状态的 NLL。这种方法将生成置信度与学习流形的精确对数密度进行对比，仅在防止轨迹深入幻觉区域时进行干预。

主要贡献

检测 - 修正不对称性的实证研究：本文系统地证明了无门控的表示工程会破坏事实性生成，确立了门控干预的数学必要性。
可处理的潜在异常检测（PCNET）：作者引入了 PCNET，证明了在对比训练的潜在流形上进行精确密度估计，无需采样或权重修改，即可在多样化的模型和基准测试中以最先进的 AUROC 识别幻觉。
流形保持的修正（PC-LDCD）：所提出的密度门控解码策略在评估的方法中实现了最低的破坏率和最高的保留率，成功修正了幻觉，同时保持正确的生成不受影响。

实验结果

该框架在四个 LLM（参数范围从 1B 到 8B）和四个基准测试（CoQA、SQuAD v2.0、TriviaQA 和 TruthfulQA）上进行了评估。

检测性能：PCNET 在 CoQA、SQuAD v2.0 和 TriviaQA 上实现了近乎完美的幻觉检测，AUROC 分数高达 99%。它显著优于 Token-NLL、语义熵探针（SEP）和 HaloScope 等基线方法，特别是在知识密集型和对抗性基准测试上。
修正效能：
- 保留率：PC-LDCD 将事实性生成的平均破坏率降低至53.7%，并实现了**79.3%**的保留率，显著优于无门控基线。
- 真实性：在 TruthfulQA 上，PC-LDCD 在四个模型中的三个模型中取得了最高的 True+Info、MC2 和 MC3 分数。它显著提高了 MC2 和 MC3（衡量多个真实完成项的校准不确定性的指标），表明它产生了更稳健的真实输出分布，而不仅仅是改变单一答案的置信度。
- 标准问答：在标准问答基准测试中，PC-LDCD 保持竞争力，与最佳基线持平或紧随其后（例如，在 Mistral-7B 上达到 SQuAD EM 0.87）。
效率：该方法不需要外部检索或权重更新。消融研究表明，仅需 100 个训练样本和 128 的投影维度即可实现近最优的检测性能。

意义与主张

本文主张，通过将幻觉视为事实流形上的几何异常，并利用概率电路进行精确密度估计，可以解决检测与修正之间的张力。其主要意义在于门控机制：通过将修正仅路由到离散 token 空间（仅在潜在几何发生偏离时），该方法避免了由无差别的连续编辑引起的“语义崩溃”。

作者将其工作定位为迈向高 stakes 领域可靠 LLM 部署的一步，提供了一种原则性的、单次通过的不确定性信号，既不依赖 token 概率的过度自信，也不依赖多轮采样的计算开销。他们承认存在的局限性，包括需要一个小的标注状态校准集，以及当前评估范围仅限于 8B 参数以下的模型，这留下了关于更大模型中几何分离性的未解问题。