技术摘要：一种用于文本摘要幻觉可解释性的框架

1. 问题陈述

用于抽象式文本摘要的大型语言模型（LLMs）经常遭受“幻觉”问题的困扰，即生成的输出在语言上流畅，但在事实层面错误、缺乏依据或与原文矛盾。这些错误在医疗、新闻和科学研究等高风险领域尤为关键。

目前的评估方法面临两个主要局限性：

1. 严重程度量化不足： 现有的事实性指标（如 FactCC、SummaC）提供句子级判断或二元一致性评分，但缺乏一个稳健的标量度量，无法量化语义扰动下的幻觉严重程度。
2. 描述性与定量化可解释性的差异： 虽然 SMILE（基于局部解释的统计模型无关解释性）、LIME 和 SHAP 等可解释性框架提供了关于标记重要性和模型敏感性的见解，但它们主要仍停留在描述层面。它们解释了模型为什么会产生某种行为，但并未直接提供幻觉严重程度的定量得分。

本研究的核心假设是：忠实的摘要模型在面对保持意义的扰动时保持稳定，而易产生幻觉的模型则表现出显著的输出不稳定性。

2. 方法论：增强型 SMILE 框架

作者提出了一种集成到增强型 SMILE 流水线中的新型幻觉严重程度得分（HSS）。该框架通过以下步骤将 SMILE 从定性解释工具转化为定量诊断框架：

2.1 语义扰动生成

系统生成受控的、保持意义的输入文档（$x$）的扰动，以创建一组扰动输入 $\{x^{(k)}\}$。

• 标记选择： 排除命名实体（通过 NER）、停用词、数字和标点符号，以保持事实一致性。仅语义相关的标记才是修改的候选对象。
• 候选生成： 利用 Word2Vec 嵌入识别符合条件的标记的前 $k$ 个最近邻。余弦相似度阈值 ($\tau$) 确保了语义接近性。
• 保持意义的过滤器： 使用 Sentence-BERT (SBERT) 相似度约束 ($\gamma$) 来验证扰动后的句子是否保留了原始语义。如果 $sim_{SBERT}(s, s') < \gamma$，则拒绝该扰动。
• 强度： 扰动修改 2–30% 的标记，分为低、中、高三种强度。

2.2 摘要生成与表示

• 模型： BART-large-CNN Transformer 模型生成基准摘要 ($y_0$) 以及针对每个扰动输入生成的摘要 ($y_k$)。
• 嵌入分布： 每个摘要被分解为若干句子，并使用 SBERT 生成上下文嵌入。这些嵌入构成了代表摘要语义结构的经验分布 ($\mu_y$)。

2.3 通过 Wasserstein 距离测量不稳定性

框架使用 Wasserstein 距离 ($W$) 量化基准摘要与扰动摘要之间的语义偏移，该距离衡量了嵌入分布之间的几何传输代价。
$$D_k = W(\mu_{y_0}, \mu_{y_k})$$
原始不稳定性是这些距离在 $K$ 个扰动中的平均值。

2.4 幻觉严重程度得分 (HSS) 与归一化

为了实现跨领域比较，对原始 Wasserstein 距离进行归一化处理。

• 类别感知归一化： 计算一个特定文档类别 ($c$) 的 Wasserstein 距离的第 95 百分位数作为归一化常数 ($M_c$)。
• 最终得分： HSS 是归一化距离的平均值：
  $$HSS(x) = \frac{1}{K} \sum_{k=1}^{K} \min\left(\frac{D_k}{M_c}, 1\right)$$
  较高的 HSS 值表示更大的语义不稳定性，从而意味着更高的幻觉严重程度。

2.5 归因不稳定性分析

框架将 HSS 与基于归因的不稳定性指标（特别是 SHAP 和 LIME）进行关联。它测量特征归因分布在输入受到扰动时发生的变化程度。

3. 实验设置

• 数据集： 涵盖电影、文学、人工智能和医学研究四个领域（简单、中等、复杂、混合/额外）的 34 篇文档。
• 规模： 生成了 286 个扰动，产生了 320 个待评估的摘要。
• 验证： 统计分析包括 Pearson 和 Spearman 相关性、用于置信区间的 1,000 次自助重采样以及消融研究。
• 对比对象： 将 HSS 与 FactCC、SummaC、精确率/召回率/F1、注意力分数、LIME 和 SHAP 进行对比。

4. 关键结果

实验评估得出了以下发现：

• 与 SHAP 强相关： HSS 与基于 SHAP 的归因不稳定性表现出最强的相关性 ($r \approx 0.90$)。这表明，易产生幻觉的摘要在语义扰动下会产生高度不稳定的特征归因模式。
• 与事实性负相关： HSS 与事实一致性指标呈现中度到强度的负相关（FactCC: $r \approx -0.63$; SummaC: $r \approx -0.55$），证实了较高的严重程度得分对应着较低的事实可靠性。
• 与词汇/分布指标相关性较弱： HSS 与原始 Wasserstein 距离 ($r \approx -0.33$) 和 LIME ($r \approx 0.29$) 的相关性较弱。这表明，表面层面的词汇重叠或简单的分布偏移不足以作为语义幻觉的有效代理指标。
• 领域敏感性： HSS 有效地区分了不同领域。知识密集型领域（如科学论文、法律文件）显示出较高的 HSS 值（较高的不稳定性），而结构化程度较低的领域（如社交媒体、产品评论）则不然。
• 扰动敏感性： HSS 值随扰动强度增加而一致上升（从低强度的 0.38 上升到高强度的 0.62），验证了其作为定量尺度的敏感性。

5. 贡献与意义

本文声称的贡献与意义如下：

1. 新颖指标 (HSS)： 引入了一种具有统计学依据的幻觉严重程度得分，通过基于 Wasserstein 的语义不稳定性来量化幻觉严重程度，超越了二元事实性检查。
2. 增强型 SMILE 框架： 扩展了 SMILE 框架，将其整合了上下文嵌入分布、归因不稳定性以及基于扰动的鲁棒性，形成了一个统一的统计流水线。
3. 归因不稳定性作为代理指标： 确立了基于 SHAP 的归因不稳定性作为语义幻觉行为的可靠指标，证明其在检测幻觉方面优于表面层面的词汇指标和 LIME。
4. 稳健的验证： 通过广泛的统计验证（相关性分析、自助置信区间）和消融研究，确认了该框架的鲁棒性；消融研究证明了诸如归一化、NER 保护和语义过滤等组件对于可靠估计至关重要。

作者得出结论，幻觉本质上与语义不稳定性相关，不能仅通过表面层面的词汇指标来完全表征。所提出的框架为 LLM 驱动的摘要系统的模型审计、漂移监测和基于阈值的质量保证提供了路径。

6. 局限性

作者坦诚地承认了以下局限性：

• 数据集规模： 评估是在相对较小的规模（34 篇文档）上进行的，这可能会限制泛化能力。
• 模型特定性： 实验仅限于单一摘要模型（BART-large-CNN）；需要在不同的 LLM 架构上进行更广泛的验证。
• 扰动约束： 受限的扰动策略可能无法捕捉现实世界中语言变化的完整多样性。
• 缺乏人工评估： 本研究依赖于自动化指标；未来的工作需要通过人工评估来使自动化严重程度估计与人类判断保持一致。