💬 NLP

Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

本文引入了参考抽象度（Reference Abstraction）、摘要抽象度（Summary Abstraction）和抽象比率（Abstraction Ratio）作为量化文本摘要抽象程度的原则性启发式指标，并通过在 XSUM 数据集上的实证验证，证明了这些度量指标能够有效区分抽取式与生成式模型，并识别潜在的幻觉问题。

原作者： Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

发布于 2026-07-14

📖 2 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在给学生的读书报告打分的老师。学生必须将一本 50 页的小说总结成一页纸。

多年来，老师们一直使用一种叫做 ROUGE 的工具来评分。ROUGE 就像是一个严格的复制粘贴检测器。如果学生的报告使用了与另一位老师编写的“完美”标准答案完全相同的词汇和句子，它就会给出高分。但问题在于，ROUGE 并不在乎学生是否真的读了这本书。如果学生只是逐字逐句地抄袭标准答案，他们会得到 A；如果他们写了一些全新的内容但漏掉了一些关键词，他们会得到 C。

这篇论文的作者 Praveenkumar、Rakesh 和 Kali 说：“等一下！我们需要一种方法来衡量学生究竟是在进行多少真正的思考和重写（抽象），还是仅仅在进行复制（抽取）。”他们还希望能够捕捉到那些凭空捏造（幻觉）书中并不存在的内容的学生。

为此，他们发明了三个新的“超级指标”：参考抽象度 (Reference Abstraction, RA)、摘要抽象度 (Summary Abstraction, SA) 以及 抽象比率 (Abstraction Ratio, AR)。

三个新工具

把原始书籍看作是源文本 (Source)，把完美的标准答案看作是参考文本 (Reference)，把学生的作品看作是摘要 (Summary)。

参考抽象度 (RA)： 它衡量的是标准答案本身对书籍的重写程度。这个答案是在进行创造性的重写，还是仅仅在复制句子？
摘要抽象度 (SA)： 它衡量的是学生的摘要对书籍的重写程度。
抽象比率 (AR)： 这是其中的明星指标。它比较了学生的创造力与标准答案的创造力。它会问：“学生的重写程度是比老师的多、少，还是差不多？”

他们是如何衡量的（秘诀所在）

作者们并没有仅仅计数单词。他们使用了一个涉及调和平均数（一种会对大小差异进行惩罚的平均值类型）和三次非重叠因子的特殊公式。

这里有一个魔术技巧：他们将文本中不与原书重叠的部分进行三次方运算。

为什么要进行三次方？想象一下，你正试图分辨一对几乎完全相同的双胞胎。如果你用普通方式观察，它们看起来是一样的。但如果你把它们放在显微镜下并放大 1000 倍，你会突然发现其中一个身上有一个微小的黑痣，而另一个却没有。

如果一个学生复制了 95% 的文本，那么“新”的部分就很小。
如果他们复制了 98%，那么“新”的部分甚至更小。
通过对差异进行三次方运算，数学会将这个微小的差距放大。复制过程中 3% 的差异会使得分产生 16 倍的巨大差异。这使得该指标对于那些几乎没有尝试重写任何内容的学生变得极其敏感。

他们的发现（实验）

团队在来自 XSUM 数据集（使用非常具有创造性的短摘要）和 CNN/DailyMail 数据集（使用更多复制粘贴式摘要）的 100 篇文章上进行了测试。他们通过四个 AI 模型运行了测试：BART-large-cnn、Pegasus-xsum、DistilBart 和 MT5-small。

以下是数据告诉他们的信息：

复读机： 被命名为 BART 和 DistilBart 的模型是终极的复读机。在 XSUM 测试中，它们的 SA（摘要抽象度）得分在 0.12 到 0.26 之间。这意味着它们几乎没有进行任何重写，只是在缝合原句。
创作者： 被命名为 Pegasus 和 MT5 的模型是真正的作者。在 XSUM 上，它们的 SA 得分在 1.15 到 1.99 之间。它们实际上是在重写内容。
幻觉陷阱： 这是最重要的发现，但这取决于你使用的是哪种“标准答案”（参考文本）。
- 当“标准答案”（Reference）本身已经非常有创意时（如 XSUM），模型通常的重写程度会低于老师（AR < 1）。
- 然而，当“标准答案”主要是从书中复制时（如 CNN/DailyMail），那些具有创造力的模型（Pegasus 和 MT5）发生了一些奇怪的事情。它们的 抽象比率 (AR) 远高于 1.0。
- AR 为 1.0 意味着学生的重写程度与老师完全一致。
- AR 达到 3.74（Pegasus 在 CNN/DailyMail 的一元语法测试中达到的数值）意味着学生正在进行比老师多得多的重写。
- 至关重要的是，作者发现当参考文本是抽取式的（复制较多）且 AR > 1 时，这标志着高度的幻觉风险。模型为了听起来更有创意，正在编造书中并不存在的事实。

为什么这很重要（以及为什么 ROUGE 不够好）

该论文指出，ROUGE 对此视而不见。

BART 在 CNN/DailyMail 上得到了很高的 ROUGE 分数 (0.393)，因为它忠实地复制了文本。在 ROUGE 看来，它表现得近乎完美。
Pegasus 得到了较低的 ROUGE 分数 (0.197)，因为它进行了重写。ROUGE 认为它的表现变差了。
但是，新的 AR 指标显示，在抽取式数据集上，Pegasus 实际上在产生幻觉，因为它的 AR 为 3.74（针对一元语法）。

该论文认为，如果没有这些新指标，我们可能会认为那个复读机模型（BART）是最好的，而那个富有创造力的模型（Pegasus）其实是危险的，因为它正在编造事实。

他们并未声称的内容

作者们很谨慎，并没有声称他们“解决了”假新闻或完美摘要的问题。

他们承认他们的指标只关注表层词汇（n-gram），而不是深层含义。如果一个学生使用了不同的词汇但表达了完全相同的意思，该指标仍会将其计为“重写”，而这正是他们针对这项特定测试所想要的结果。
他们表示，使用三次幂 (3) 是一个经过测试且被证明有效的设计选择，而非物理定律。
他们建议这些指标是一种筛选工具。它们标记出那些需要人类去检查是否存在谎言的摘要。它们不会自动修复谎言，它们只是指出了问题所在。

核心结论

该论文介绍了一种新的 AI 摘要评分方法，它不仅仅是检查是否复制粘贴。它使用了一个特殊的数学技巧（对非重叠部分进行三次方运算）来识别 AI 是否因为“过于有创意”而正在编造事实。

他们证明了在 100 份文档上，这些指标可以清晰地分辨出哪些模型在复制（SA ≈ 0.12–0.26），哪些模型在写作（SA ≈ 1.15–1.99）。他们还展示了当模型的抽象比率 (AR) 在具有复制型参考文本的数据集上超过 1.0 时，这预示着潜在的幻觉风险，而其他评分系统却会忽略这一点。

这就像是给老师提供了一个新的放大镜，能够揭示出那些旧评分系统完全无法察觉的、“编造事实”的细微痕迹。

技术摘要：用于评估文本摘要抽象性的度量指标

问题陈述
当前的文本摘要评估范式过度依赖于 ROUGE 和 BERTScore 等表面层面的指标，这些指标通过衡量生成摘要与人工编写的参考摘要之间的重叠程度来进行评估。虽然这些指标在评估相对于参考摘要的质量方面非常有效，但它们无法衡量忠实度（对源文档的依据性）或抽象性（摘要偏离抽取式复制的程度）。一个摘要可以通过忠实地复现一个本身包含幻觉内容的参考摘要来获得高 ROUGE 分数，或者通过过度抽取来实现。现有的抽象性代理指标（如新型 n-gram 比率）在 token 层面是二元的，且未能考虑到文档长度的不对称性，也无法在不同的重叠水平之间提供渐进式的判别能力。目前缺乏原则性的、定量的度量方法来评估生成文本与源文档之间的关系，且该评估独立于参考摘要。

方法论
作者提出了一组由三个互补的、基于源文档依据的指标组成的度量体系：参考抽象度 (Reference Abstraction, RA)、摘要抽象度 (Summary Abstraction, SA) 和 抽象比率 (Abstraction Ratio, AR)。这些指标旨在通过一种结合了调和平均长度权重与三次非重叠放大因子的公式来量化抽象性。

公式设计：
- 参考抽象度 (RA)： 衡量金标准参考摘要固有的抽象性。其计算方式为参考长度 ( $R$ ) 与源文档长度 ( $O$ ) 的调和平均值，并受非重叠比例的三次方调制： $RA = \frac{2RO}{R+O} \times (1 - c_R)^3$ ，其中 $c_R$ 是参考摘要与源文档之间的归一化重叠度。
- 摘要抽象度 (SA)： 与 RA 类似，该指标衡量生成的摘要 ( $S$ ) 相对于源文档的抽象性： $SA = \frac{2SO}{S+O} \times (1 - c_S)^3$ 。
- 抽象比率 (AR)： 一个无量纲的比率，用于比较生成摘要与参考摘要的抽象度。它分离了非重叠因子，以确保与绝对文档长度无关： $AR = \frac{(1 - c_S)^3}{(1 - c_R)^3 + \epsilon}$ 。
设计原理：
- 调和平均数： 用于惩罚极端的长度不对称，确保面对长源文档时，极短的摘要会得到较低的基础得分，从而反映出更高的抽象需求。
- 三次方放大： 项 $(1-c)^3$ 在抽取边界附近（即重叠度 $c \approx 1$ 时）提供了非线性敏感性。它放大了重叠度微小差异（例如 0.95 与 0.98 之间）的影响，从而实现对抽取式与抽象式行为的锐利判别。
- 无量纲比率： AR 在定义时不包含调和平均数因子，以确保其为一个纯粹的比较指标，其解释值围绕 1.0 展开（即 $AR \approx 1$ 表示生成的摘要与参考摘要的抽象水平一致）。

核心贡献

原则性指标： 引入了 RA、SA 和 AR 作为启发式指标，通过基于源文档依据而非匹配参考摘要的方式，来衡量偏离抽取式复制的程度。
连续分级： 不同于二元化的忠实度检测器（如 FactCC），这些指标提供了具有可解释阈值的连续得分，能够区分轻微的改写与严重的伪造。
长度归一化： 使用调和平均数和归一化重叠率解决了先前研究中关于文档长度不对称性的局限性。
筛选工具： 这些指标作为一种筛选机制，用于识别可能需要人工评估潜在幻觉的摘要（特别是当 $AR > 1$ 即模型抽象程度显著高于人类参考水平时）。

实验结果
作者在 100 篇文档（50 篇来自 XSUM，50 篇来自 CNN/DailyMail）上对四种摘要模型进行了评估：BART-large-cnn、Pegasus-xsum、DistilBart 和 MT5-small。

模型类型辨析： 指标成功区分了抽取偏向型模型（BART、DistilBart）与抽象型模型（Pegasus、MT5）。
- 抽取式模型： 显示出较低的摘要抽象度（ $SA \approx 0.12–0.26$ ）和极低的抽象比率（ $AR \approx 0$ ），表明其与源文档高度重叠且抽象性极低。
- 抽象式模型： 显示出较高的 SA 值（ $SA \approx 0.96–1.77$ ）。
数据集特征： RA 证实了 XSUM 的参考摘要（ $RA_1 = 3.55$ ）比 CNN/DailyMail 的参考摘要（ $RA_1 = 0.61$ ）具有显著更高的抽象性。
幻觉检测：
- 在 CNN/DailyMail 数据集（具有抽取式参考摘要）上，像 Pegasus 和 MT5 这样的抽象式模型产生了 $AR > 1$ 的情况，表明它们引入了超出参考摘要范围的新内容。例如，Pegasus 在 44% 的 CNN/DM 文章中触发了“高幻觉风险”分类。
- 在 XSUM（具有抽象式参考摘要）上，所有模型的 $AR < 1$，其中 Pegasus 最接近参考水平（ $AR_2 = 0.92$ ）。
与 ROUGE 的互补性： 研究表明 ROUGE 和 AR 捕捉的是独立的维度。例如，在 CNN/DM 上，BART 获得了最高的 ROUGE-1 分数（0.393）且幻觉风险极低（ $AR \approx 0$ ），而 Pegasus 的 ROUGE-1 较低（0.197）但幻觉风险很高（$AR = 3.74$）。这表明仅靠 ROUGE 无法检测出模型何时在“高质量评分背后进行幻觉”。

意义与主张
本文声称，RA、SA 和 AR 通过解决摘要质量（与参考摘要的匹配度）与忠实度（对源文档的依据性）之间的脱节问题，为现有的评估框架提供了必要的补充。作者将这些指标定位为并非取代 ROUGE 或 BERTScore，而是作为重要的筛选工具，能够：

以原则性的、有界的方案量化抽象程度。
识别模型抽象水平与人类参考水平发生显著偏差的摘要，从而标记潜在的幻觉以供人工复核。
提供一个连续尺度，允许优先处理人工评估（例如，$AR > 2.0$ 的摘要需要立即关注）。

作者指出，这些指标是更细粒度的幻觉分解（如实体幻觉指数 EHI）的前驱，因为它们首先在分析幻觉的具体性质之前，先识别出“是否存在”幻觉。该工作强调，高抽象性并不本质上意味着质量低下，而是模型抽象水平与参考摘要抽象水平之间的不匹配（由极端的 AR 值表示）信号，提示需要进一步验证。