技术摘要：用于可靠长文本生成的选择性抽象

问题陈述

大语言模型（LLMs）容易出现事实错误，这削弱了用户信任，并限制了其在医疗和法律等高风险领域的应用。虽然存在不确定性估计机制来缓解这一问题，但目前的方法依赖于一种二进制的“全或无”决策：要么模型生成响应，要么完全放弃生成。这种二进制方法对于长文本生成来说过于严格。长篇响应通常包含许多具有不同不确定程度的事实陈述；由于单个不确定的细节而放弃整个生成过程会丢弃有价值的信息。相反，在不进行修改的情况下生成全文则面临包含幻觉的风险。本文指出，迫切需要一种细粒度的方法，允许模型在降低特异性（specificity）的同时提高可靠性，而不是直接丢弃整个响应。

方法论：选择性抽象 (Selective Abstraction, SA)

作者引入了选择性抽象（SA），这是一个使 LLMs 能够减少不确定内容的细节程度，而非将其完全移除的框架。其核心思想是将低置信度的陈述替换为更高置信度、较低特异性的抽象。

框架形式化

SA 通过**选择性风险（selective risk）和覆盖率（coverage）**的视角进行形式化：

• 风险（Risk）： 定义为生成文本中事实错误（幻的是）的比率。
• 覆盖率（Coverage）： 定义为相对于原始生成的保留信息的比例。
• 权衡（Trade-off）： 通过改变置信阈值 $\theta$，SA 诱导出一个权衡曲线：更高的阈值通过增加抽象程度来降低风险，但也会降低覆盖率（即减少特异性）。

原子级选择性抽象 (Atom-wise Selective Abstraction)

论文提出了一种特定的实例化方法，称为原子级选择性抽象，它通过一个四阶段流水线在陈述层面进行操作：

1. 生成（Generation）： LLM 生成针对提示词 $p$ 的初始响应 $T$。
2. 原子化（Atomization）： 将响应分解为原子陈述（atomic claims/atoms）。这些是简短、自洽的陈述，每个陈述表达一个单一事实（例如，“阿米莉亚·埃尔哈特出生于堪萨斯州的阿奇森”）。
3. 抽象（Abstraction）： 这是核心处理阶段，由三个步骤组成：
   • 置信度启发（Confidence Elicitation）： 模型为每个原子分配一个置信度分数。
   • 抽象生成（Abstraction Generation）： 对于置信度低于阈值 $\theta$ 的原子，模型生成一系列越来越通用的抽象序列（例如，“堪萨斯州的阿奇森” $\to$ “堪萨斯州” $\to$ “美国中西部” $\to$ “美国”）。该序列以完全放弃（$\top$）结束。
   • 选择（Selection）： 模型为抽象序列分配置信度分数。它从序列中选择满足置信阈值 $\theta$ 的最具体抽象。如果没有任何抽象能达到阈值，则对该原子进行放弃处理。
4. 重构（Reconstruction）： 将选定的抽象重构为连贯的文本 $T'$。

评估流水线

为了评估 SA，作者开发了一个用于开放式事实生成的端到端流水线：

• 风险测量： 使用代理式事实检查系统，将原子陈述与维基百科进行核实。如果找到证据，则该陈述被标记为“支持”；否则为“不支持”。风险计算为 $1 - \text{准确率}$。
• 覆盖率测量： 使用信息论度量。陈述的信息量通过其对兼容实体集合所提供的熵减量来量化（例如，“出生在伦敦”比“出生在欧洲”更具信息量，因为它更显著地缩小了可能的候选人群体）。覆盖率是 $T'$ 中保留的信息量与 $T$ 中信息量的比例。
• 指标： 性能通过 风险-覆盖率（RC）曲线 和 风险-覆盖率曲线下面积（AURC） 进行总结。较低的 AURC 表示更好的权衡。

核心贡献

1. 选择性抽象框架： 一个通过选择性风险和覆盖率形式化的、用于在长文本生成中权衡特异性与可靠性的通用框架。
2. 原子级实例化： 一种陈述级的程序，它选择性地将不确定的陈述替换为更高置信度的抽象，而不是直接删除它们。
3. 评估流水线： 一个全新的端到端开放式生成流水线，通过事实正确性实现风险量化，并通过保留内容的量化信息度量实现覆盖率量化。
4. 实证验证： 在六个开源 LLM 和两个基准测试（FactScore 和 LongFact-Objects）上展示了持续优于基线的表现。
5. 阈值选择算法： 一个基于分裂符合预测（split conformal prediction）的风险引导算法，用于选择能以高概率满足用户定义目标风险的置信阈值。

结果

作者在六个开源模型（包括 GPT-OSS, Qwen3, 和 Llama 3.3）上使用 FactScore 和 LongFact-Objects 基准测试对该方法进行了评估。

• 对比基线表现： 原子级 SA 在所有基线中表现最为出色，包括选择性删减（Selective Redaction，完全移除不确定的原子）、行内抽象（Inline Abstraction，从一开始就以更粗的粒度生成）以及自我修正（Self-Revision，事后重写）。
• AURC 提升： 在 FactScore 基准测试上，原子级 SA 比陈述移除法（Redaction）的 AURC 提升了高达 27.73%。在 FactScore 上平均提升 17.43%，在 LongFact 上平均提升 13.77%。
• 风险-覆盖率权衡： 该方法实现了更平滑的权衡曲线，在整个覆盖率范围内均优于基线。在相同的覆盖率水平下，原子级 SA 实现的风险显著降低（平均差距约为 10 个百分点），优于 Inline 和 Self-Revision 基线。
• 阈值选择： 所提出的算法成功选择了能使经验风险保持在用户定义目标风险附近的阈值，且在不同模型和数据集上均表现稳定。

意义与主张

论文认为，长文本生成的可靠性不是在回答与放弃之间的二元选择，而是特异性与正确性之间的一个光谱。这项工作的意义在于证明了降低特异性可以在保留大部分原意的同时，提升准确性和可靠性。

通过在单个陈述层面进行操作，所提方法避免了删除整个句子或陈述所带来的突发性信息丢失。相反，它提供了针对特定陈述的不确定性控制。作者将选择性抽象定位为迈向一种能够显式推理响应中合适细节程度的生成范式的步骤，并指出在高度敏感的场景下，较不具体的响应优于充满自信的错误。

论文对未来方向保持了谦逊的态度，指出抽象的质量很大程度上取决于置信度评分函数（研究发现口头化置信度优于基于对数概率的评分），并且对陈述之间依赖关系的建模（而非将其视为独立个体）可能会进一步提升效果。