AGSC: Adaptive Granularity and Semantic Clustering for Uncertainty Quantification in Long-text Generation

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）在长文本生成任务（如传记、开放式问答）中的广泛应用，**幻觉（Hallucination）**问题成为阻碍其可靠性的核心挑战。现有的不确定性量化（Uncertainty Quantification, UQ）方法在处理长文本时面临以下三大主要局限：

1. 效率与粒度的权衡（Efficiency-Granularity Trade-off）： 现有的细粒度方法（如将文本分解为原子事实）虽然能提高评估精度，但会导致计算开销和 LLM 调用次数剧增，难以在实际应用中平衡准确性与效率。
2. 聚合时的主题异质性（Topic Heterogeneity in Aggregation）： 长文本通常包含多个语义主题。如果对所有单元进行均匀聚合，次要内容或离题部分（Off-topic parts）可能会不成比例地影响整体不确定性评分，导致评估失真。
3. 中性信息利用不足（Underutilization of Neutrality）： 现有的基于自然语言推理（NLI）的方法（如 LUQ）往往直接丢弃 NLI 预测中的“中性（Neutral）”标签。然而，中性信息可能包含两种截然不同的情况：一是无关噪声（应跳过），二是认知不确定性（需要进一步细粒度分解）。直接丢弃会导致信息丢失或评估偏差。

此外，粗粒度的提示（Prompt）容易引发结构上的不确定性，导致不同采样样本在内容组织上差异巨大，简单的均匀聚合无法有效处理这种结构混乱。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 AGSC (Adaptive Granularity and GMM-based Semantic Clustering) 框架。该方法包含三个核心阶段：

2.1 基于 NLI 的自适应粒度触发 (Adaptive Granularity Triggering)

AGSC 利用 NLI 模型预测的“中性”概率作为触发器，动态决定对句子进行细粒度分解还是直接跳过，从而减少不必要的计算。

• 逻辑判断： 对于锚定响应（Anchor Response）中的句子 $s_j$，计算其在所有参考响应上的平均 NLI 分布。
  • 如果主导标签不是“中性”，直接保留该句子并计算不确定性。
  • 如果主导标签是“中性”，计算蕴含 - 矛盾间隙（Entailment-Contradiction Gap, $\Delta$）：
    $$\Delta(s_j) = | \bar{P}(\text{entail} | s_j) - \bar{P}(\text{contra} | s_j) |$$
  • 决策机制：
    • 若 $\Delta > \tau$（阈值）：表明存在潜在的认知不确定性（即内容模糊但相关），触发细粒度分解（将句子拆分为原子事实）。
    • 若 $\Delta \le \tau$：表明是无关噪声（Off-topic noise），直接标记为 SKIP，不参与后续计算。
• 优势： 有效过滤了无关的中性噪声，仅对真正需要验证的不确定部分进行昂贵的分解操作。

2.2 基于 GMM 的语义聚类 (GMM-based Semantic Clustering)

为了处理长文本中的主题异质性，AGSC 引入高斯混合模型（GMM）进行软聚类，以获取主题感知的权重。

• 流程：
  1. 将所有有效语义单元（经过自适应粒度筛选后的句子或原子事实）编码为向量。
  2. 使用 UMAP 进行降维，提高聚类鲁棒性。
  3. 拟合 K 组件高斯混合模型（GMM）。
• 软聚类权重： GMM 输出每个单元属于某个潜在主题簇 $k$ 的后验概率 $\gamma_{h,k}$。这不同于硬聚类，软聚类能更好地处理自然语言语义边界的模糊性。
• 作用： 这些概率作为主题感知权重，用于后续的不确定性聚合，降低次要或噪声主题对整体评分的影响。

2.3 不确定性聚合 (Uncertainty Aggregation)

• 簇内不确定性： 计算每个主题簇内锚定单元不确定性的加权平均。
• 全局不确定性： 根据各簇在锚定响应中的“质量”（即成员概率之和 $M_k$）进行加权，得到最终的不确定性分数 $U_{Final}$。
  $$U_{Final} = \sum_{k=1}^{K} w_k \cdot U_k$$
  其中 $w_k$ 是归一化的簇质量权重。

3. 主要贡献 (Key Contributions)

1. 自适应粒度策略： 提出了一种利用 NLI 中性信号动态触发细粒度分解或过滤噪声的机制，在保持高评估精度的同时，显著降低了计算成本。
2. 基于 GMM 的语义聚类： 引入高斯混合模型对潜在语义主题进行建模，并分配主题感知权重。这种方法在聚合阶段有效抑制了次要或噪声部分的干扰，使长文本的不确定性估计更加稳定。
3. SOTA 性能与效率提升： 在 BIO 和 LongFact 两个长文本基准测试中，AGSC 实现了与事实性（Factuality）最高的相关性（SOTA），同时相比全原子分解方法（如 LUQ-Atomic），推理时间减少了约 60%。

4. 实验结果 (Results)

• 数据集： 在 BIO（传记生成）和 LongFact（长上下文事实性评估）数据集上进行评估。
• 指标： 使用 FActScore 作为事实性真值，计算不确定性分数与 FActScore 之间的皮尔逊（PCC）和斯皮尔曼（SCC）相关系数。
• 性能表现：
  • AGSC 在所有实验设置下均取得了最高的相关性，优于包括语义熵（SE）、LexSim、图方法、KLE、SPUQ 以及 LUQ 及其变体在内的所有基线模型。
  • 在更具挑战性的 LongFact 数据集上（主题多样、推理路径复杂），AGSC 表现出更强的鲁棒性，而基线方法性能下降明显。
• 消融实验：
  • 移除自适应粒度： 性能显著下降，证明简单忽略中性句子或均匀处理是不够的。
  • 移除语义聚类（或替换为 K-Means）： 性能下降，特别是在 LongFact 上。证明软聚类（GMM）在处理语义边界模糊和主题异质性方面优于硬聚类。
• 效率分析：
  • AGSC 通过跳过无关的中性句子，大幅减少了原子事实分解（$T_{atom}$）的开销。
  • 相比 LUQ-Atomic，AGSC 在保持性能优势的同时，将总推理时间降低了约 60%，处于帕累托前沿的最优位置。

5. 意义与局限性 (Significance & Limitations)

意义：

• 解决长文本 UQ 痛点： 首次系统性地解决了长文本生成中“粒度选择”与“主题聚合”的矛盾。
• 实用性强： 通过自适应机制，在计算成本和评估精度之间找到了最佳平衡点，使得在资源受限场景下对长文本进行可靠的不确定性量化成为可能。
• 理论创新： 重新定义了 NLI 中“中性”标签的利用方式，将其从单纯的噪声过滤转变为区分“无关”与“不确定”的关键信号。

局限性 (Limitations)：

1. 依赖 NLI 校准： 自适应机制高度依赖 NLI 模型对“中性”类别的准确分类。在高度专业领域（如医疗、法律），通用 NLI 模型可能无法区分事实矛盾与中性补充，导致误判。
2. “回声室”幻觉： 与所有基于一致性（Consistency-based）的方法一样，如果 LLM 在所有采样中一致地生成相同的幻觉（系统性错误），AGSC 会给出低不确定性评分，从而产生误导。
3. 结构约束： 该方法主要针对事实性描述文本（如传记），对于逻辑推理（数学、代码）等“真理单元”非句子级的内容，效果可能不佳。
4. 语言限制： 目前实验仅限于英语，且依赖英语中心的嵌入和 NLI 模型，在低资源语言中可能因嵌入空间各向异性而失效。

总结

AGSC 通过自适应粒度控制和语义软聚类，成功解决了长文本生成中不确定性量化的效率与精度难题。它不仅显著提升了评估指标与事实性的相关性，还大幅降低了计算成本，为构建更可信的长文本生成系统提供了重要的技术路径。