Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text

技术摘要：临床文本中基于反向探测的令牌级不确定性量化

问题陈述
将大语言模型（LLM）部署于临床文本摘要任务，引发了关于可靠性的关键安全担忧。虽然不确定性量化（UQ）在通用领域已得到充分研究，但其在临床文本中的应用面临独特挑战：临床错误往往稀疏（出现在原本正确的句子中的单个单词或数字），且错误成本高昂。现有的 UQ 方法主要在序列层面运行，或依赖生成多个输出候选项（采样）来估算不确定性。这些方法不适合临床环境，原因如下：

1. 粒度：它们无法将不确定性定位到长文档中的特定令牌或片段。
2. 效率：对长临床文档进行重复采样计算成本高昂。
3. 数据稀缺：专家标注的临床文本稀缺，难以可靠地评估新的生成内容。
4. 架构：传统的令牌级探测（如掩码语言建模）是 BERT 等双向模型的原生特性，而非自回归解码器专用 LLM 的特性。

此外，该论文将 UQ 与幻觉检测区分开来。UQ 是一种自我评估形式，衡量模型对其自身预测的置信度，独立于真实标签；而幻觉检测则依赖外部事实核查。

方法论：反向探测
作者提出了反向探测（Reverse Probing），这是一个无需生成新文本、直接从现有标注摘要中估算令牌级不确定性的框架。其核心创新在于对标准 UQ 范式的“反转”：不是让模型生成文本并评估输出，而是将现有临床文本反馈至冻结的 LLM 中，以探测其内部状态。

方法论步骤如下：

1. 基于提示的掩码：为了弥合与仅解码器模型之间的架构差距，系统依次将临床摘要中的每个目标令牌替换为掩码占位符。随后，提示模型根据上下文预测被掩码的令牌。
2. 上下文扰动（“反向”机制）：该框架利用**简要住院病程（BHC）**作为患者特定证据的来源。它对每个令牌执行两次前向传递：
   • 带上下文：将摘要与 BHC 一起输入。
   • 不带上下文：将摘要单独输入（不含 BHC）。
     核心假设是：受支持的令牌在模型的表示空间中将与 BHC 对齐，而未被支持的（幻觉）令牌则缺乏这种基础。缺乏对齐即作为潜在的不确定性信号。
3. 特征提取：系统从模型的内部激活和输出分布中提取四类特征：
   • 内部信号：隐藏状态范数、层间变化（L2 距离、余弦相似度）以及注意力指标（熵、指向 BHC 的权重、层间漂移）。
   • 不确定性信号：输出分布形状指标（香农熵、边界、基尼系数、自由能）。
   • 医学知识信号：通过 scispaCy/UMLS 进行命名实体识别（NER）获取的领域特定上下文、医学实体密度以及令牌频率/逆文档频率（IDF）。
   • 分布信号：“带 BHC"与“不带 BHC"传递之间的概率和熵的差异（例如，$\Delta E$、$\Delta H$、KL 散度）。
4. 监督分类：在这些特征上训练监督分类器（XGBoost 或 CatBoost），以预测每个令牌的连续不确定性分数。该模型旨在识别与未支持片段相关的内部激活模式。

主要贡献

1. 首个临床摘要令牌级 UQ 框架：反向探测是首个专为估算临床摘要任务中令牌级不确定性而设计的框架。
2. 计算效率：通过消除多采样并在现有文本上运行，该方法将推理时间从基于采样的基线所需的数小时缩短至数分钟。
3. 新基准：作者建立了临床摘要 UQ 的首个基准，在两个专家标注数据集（Hallucinations-MIMIC-DI 和 Hallucinations-Generated-DI）上，针对六个 LLM（包括通用和生物医学模型）评估了八个适配的基线。
4. 可解释的洞察：该研究确定了与不确定性相关的具体内部信号，为临床环境中的可解释人工智能提供了一条路径。

结果
评估表明，反向探测显著优于所有适配的基线：

• 性能：在 MIMIC-DI 数据集（人工撰写的摘要）上，反向探测（使用 BioMistral-7B）实现了 0.5478 的 AUPRC，而最强基线（SE Probes）仅为 0.1313。这代表了约 4 倍 的提升。
• 鲁棒性：该方法在不同规模（7B 至 70B）和预训练条件（通用与生物医学）的模型上均保持了一致的优越性，尽管较小的模型（7B/8B）通常优于较大的 70B 模型。作者推测，较大的模型可能过于自信，压缩了不确定性信号的动态范围。
• 效率：反向探测在单张 GPU 上处理 100 个样本仅需不到 10 分钟，而基于采样的方法（如语义熵）完成相同任务约需 7 小时。
• 特征分析：特征重要性分析显示，能量差（存在 BHC 时自由能的变化）和邻域上下文（滑动窗口统计）是所有模型中最一致的不确定性预测因子。这表明临床文本中的不确定性通常是局部片段的属性，而非孤立令牌的属性。

意义与主张
该论文主张，反向探测为高风险临床环境中的不确定性估算提供了一种实用且可扩展的解决方案，在这些环境中，为评估而生成新文本是不可行的。通过将现有文本视为探测工具，该方法将不确定性估算转化为一个可解释的过程，将预测追溯至特定的内部信号（特别是与临床证据缺乏对齐）。

作者谦逊地指出了局限性，包括：

• 模型覆盖：该框架主要在 Mistral 和 Llama 架构上进行了验证。
• 大模型适应性：在 70B 模型上性能下降，表明需要针对更深网络开发自适应特征提取策略。
• 数据稀缺：对专家标注数据集的依赖限制了评估的规模。
• 任务泛化：研究仅限于出院小结，向其他临床文本类型（如放射学报告）的泛化尚未验证。

最终，该工作论证了模型内部会针对未支持的内容编码不确定性，而反向探测提供了一种机制，无需生成采样的计算开销即可高效地获取这些信号。