技术摘要：ClinicalBench 与 EpiKG

1. 问题陈述

当前的临床推理基准（如 HealthBench Professional、MedQA）在“干净”的病例 vignettes 上评估大语言模型（LLM），这些病例中的事实是预先提供的。然而，现实世界中的电子健康记录（EHR）使用需要一个前置步骤：从杂乱、纵向的病历中进行忠实检索。

在真实的 EHR 中，正确答案取决于对以下内容的导航：

• 否定：“患者否认胸痛。”
• 时间性：区分当前状况、已解决的历史状况以及未来的假设情况。
• 体验者归因：区分患者自身的状况与家庭成员的病史（例如，“姐姐曾患心肌梗死”）。

现有的检索增强生成（RAG）和知识图谱（KG）系统往往扁平化这种上下文。它们丢弃了断言元数据（例如，将“排除糖尿病”与“患有糖尿病”同等对待），并且未能根据问题意图进行检索路由。这造成了认识论传播鸿沟，即在提取和存储过程中断言状态的丢失导致推理错误，即使底层模型本身具备能力。

2. 方法论

2.1 EpiKG 系统

作者提出了EpiKG，这是一个旨在端到端保留认识论元数据的患者级临床 KG-RAG 系统。它实现了三个核心机制：

1. 认识论断言模式：一个 7 值分类体系（$\alpha \in \{Pres., Abs., Poss., Cond., Hypo., Fam.Hx., Hist.\}$）扩展了 i2b2 分类体系，将“历史”与“家族史”分离。该标签贯穿于提取、OMOP 映射和 KG 实例化过程中。
2. 双时间 + NLP 断言存储：边存储有效时间、事务时间（Snodgrass 传统）以及 NLP 推导出的时间性标签（$\tau_a \in \{Past, Current, Future\}$）。
3. 意图感知路由：一个分类器将问题映射到特定的图遍历策略：
   • Change（变化）：跨入院记录的集合差分。
   • Current_State（当前状态）：过滤 $\tau_a = Current$ 或有效性开放的边。
   • Historical（历史）：选择过去的边，并推断在早期入院记录中存在但在最新记录中缺失的状况为“已解决”状态。
   • Default（默认）：双向 BFS 遍历。

2.2 ClinicalBench：评估基准

为了对断言感知检索进行压力测试，作者引入了ClinicalBench：

• 队列：43 名 MIMIC-IV 患者（便利样本；32 名有两次入院记录，11 名有一次）。
• 范围：400 个问题，涵盖 9 个断言敏感类别（否定、条件、不确定性、家族史、序列、当前状态、持续时间、历史、变化）。
• 设计：一种分布内压力测试，问题基于用于检索的同一份去标识化病历撰写，侧重于检索忠实度而非跨站点泛化。
• 消融条件：
  • C1：仅 LLM。
  • C2/C2b：普通 RAG（TF-IDF / 稠密/Contriever）。
  • C3：无断言的 KG-RAG。
  • C4：有断言但无意图路由的 KG-RAG。
  • C4g：意图感知 KG-RAG（完整系统）。
  • C6：长上下文（所有笔记拼接）。
  • C7：确定性 KG（无 LLM）。

2.3 评估协议

• 模型：在六个 LLM 上进行评估（Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B）。
• 指标：
  • 主要终点：在由两名外部医生（Hird 和 Nadeem）以一致严格评分裁决的 $n=50$ 个项目上，进行留作者出配对精确 McNemar 检验。
  • 敏感性终点：确定性关键词评估器（$n=362$，排除变化类）、三名医生多数投票（$n=100$）以及神谕意图分类。
• 数据完整性：作者承认自动生成的 v2 参考答案存在 56% 的缺陷率（由于 NLP 分类器错误），并基于部分修正后的数据集报告结果，同时透明地说明了金标准的局限性。

3. 关键结果

3.1 主要终点（盲审作者）

在外部医生裁决（$n=50$）上进行的留作者出配对精确 McNemar 检验显示：

• C4g vs. C1：$\Delta = +22.0$ 个百分点 (pp)。
• 置信区间：95% Newcombe 置信区间 $[+5.1, +31.5]$。
• 显著性：$p = 0.0192$。
  这证实了当由独立医生评估时，意图感知 KG-RAG 显著优于仅 LLM 的基线。

3.2 架构新颖性与消融

• 检索与路由：仅检索（C2b，稠密 RAG）相比 C1 提供了巨大增益（+29.0 pp）。然而，在不进行路由的情况下添加断言（C4）实际上在时间类别上比 C3 的表现更差（-3.8 pp）。
• 路由效应：意图感知路由（C4g）恢复并扩展了增益。
  • C2b $\to$ C4g（关键词）：+8.84 pp（$p = 1.79 \times 10^{-3}$）。
  • C2b $\to$ C4g（神谕）：+12.43 pp。
• 类别交互：仅断言有助于断言敏感类别（例如，否定 +22.7 pp），但损害了时间类别（例如，历史 -30.0 pp）。路由逆转了这些劣势。

3.3 跨模型收敛

所有六个模型都从 C4g 架构中受益。然而，改进幅度与模型的基线强度呈负相关（$\beta = -1.123, r = -0.921, p = 0.009$）。作者将此解释为回归均值，而非结构化检索可以替代模型参数数量的证据。

3.4 SliceBench（复杂性研究）

一项较小的案例研究（6 名患者，144 个问题）表明存在依赖复杂性的效应，其中 KG-RAG 的增益在就诊次数更多的患者中更大（C 级：+5.0 pp 对比 A 级：+0.6 pp），尽管这未达到总体统计显著性。

4. 贡献与意义

本文做出了三项主要贡献：

1. ClinicalBench：一种新颖的、断言敏感的基准，旨在对真实 EHR 上的检索忠实度进行压力测试，揭示聚合分数所掩盖的类别条件交互作用。
2. EpiKG 与认识论传播鸿沟：形式化了临床 NLP 流程中断言元数据的丢失，并实现了一个系统，将断言和时间元数据作为一等属性在检索过程中予以保留。
3. 架构验证：实证证据表明，意图感知路由是实现结构化检索益处的关键组件。本文证明，在不进行路由的情况下携带断言标签可能会降低性能，而按问题意图进行路由则能显著提高跨入院记录的临床问答表现。

意义：
作者认为，虽然推理基准衡量的是干净输入上临床推理的“最后一公里”，但“第一公里”是从杂乱的病历中读取正确的患者。这项工作提出，表示是临床 AI 未被充分测量的先决条件。研究结果表明，对于临床问答而言，保留认识论元数据（否定、时间性、归因）并使检索策略与问题意图保持一致，比单纯增加模型规模或使用长上下文窗口更具影响力。

局限性与范围：
本文的声明较为谨慎：

• 这是一项单站点、分布内压力测试，而非多站点表型验证。
• 参考答案存在已知缺陷（v2 版本错误率为 56%），作者明确指出该基准是一个“探针”，而非临床部署就绪性的决定性衡量标准。
• 作者循环性（设计者、构建者和内部评估者）通过外部医生裁决和跨模型复现得到缓解，但仍是一个结构性局限。
• 该工作并未声称已具备临床部署就绪性；它指出治理、安全性和多站点验证是未来部署的先决条件。