📄 health informatics

Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

本研究表明，尽管确定性本体论和基于嵌入的流水线可以使德国异构临床试验条件数据在 ICD-10 标准下实现部分统一，但大语言模型（特别是 GPT-4o）通过实现与专家人工编码近乎完美的契合度，显著优于该方法，从而为跨注册库的疾病图谱分析提供了一种更优的解决方案。

原作者： Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，试图组织一个规模宏大的图书馆，其中的每一本书都用不同的语言编写，使用不同的字母表，有时甚至只有一张写着“关于某个病人的事”的便签而不是标题。这就是目前临床试验数据的现状。科学家们进行成千上万次实验来测试新药，但他们将这些试验注册在世界各地的不同数据库中。有些使用严格的医学代码，有些使用华丽的医学词典，还有些只是用普通的英语或德语直接写出来。这就像是在统计有多少人在研究“心脏问题”时，一个数据库说的是“心脏问题（cardiac issues）”，另一个说的是“心脏麻烦（heart trouble）”，而第三个干脆写着“哎哟，我胸疼”。如果没有一种方法将所有这些不同的描述转化为一种通用的语言，就很难看清科学家们究竟在研究哪些疾病，以及研究领域存在哪些空白。

为了解决这个问题，研究人员需要一位翻译官。在医学界，疾病的“通用语言”被称为 ICD-10，这是一份对所有已知健康状况进行分类的庞大列表。挑战在于如何将临床试验描述中那些混乱、杂乱的描述自动转化为正确的 ICD-10 代码。长期以来，科学家们一直试图构建计算机程序来充当严格的图书管理员，遵循一套死板的规则手册，将单词与代码进行匹配。最近，一种被称为“大语言模型”（LLM）的超智能计算机大脑进入了讨论领域。这些模型在海量文本上进行了训练，擅长理解上下文和细微差别，几乎就像一个能够读懂言外之意的人。大问题是：这些 AI 大脑能否比旧有的基于规则的系统更好地完成临床试验描述的翻译工作？

本论文直接深入探讨了这个问题，通过构建一个高科技流水线，将来自德国四个主要注册机构的临床试验描述翻译成标准的 ICD-10 代码。研究人员创建了一个“确定性流水线（deterministic pipeline）”，这是一种高级说法，指的是一个多步骤的机器人流程。首先，机器人提取疾病提及项。然后，它尝试使用严格的医学词典（本体论）和一个寻找相似含义的智能搜索引擎（嵌入）来进行匹配。他们甚至添加了第二个版本，通过对排名靠前的猜测进行重新排序，以观察它是否能找到正确答案。但他们并未止步于此。他们还测试了一个强大的大语言模型（GPT-4o），但带有一个转折：他们强迫这个 AI 遵循与人类专家完全相同的逐步逻辑和规则，仅仅是为了看看这个 AI 是否能成为一个比机器人更好的“图书管理员”。

结果对于这种老派的方法来说是一个令人震惊的消息。当他们用这个基于规则的机器人流水线去对比人类医学专家编写的“金标准”代码时，在寻找特定的三位字母代码时，机器人的正确率仅为 49% 左右。它在猜测大类（比如“心脏病”对比“肺部疾病”）方面表现尚可，正确率约为 59%，但在细节处理上却很吃力。机器人经常会被听起来相似的疾病搞混，或者无法在它的词典中找到正确的代码。

然而，大语言模型的表现则完全处于另一个量级。当同一个 AI 被赋予相同的规则和任务时，它达到了惊人的 96.7% 的准确率。它几乎完美地与人类专家保持一致。论文指出，AI 的超能力不仅在于了解这些代码，更在于其理解句子“上下文”的能力。例如，如果一项试验提到了“成年发病型糖尿病（adult-onset diabetes）”，AI 会立即知道这意味着“2 型糖尿病”，而机器人可能会卡在尝试匹配精确单词的步骤上。此外，对于机器人放弃并拒绝处理的提及项，AI 成功为其中约 82% 的内容分配了合理的代码。

作者发现，机器人的主要失败不在于对代码进行重新排序，而在于甚至无法找到正确的代码。如果正确的代码不在机器人的初始候选名单中，再多的重新排序也无法挽救。相比之下，AI 则更擅长弄清楚正确的代码“应该是”什么，即使文本非常混乱或模糊。该研究得出结论：虽然旧有的基于规则的系统在获取疾病趋势的大致轮廓方面还可以，但大语言模型在把握细节方面显然是胜出的。他们建议，未来研究临床试验格局的研究应该使用这些 AI 工具，以便获得更清晰、更准确的疾病研究图景，从而确保研究工作真正聚焦于最重要的健康需求。

技术摘要：用于德国临床试验 ICD-10 标准化处理的本体与嵌入式流水线对比大语言模型

问题陈述
德国的临床试验注册于多个异构系统中，包括德国临床试验注册库 (DRKS)、ClinicalTrials.gov、欧盟临床试验注册库 (EUCTR) 以及临床试验信息系统 (CTIS)。这些注册库使用不同的分类术语（如 ICD-10-GM、MeSH、MedDRA 以及自由文本描述）来记录健康状况。这种缺乏标准化的现象阻碍了跨注册库分析，限制了其与全球疾病负担 (GBD) 等全球分类体系的互操作性，并掩盖了疾病研究优先事项的真实图景。虽然人工编码是可行的，但其劳动强度大且容易出现编码员间的一致性问题。本研究旨在解决开发一种自动化、可重复的方法，将这些多样化的疾病描述统一映射到 WHO ICD-10 分类中的需求。

方法论
作者开发并评估了两种不同的方法，用于将疾病提及项映射到 WHO ICD-10 代码：一种是确定性的混合流水线，另一种是受限于人类专家所使用的相同决策逻辑的大语言模型 (LLM)。

数据源与预处理：
- 研究分析了 2013 年至 2025 年间注册的 23,061 项与德国相关的干预性试验。
- 提取疾病字段，进行归一化处理（包括德语到英语的翻译和同义词合并），并将描述拆分为独立的提及项。
- 使用标识符和标题匹配的层次化链接方法，实现跨注册库的记录合并。
混合流水线（四阶段法）：
- 第 1 阶段（提取与归一化）： 解析疾病字段，区分实际的疾病术语与叙述性的研究描述。
- 第 2 阶段（提及项分类）： 将提及项分类为可 ICD 映射（第一层级：A–Q, U；第二层级：R, S, T, O, Z）或不可映射（第三层级：健康志愿者、药代动力学研究）。该阶段使用基于银标准标签训练的有监督弹性网络逻辑回归分类器，并针对明确的疾病关键词设有保守的覆盖机制。
- 第 3 阶段（确定性本体映射）： 通过 UMLS 路径生成候选代码：
  - DRKS： 从 ICD-10-GM 直接映射。
  - ClinicalTrials.gov： 通过 UMLS 将 MeSH 术语链接至 ICD-10。
  - CTIS/EUCTR： 通过 UMLS 将 MedDRA 术语进行链接。
  - 回退机制： 若本体链接失败，则使用 Jaro-Winkler 字符串匹配。
- 第 4 阶段（基于嵌入的排序）： 使用 SapBERT 嵌入检索前 10 个语义相似的 ICD-10 候选代码。混合置信度评分结合了本体证据、嵌入相似度 (SapBERT)、词法相似度 (Jaro-Winkler) 以及特定的加分/减分项（例如针对精确匹配、模糊代码、治疗领域一致性等）。同时测试了交叉编码器重排序器（方法 2）以优化候选结果。
LLM 评估：
- 对 GPT-4o 进行了并行评估，评估样本为 500 个分层抽样的提及项（包括高置信度、评审带、拒绝带及第三层级案例）。
- 至关重要的是，LLM 并非被要求自由生成代码。它被约束为遵循与人类评审员完全相同的决策级联：尝试直接分配、在必要时使用试验背景信息、在无法映射至 ICD-10 时映射至 GBD 类别，并仅在最后手段才分配“NO_ICD”。
评估框架：
- 通过两名医学评审员对 500 个样本子集进行独立编码，建立金标准（评分者间一致性 $\kappa \ge 0.70$ ）。
- 使用准确率 (Accuracy)、精确率 (Precision)、召回率 (Recall)、F1 分数以及在三字符、块 (Block) 和章节 (Chapter) 层级的 Cohen's $\kappa$ 来衡量性能。
- 误差分析区分了家族内错误（同一疾病领域）与跨章节错误。

核心贡献

流水线开发： 创建了一个感知注册库的四阶段流水线，该流水线整合了确定性本体映射 (UMLS) 与基于嵌入的语义检索 (SapBERT)，用于协调多注册库的试验数据。
对比基准测试： 使用统一的专家参考标准，对复杂的确定性流水线与受约束的 LLM (GPT-4o) 进行了严格的正面交锋比较。
误差特征化： 详细的误差分析表明，很大一部分流水线误差（约 25%）源于候选生成失败（即正确的代码从未被检索到），而非排序错误。
恢复分析： 展示了 LLM 在处理流水线拒绝的提及项（拒绝带中 82.4% 的情况）或排除的提及项（第三层级中 62.8% 的情况）时，能够分配出具有临床合理性的代码。

结果

流水线性能： 基准混合流水线在三字符 ICD-10 层级上相对于专家标准达到了 49.0% 的准确率，Cohen's $\kappa$ 为 0.487。在更宽泛的层级上性能有所提升（章节层级准确率为 58.7%， $\kappa$ = 0.561）。交叉编码器重排序器（方法 2）仅提供了边际改进。
候选召回率： 正确的代码出现在检索到的候选集中的比例仅为 73.7%，这表明如果正确候选缺失，基于排序的方法存在性能上限。
LLM 性能： 受约束的 LLM 显著优于流水线，在三字符层级实现了 96.7% 的准确率，Cohen's $\kappa$ 为 0. 966。
裁决 (Adjudication)： 报告的 96.7% 准确率反映的是经过裁决的结果，即专家评审员解决了 LLM 与参考标准之间的初始分歧。在裁决前，LLM 相对于参考标准的原始准确率为 62.7% (Cohen's $\kappa$ = 0.625)；在对这些分歧进行专家评审后，准确率上升至 96.7%，这表明许多初始差异是由于措辞模糊或背景解释问题，而非模型失效。
错误类型： 大多数流水线错误发生在同一疾病家族内 (64.3%)，而跨章节误分类占 30.4%。

意义与主张
本文声称，实现异构注册库间临床试验疾病数据的自动化标准化是可行的，并支持使用统一的 ICD-10 框架进行跨注册库分析。作者得出结论：虽然确定性本体和嵌入式流水线与专家编码达到中度一致，但受结构化决策框架约束的 LLM 达到了近乎完美的共识（经专家标准裁决后）。

研究认为，现代 LLM 在该领域的价值主要不在于从零开始生成代码，而在于临床推理、歧义消除以及在外部知识源提供的合理候选集内进行评估。研究结果表明，只要在能够减轻幻觉并确保与既定编码逻辑对齐的落地框架内运行，LLM 可以有效地支持德国临床试验中健康状况分布的分析，并作为对其他非标准化试验特征进行分类的有力工具。

技术摘要：用于德国临床试验 ICD-10 标准化处理的本体与嵌入式流水线对比大语言模型

类似论文