Automated Extraction of Cancer Registry Data from Pathology Reports: Comparing LLM-Based and Ontology-Driven NLP Platforms

该研究通过对比基于大语言模型的 Brim Analytics 系统与基于本体的 DeepPhe 系统在胰腺癌和乳腺癌病理报告中的表现，证实了前者在多种注册变量提取上具有更高且更稳定的准确率，能够有效支持癌症登记数据的自动化处理流程。

要点

这篇论文就像是一场**“自动阅卷机”的实战大比拼**。

想象一下，医院里每天都有成千上万份病理报告（就像学生的考卷），上面写满了医生手写的、格式各异的诊断文字。癌症登记处的工作人员（就像老师）需要把这些文字里的关键信息（比如肿瘤有多大、有没有扩散）提取出来，填进一个标准的电子表格里。

过去，这项工作全靠人工，既累人又容易出错，就像让老师一份份手抄试卷内容，效率极低。现在，科学家们想试试用两种不同的**“智能阅卷机”**（AI 系统）来自动完成这个任务。

这场“考试”的两位选手

1. 选手 A：Brim Analytics（基于大语言模型的“聪明导师”）

   • 特点：它像是一个读过很多书、非常聪明的人类导师。你给它一本“操作手册”（告诉它要提取什么、遇到模糊的词该怎么办），它就能像人一样去理解报告里的上下文。
   • 优势：它很灵活，能读懂各种花哨的写法，甚至能处理医生写得乱七八糟的段落。

2. 选手 B：DeepPhe（基于“字典”的“死板图书管理员”）

   • 特点：它像是一个拿着厚厚专业字典的图书管理员。它只认字典里有的词，如果报告里出现了字典里没有的写法，它就容易懵圈。
   • 优势：如果报告写得非常规范（像填好的表格），它跑得很快且很准。

考试题目（数据）

为了测试它们，研究人员从约翰霍普金斯医院找来了两类“考卷”：

• 胰腺癌报告（330 份）：这是“困难模式”，因为胰腺的位置复杂，医生写法千奇百怪，有的像写文章，有的像填表格。
• 乳腺癌报告（34 份）：这是“跨学科测试”，看选手能不能在不重新学习的情况下，直接处理另一种癌症的报告。

考试结果

1. 总体表现：选手 A 完胜

• Brim（导师）：在胰腺癌考试中，它的准确率高达 96.7%。即使到了乳腺癌考试，准确率也只下降了 3 个百分点，依然保持在 93.7% 的高水平。它就像个全能学霸，不管题目怎么变，都能稳稳拿高分。
• DeepPhe（图书管理员）：在“淋巴结（N 分期）”这种比较标准的题目上，它表现不错（96.4%）。但在“肿瘤大小（T 分期）”这种需要灵活理解的题目上，它栽了跟头，胰腺癌准确率只有 83.6%，乳腺癌更是跌到了 70.6%。

2. 为什么会有差距？

• Brim 的“小心谨慎”：Brim 犯错的类型主要是“漏判”（比如把有肿瘤说成没肿瘤，或者把大肿瘤说小）。在医学上，这通常比“误判”更安全，因为漏掉的可以人工复查，但误判可能会让病人接受不必要的大手术。
• DeepPhe 的“过度自信”：DeepPhe 犯错的类型主要是“乱猜”（比如把没有肿瘤说成有，或者把小肿瘤说大）。因为它太依赖字典，一旦遇到字典里没有的写法，它就倾向于强行匹配，导致“假阳性”很多。

3. 速度对比
两个系统都很快！处理一份报告平均只需要 1 到 4 秒。这就像从“人工抄写一小时”变成了“机器秒出结果”，效率提升巨大。

核心发现与比喻

• 格式很重要：

  • 如果报告是结构化表格（像填空题），两个系统都表现很好。
  • 如果报告是自由文本（像作文），DeepPhe 就“晕”了，错误率飙升；而 Brim 依然能读懂“作文”里的意思。
  • 比喻：DeepPhe 只能做填空题，Brim 既能做填空题，也能做阅读理解。

• 跨疾病能力：

  • Brim 在胰腺癌上训练好后，直接去考乳腺癌，成绩依然很好。这说明它学会了“医学逻辑”，而不是死记硬背。
  • DeepPhe 在乳腺癌上表现下滑明显，说明它太依赖特定疾病的“字典”，换个领域就不灵了。

这对我们意味着什么？

这项研究告诉我们，AI 已经准备好帮医生和登记员“打杂”了。

未来的工作模式可能是这样的：

1. AI 先做第一遍：像 Brim 这样的系统快速扫描所有报告，把 90% 以上的关键信息自动填好。
2. 人类做最后把关：医生或登记员只需要检查 AI 标记的“不确定项”或“高风险项”。

这就好比自动驾驶：AI 负责在高速公路上平稳行驶（处理标准报告），人类司机只在复杂路况或紧急情况下接管方向盘（处理疑难杂症）。

总结：
这篇论文证明了，基于大语言模型（LLM）的 AI 系统（如 Brim）比传统的基于字典的系统（如 DeepPhe）更聪明、更灵活，尤其是在面对医生千变万化的书写习惯时。它们不仅能大幅减轻人工负担，还能让癌症数据更标准、更快速，为未来的癌症研究和治疗提供强大的数据支持。

技术摘要

论文技术总结：基于 LLM 与本体驱动 NLP 平台的癌症登记数据自动化提取对比研究

1. 研究背景与问题 (Problem)

癌症登记是肿瘤监测、流行病学研究和质量监控的基石。在美国，每年有超过 190 万新发癌症病例需要登记，其核心数据来源于非结构化的病理报告。

• 当前痛点：目前的数据标准化工作主要依赖经过认证的肿瘤登记员进行人工提取，这是一个劳动密集型、资源消耗大且容易产生解释差异的过程。
• 技术挑战：虽然自然语言处理（NLP）和大语言模型（LLM）提供了自动化潜力，但现有评估多在理想化条件下进行。现实中的病理报告在结构、术语和格式上差异巨大（从自由文本到结构化模板），且临床标准随时间演变。
• 核心问题：现有的自动化提取平台（特别是基于 LLM 和本体驱动的系统）能否在真实部署环境下，跨不同癌种（泛化性）和不同报告格式，准确提取癌症登记所需的结构化变量？

2. 研究方法 (Methodology)

2.1 研究设计

这是一项回顾性研究，由约翰·霍普金斯大学医学院西德尼·金梅尔综合癌症中心（SKCCC）主导。研究对比了两种截然不同的自动化提取平台：

1. Brim Analytics (LLM 驱动)：
   • 机制：基于 LLM 的云端平台，采用“规范驱动”的变量抽象框架。临床专家明确定义提取规则（包括变量定义、歧义解决策略、空值返回逻辑），LLM 执行上下文理解。
   • 特点：规则与模型训练解耦，逻辑透明、可审计，无需重新训练即可修改规则。
   • 配置：使用 GPT-4.1 mini，在胰腺癌数据上进行了两轮迭代优化（从纯指南定义到基于错误分析的规则细化），然后直接应用于验证集和乳腺癌数据（零样本迁移）。
2. DeepPhe (本体驱动)：
   • 机制：基于 Apache cTAKES 框架的开源系统，采用“双流水线”架构。结合领域特定本体（DeepPhe 概念模型）和基于规则的提及检测，生成映射到 NCI 术语表的结构化输出。
   • 特点：开箱即用，无需针对特定疾病进行系统级定制。
   • 配置：使用默认管道设置，未进行任何自定义。

2.2 数据集

• 来源：约翰·霍普金斯医院临床记录。
• 样本量：
  • 胰腺腺癌：330 份验证报告（2009-2025 年），包含 72.1% 自由文本和 27.9% 结构化模板。
  • 乳腺癌：34 份独立验证报告（2006-2025 年），用于评估跨癌种泛化性。
• 金标准：由受过培训的临床专家根据美国癌症联合委员会（AJCC）第 8 版和委员会（CoC）指南进行标注，并经过双人盲审验证（Kappa=1.0）。

2.3 提取目标变量

选取了 7 个关键临床变量：

• TNM 分期：T 分期（原发肿瘤）、N 分期（淋巴结）、M 分期（转移）。
• 其他关键指标：组织学分级、肿瘤部位、切缘状态、OncoTree 分类。

2.4 评估指标

使用准确率、精确率、召回率、F1 分数、Cohen's κ系数以及处理时间（秒/份报告）进行综合评估。

3. 关键结果 (Results)

3.1 胰腺癌表现 (Pancreatic Adenocarcinoma)

• Brim Analytics：表现卓越，7 个变量的平均准确率达到 96.7%。
  • T 分期：96.4% (F1=0.977)
  • 组织学分级：97.0%
  • 切缘状态：98.2%
  • 错误模式：倾向于保守（假阴性略多于假阳性），这在临床上是可接受的，因为避免过度分期比漏诊更重要。
• DeepPhe：表现参差不齐。
  • N 分期表现优异（96.4%），与 Brim 相当。
  • T 分期显著不足：准确率仅 83.6%，且存在严重的假阳性偏差（高召回率但低精确率，导致过度分类肿瘤范围）。
  • M 分期精确率极低（51.1%），导致 F1 分数仅为 0.632。

3.2 乳腺癌表现与跨癌种泛化性 (Breast Cancer & Generalizability)

• Brim Analytics：展现出极强的泛化能力。
  • 平均准确率 93.7%（仅比胰腺癌低 3.0 个百分点）。
  • T 分期达到 100% 准确率。
  • 尽管乳腺癌和胰腺癌在解剖术语和分期标准上差异巨大，但基于指南的规则定义使其能够成功迁移。
• DeepPhe：跨癌种性能下降明显。
  • 平均准确率下降至 83.3%（较胰腺癌下降 7.2 个百分点）。
  • T 分期严重退化：准确率降至 70.6%，Kappa 值接近随机水平（0.076）。
  • M 分期召回率极低（20%），表明系统难以识别乳腺癌报告中的转移指标。

3.3 报告格式的影响

• Brim：对格式不敏感。自由文本报告的错误率（4.6%）仅略高于结构化模板（1.1%）。
• DeepPhe：严重依赖结构化模板。在自由文本报告中错误率飙升至 21.4%（胰腺癌数据），而在结构化报告中仅为 3.3%。

3.4 处理效率

• 两个平台的处理速度均处于操作可行范围：
  • Brim: 0.9 秒/份（胰腺）至 4.6 秒/份（乳腺癌）。
  • DeepPhe: 1.1 秒/份（胰腺）至 3.5 秒/份（乳腺癌）。

4. 主要贡献 (Key Contributions)

1. 真实世界部署评估：首次在同一研究中对基于 LLM 和本体驱动的系统进行了严格的、跨癌种、跨报告格式的对比评估，填补了现有文献在“部署现实条件”下验证的空白。
2. LLM 驱动的优越性证明：证明了基于明确临床指南定义的 LLM 抽象框架（Brim）在复杂、非结构化文本提取中，比传统的本体驱动方法（DeepPhe）具有更高的准确性和鲁棒性，特别是在处理自由文本和跨癌种迁移时。
3. 格式敏感性分析：揭示了报告格式（自由文本 vs. 结构化模板）对传统 NLP 系统性能的巨大影响，指出本体驱动系统在遗留档案（多为自由文本）中的局限性。
4. 错误模式分析：区分了两种系统的错误类型——LLM 系统倾向于保守（漏报），而本体系统倾向于激进（误报），为临床工作流中的“人机回环”设计提供了依据。

5. 意义与展望 (Significance)

• 临床工作流变革：研究结果表明，自动化提取系统（特别是 LLM 驱动）已达到临床可接受的精度，可作为“第一层过滤”，预填充登记字段，让注册员专注于复杂案例和异常值审核，从而大幅提高登记效率。
• 可扩展性：Brim 的架构证明了通过显式规则定义而非黑盒模型训练，可以实现跨癌种的快速迁移和指南更新，降低了维护成本。
• 未来方向：
  • 需要在多中心、不同电子病历（EHR）系统环境中进行验证。
  • 将自动化提取集成到实时登记工作流中进行前瞻性评估。
  • 扩展至肺癌、结直肠癌等其他复杂分期系统的癌种。
• 政策影响：为国家级癌症监测基础设施采用自动化抽象技术提供了实证支持，有助于加速多机构数据（如 AACR GENIE 项目）的标准化和整合。

总结：该研究证实了 LLM 驱动的、基于指南的提取平台在从非结构化病理报告中提取癌症登记数据方面，比传统的本体驱动系统更具优势，特别是在处理格式多样性和跨癌种泛化性方面，为实现大规模、自动化的癌症数据标准化铺平了道路。