Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models

该研究提出了一种基于开源大语言模型（qwen2.5-72b）和 llm_extractinator 框架的本地化部署管道，用于从放射学报告中按 RECIST 标准提取纵向肿瘤信息，在荷兰 CT 报告测试中实现了高准确率，证明了开源模型在保障数据隐私的同时能有效支持临床纵向数据分析。

要点

这篇论文讲述了一个关于**“用 AI 读懂癌症病历”的有趣故事。为了让你轻松理解，我们可以把这项研究想象成“给癌症患者建立一本智能的‘成长日记’"**。

以下是用大白话和比喻为你拆解的核心内容：

1. 背景：为什么我们需要这个？

想象一下，医生（放射科医生）每次给癌症患者做 CT 扫描后，都会写一份长长的文字报告。

• 现状：这些报告就像手写的日记，里面记录了肿瘤是变大了、变小了，还是消失了。但是，这些日记写得千奇百怪，有的像散文，有的像表格，而且都是非结构化的文字。
• 痛点：人类医生想从几千份这样的“日记”里找出规律（比如某种药对谁有效），就像要在大海里捞针，非常累且容易出错。
• 旧方法：以前的电脑程序像死板的机器人，只能识别固定的关键词，稍微换个写法就懵了。
• 新挑战：现在的超级 AI（大语言模型）很聪明，能读懂文字，但它们大多是**“黑盒”（闭源软件），就像把病人的日记交给一个不透明的外国公司处理，医院担心隐私泄露**。

2. 解决方案：我们造了一个“本地化智能管家”

研究团队（来自荷兰拉德堡德大学医学中心）开发了一套完全开源、可以在医院内部电脑运行的系统。

• 核心工具：他们用一个叫 llm_extractinator 的框架，就像给 AI 配了一个超级智能的“翻译官”。
• 大脑模型：这个翻译官使用的是 Qwen2.5-72b 模型（一个非常强大的开源 AI 大脑）。
• 工作方式：
  1. 读日记：AI 会同时读取患者过去和现在的两份 CT 报告（就像对比今天的日记和昨天的日记）。
  2. 找规律：它根据国际通用的RECIST 标准（就像一本“肿瘤测量说明书”），自动把报告里的信息整理成整齐的表格。
  3. 分类整理：它能把肿瘤分成三类：
     • 目标病灶 (TL)：主要盯着的“坏蛋”。
     • 非目标病灶 (NTL)：其他的“小喽啰”。
     • 新病灶 (NL)：新冒出来的“新敌人”。
  4. 跨时间连线：最关键的是，它能认出同一个肿瘤在两次检查中是不是同一个，并记录它的变化（比如：上个月是 10 毫米，这个月变成了 8 毫米）。

3. 实验过程：一场“找茬”游戏

为了测试这个 AI 管家的能力，研究人员做了个实验：

• 素材：找了 50 对（共 100 份）真实的荷兰语 CT 报告。
• 裁判：请了两位人类专家医生，像阅卷老师一样，手动把这些报告里的肿瘤信息全部整理出来，作为“标准答案”。
• 比赛：让 AI 也做一遍同样的整理工作，然后对比 AI 的答案和人类专家的答案。

4. 结果：AI 表现惊人

结果非常漂亮，AI 几乎达到了人类专家的水平：

• 准确率极高：在提取具体数据（比如肿瘤大小、位置编号）时，准确率高达 93% - 95%。
  • 这就好比让 AI 做 100 道填空题，它能做对 94 道以上。
• 隐私安全：因为所有计算都在医院自己的电脑（本地）完成，病人的数据从未离开过医院，就像在自家书房里整理日记，没有外人偷看。
• 可复制：因为代码是开源的，其他医院也可以免费拿去用，不用担心被软件公司“卡脖子”。

5. 遇到的困难（AI 也会犯的小迷糊）

虽然 AI 很聪明，但也遇到了一些像人类一样的小挑战：

• 格式混乱：如果报告里的表格换行了，或者排版很乱，AI 偶尔会看错行（就像人看报纸时看串行）。
• 模糊描述：如果医生写“肿瘤不可测量”或者用了一些特殊的符号（比如星号），AI 偶尔会犹豫是该填“无数据”还是填个大概数字。
• 描述不一致：有时候医生这次说“多个淋巴结”，下次说“淋巴结群”，AI 需要很聪明才能判断这是同一回事。

总结：这意味着什么？

这项研究就像给医疗界装上了一个**“开源的、私密的、超级聪明的图书管理员”**。
它证明了：

1. 不需要昂贵的商业软件，我们也能用开源 AI 处理复杂的医疗数据。
2. 隐私可以保护，数据不出院，AI 也能干活。
3. 未来可期：有了这个工具，医生们可以更快地从海量病历中总结规律，研发新药，或者更精准地制定治疗方案。

简单来说，就是用开源的 AI 技术，把医生手写的、杂乱的癌症病历，自动变成了整齐、可分析的数据库，而且全程都在医院内部安全完成。

技术摘要

以下是基于论文《Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models》的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心痛点：放射科报告（Radiology Reports）包含了关于肿瘤负荷、治疗反应和疾病进展的关键纵向信息。然而，这些报告通常以非结构化的叙事格式存在，导致自动化分析困难。
• 现有局限：
  • 数据隐私与可复现性：虽然大语言模型（LLMs）在临床文本处理方面取得了进展，但大多数最先进的系统（SOTA）是专有的（Proprietary），限制了其在注重隐私的医疗环境中的应用。
  • 纵向处理缺失：现有的临床文本提取工作大多将放射科报告视为独立文档，忽略了肿瘤学解读本质上是纵向的（Longitudinal）。根据实体肿瘤疗效评价标准（RECIST），跨时间点的病灶变化（如大小、新发病灶）对于确定治疗反应至关重要。
  • 传统方法不足：早期的基于规则或监督深度学习的方法缺乏泛化能力，且需要大量的人工标注和工程资源。

2. 方法论 (Methodology)

本研究提出了一套完全开源、可本地部署的流水线，用于从放射科报告中提取和链接纵向信息。

• 数据集 (Dataset)：
  • 来源：荷兰拉德堡德大学医学中心（Radboudumc）2021 年 3 月至 2025 年 3 月间的胸部/腹部 CT 报告。
  • 筛选：筛选出同一患者在不同时间点拥有多份报告，且报告中至少两次出现"target"（靶病灶）术语的病例。
  • 规模：最终测试集包含 50 对 报告（共 100 份独立报告），另有 10 对用于调试和提示工程优化。
• 技术框架 (Framework)：
  • 使用开源框架 llm_extractinator，这是一个语言无关、可本地部署的临床文本处理流水线。
  • 模型选择：经过对比测试，选定 qwen2.5-72b-instruct (量化版本 q4_K_M) 作为基础大语言模型。
  • 硬件：在两块 NVIDIA A100 GPU (40GB) 上运行，温度参数（temperature）设为 0 以确保确定性输出。
• 提示工程 (Prompt Engineering)：
  • 输入策略：将同一患者的两份报告拼接后输入模型，使模型能够跨时间推理，识别病灶是持续存在、消退还是新发。
  • 规则约束：
    1. 严格遵循 RECIST 标准。
    2. 提取当前时间点的测量值（表格中最右侧数值）。
    3. 正确识别序列/图像标识符（SE-IMA），避免将其误读为尺寸。
    4. 为每个病灶分配稳定的标签（TL_ 靶病灶，NTL_ 非靶病灶，NL_ 新发病灶），基于解剖描述确保跨时间追踪的一致性。
    5. 输出尺寸单位为整数毫米。
• 输出解析 (Output Parser)：
  • 使用 Pydantic v2 模式定义严格的 JSON 输出结构。
  • 包含三个嵌套模型：Lesion（病灶信息）、Report（按 UID 分组）、OutputParser（聚合多份报告）。
  • 所有字段均为可选，允许模型在无非靶病灶等情况下返回空列表。
• 评估指标：
  • 由两名独立读者进行人工标注作为金标准。
  • 评估三个属性：标签一致性（跨时间点的识别与命名）、尺寸准确性、序列/图像标识符（SE-IMA）准确性。
  • 统计指标包括：属性级准确率、报告级无错误率、病灶级一致性。

3. 主要贡献 (Key Contributions)

1. 首个纵向提取演示：据作者所知，这是首次展示基于 LLM 从放射科报告中进行纵向信息提取的研究。
2. 开源可复现流水线：提供了一个完全开源、可本地部署的解决方案，解决了医疗数据隐私和专有模型黑盒的问题。
3. 新的任务定义：提出了基于 RECIST 标准的多时间点病灶链接（Multi-timepoint lesion linkage）任务形式。
4. 高性能验证：在保持数据隐私的前提下，实现了超过 93% 的属性级提取准确率。

4. 实验结果 (Results)

在 50 对报告（100 份报告）的评估中，系统表现优异：

• 靶病灶 (Target Lesions, TL)：
  • 属性级准确率：93.7% (95% CI: 92.2–95.0)。
  • 报告级无错误率：83.5%。
  • 标签一致性极佳，所有标签属性均正确。
• 非靶病灶 (Non-Target Lesions, NTL)：
  • 属性级准确率：94.9% (95% CI: 92.5–96.6)。
  • 报告级无错误率：88.0%。
  • 注：标签一致性略低，主要源于放射科医生在不同报告中对同一组病灶（如淋巴结）描述方式的不一致（如“多个淋巴结”vs 单独列出），而非模型识别错误。
• 新发病灶 (New Lesions, NL)：
  • 属性级准确率：94.0% (95% CI: 91.1–96.1)。
  • 报告级无错误率：95.5%。
• 整体表现：
  • 平均每对报告包含约 30 个属性，62.0% 的报告对实现了所有属性无错误提取。
  • 两名人工读者之间的病灶级一致性高达 93.3%，表明人工标注本身也存在一定的主观差异，模型表现已接近人类专家水平。

5. 讨论与意义 (Significance)

• 临床可行性：研究证明了开源 LLM 在处理多时间点临床文本任务时，能够达到具有临床意义的可靠性水平。
• 隐私保护：通过本地部署，敏感的患者数据无需离开机构边界，解决了医疗 AI 应用中的隐私和安全顾虑。
• 可扩展性：该方法为从常规临床文本中提取大规模结构化纵向数据提供了可扩展的解决方案，有助于支持回顾性人群分析、AI 模型开发及评估。
• 局限性分析：
  • 格式问题：当表格跨行或拆分时，模型偶尔会提取错误值（如提取了第一段末尾的值而非正确延续）。
  • 模糊描述：对于“不可测量”（如标记为"nm"或"-"）的病灶，模型偶尔会错误地返回 null 或数值，但总体处理合理。
  • 改进方向：通过提供更多具体的上下文示例（In-context examples）和明确的规则，可以进一步解决格式和模糊描述带来的不一致性。

总结：该论文成功展示了一个基于开源大语言模型（Qwen2.5-72B）和专用框架（llm_extractinator）的本地化解决方案，能够高精度地从非结构化的放射科报告中提取符合 RECIST 标准的纵向肿瘤数据。这标志着医疗自然语言处理（NLP）向隐私安全、可复现且高效的临床辅助工具迈出了重要一步。