Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

该研究通过评估多种大语言模型策略，证明了结合微调临床模型与提示工程可从电子病历中高效、精准地提取自身免疫性风湿病患者的大麻使用状态及原因，从而为相关观察性研究和临床决策支持提供可扩展的解决方案。

要点

这篇论文就像是在教一群超级聪明的“数字侦探”如何从海量的医疗笔记中，找出谁在用大麻，以及他们为什么用。

想象一下，医院里堆积如山的病历本（电子健康记录 EHR），就像是一片巨大的、杂乱无章的文字森林。医生们在这些笔记里随手写下的只言片语，可能藏着关于患者是否使用大麻的重要线索，但人工去读几百万份笔记，就像试图在森林里一片一片地数树叶，既慢又容易看花眼。

为了解决这个问题，研究团队（来自斯坦福和埃默里大学等）请来了几位**“人工智能侦探”**（也就是大语言模型，LLM），看看谁能最快、最准地找到这些线索。

1. 任务是什么？

他们有两个主要任务：

• 任务一：抓现行（状态识别）。医生在笔记里提到大麻时，到底是在说“患者正在用”、“患者以前用过但停了”、“患者否认用过”，还是“这根本不是在说大麻”（比如只是提到“大麻风”这种病）？
• 任务二：问原因（动机识别）。如果患者确实在用，是为了什么？是为了止痛、助眠、止吐、缓解焦虑，还是增进食欲？

2. 他们请了哪些“侦探”？

研究团队测试了两种不同类型的“侦探”：

• 通用型侦探（通用大模型）：像 GPT-OSS-20B、Gemini、LLaMA 等。它们见多识广，读过互联网上几乎所有的书，非常聪明，擅长理解复杂的上下文和潜台词。
• 专科型侦探（医疗专用模型）：像 GatorTron。这位侦探专门读过无数医学文献和病历，虽然它可能不如通用侦探那么“博学”，但它对医学术语和病历的“行话”非常熟悉。

3. 他们是怎么训练的？（给侦探做“模拟考”）

在正式上岗前，研究团队先找了两名人类专家（就像资深教官），从病历里随机挑出几百段文字，人工标注出正确答案。

• 比如，教官指着一段话告诉侦探：“看，这里医生写‘患者自述用大麻缓解关节痛’，这属于‘正在使用’且原因是‘止痛’。”
• 然后，他们让不同的 AI 侦探去猜这些答案，看看谁猜得最准。

4. 结果如何？（谁赢了？）

这就好比一场**“田忌赛马”**，不同的任务需要不同的侦探：

• 在“抓现行”（判断是否在用）的任务中：
  专科型侦探（GatorTron）赢了！
  因为它经过专门的“特训”（微调），非常擅长处理这种分类明确的医疗任务。它的准确率高达 90%。这就像是一个经验丰富的老护士，一眼就能看出病历里是“真话”还是“假话”，而且速度极快，不需要像通用侦探那样绕弯子思考。

• 在“问原因”（为什么要用）的任务中：
  通用型侦探（GPT-OSS-20B）赢了！
  因为“为什么用大麻”这个问题很复杂，有时候医生写得模棱两可，或者藏在长句子里。通用侦探更擅长理解语境和潜台词，能像老练的心理咨询师一样，从字里行间读出患者是为了“止痛”还是为了“助眠”。它的准确率达到了 77%，比其他模型都要好。

一个小插曲： 研究还发现，给这些侦探设置不同的“思考温度”（Temperature）很重要。如果把温度调得太高，它们就会变得像喝醉了一样，胡言乱语；把温度调低（比如 0.3），它们就会变得冷静、严谨，准确率更高。

5. 发现了什么新大陆？（临床洞察）

当这些 AI 侦探跑完了所有病历（从 2015 年到 2024 年），他们画出了一幅**“大麻使用地图”**：

• 趋势上升：像滚雪球一样，从 2015 年的 7.4% 涨到了 2024 年的 13.0%。
• 谁在用？：类风湿关节炎（RA）患者用得最多，强直性脊柱炎（AS）患者用得最少。
• 为什么用？：止痛永远是头号原因。但有趣的是，从 2022 年开始，助眠成了第二大原因，而且越来越流行。
• 疼痛的悖论：以前，用大麻的患者通常痛得更厉害（说明他们在努力自救）；但到了 2023-2024 年，情况似乎反过来了，没用大麻的人反而报告了更高的疼痛。这可能意味着大麻的止痛效果因人而异，或者随着时间推移，患者的疼痛管理策略发生了变化。

6. 总结：这告诉我们什么？

这篇论文就像是在说：“不要迷信一个万能的神器。”

• 如果你需要快速、准确地分类（比如判断有没有病），用专门训练过的医疗小模型（像 GatorTron）既省钱又高效。
• 如果你需要理解复杂的故事和原因（比如为什么生病、为什么用药），强大的通用大模型（像 GPT-OSS）更有优势。

最终意义：
这项技术让研究人员能够像“读心术”一样，从海量的、杂乱的医生手写笔记中，自动提取出患者真实的自我管理行为。这不仅帮助科学家更好地理解疾病，未来甚至可能帮助医生在诊室里更精准地询问：“您最近是不是因为睡不着在尝试用大麻？”从而提供更个性化的治疗方案。

简单来说，这就是用 AI 把“乱糟糟的病历”变成了“清晰的临床数据”，让医疗研究跑出了加速度。

技术摘要

这是一份关于利用大型语言模型（LLM）从电子健康记录（EHR）中提取患者报告的大麻使用状况及其原因的技术总结。

论文标题

从电子健康记录中提取患者报告的大麻使用情况和使用原因：大型语言模型的基准测试研究
(Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models)

---

1. 研究背景与问题 (Problem)

• 临床需求：自身免疫性风湿病（ARDs）患者常伴有慢性疼痛，大麻作为一种潜在的辅助治疗手段，其使用日益普遍。准确识别患者的使用状况及原因对于理解治疗模式和预后至关重要。
• 数据挑战：相关的大麻使用信息主要存在于非结构化的临床文本（如医生笔记）中，难以通过传统方法大规模提取。
• 现有局限：
  • 传统的基于规则或词典的自然语言处理（NLP）方法难以维护，且难以适应多样化的临床记录习惯。
  • 虽然 LLM 在临床文本分析中展现出潜力，但关于其在特定临床任务（如大麻使用提取）中的可靠性、泛化能力，以及提示策略（Prompting）和解码参数（如 Temperature）对性能的影响，尚缺乏系统的实证研究。
• 核心目标：评估并比较不同 LLM（通用领域 vs. 临床领域预训练）在提取大麻使用状态（当前使用、过去使用、否认使用等）和使用原因（疼痛、睡眠、焦虑等）方面的性能，并探索最佳的技术路径。

2. 方法论 (Methodology)

数据源与预处理

• 数据来源：来自斯坦福大学医学中心 2015-2024 年间 5,580 名 ARD 患者的电子健康记录（超过 200 万条临床笔记）。
• 候选片段提取：
  • 使用基于词典的模糊字符串匹配（Fuzzy String Matching，相似度阈值 90%）筛选包含大麻相关术语的笔记。
  • 提取匹配词前后各 25 个 token 的上下文窗口（共 50 词），形成候选片段。
  • 最终获得 43,689 个相关片段。

人工标注与基准构建

• 标注团队：两名领域专家进行多轮迭代标注。
• 任务一：使用状态分类（831 个片段，4 类）：
  1. 非真实提及/不确定
  2. 否认使用
  3. 既往使用（Positive past use）
  4. 当前使用（Positive current use）
• 任务二：使用原因分类（1,027 个片段，6 类）：
  1. 疼痛、2. 恶心、3. 睡眠、4. 焦虑/压力/情绪、5. 食欲、6. 未提及/未知。
     注：若片段包含多个原因，仅标注第一个提及的原因。

模型评估策略

研究对比了提示式生成模型（Prompt-based Generative Models）与监督微调模型（Fine-tuned Models）：

• 通用领域模型：Gemini-2.0, LLaMA-3.1, GPT-OSS-20B。
• 临床领域模型：MedGemma-4B, GatorTron (345M 参数)。
• 提示策略：测试了 8 种不同的提示策略（从零样本到少样本，结构化推理等）。
• 解码参数：测试了 0.0 到 1.0 的 Temperature 设置，以评估随机性对性能的影响。
• 微调实验：对 GatorTron 进行监督微调（Fine-tuning），使用贝叶斯优化（Optuna）调整超参数，用于状态分类任务。
• 评估指标：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 分数，并计算 95% 置信区间（通过 Bootstrap 重采样）。

3. 关键贡献 (Key Contributions)

1. 系统性的基准测试：首次系统比较了通用 LLM 与临床专用 LLM 在提取复杂药物使用信息（状态 + 原因）方面的性能差异。
2. 任务依赖性的发现：揭示了模型性能高度依赖于任务类型：
   • 对于结构化分类任务（如使用状态），经过微调的小型临床模型（GatorTron）优于大型生成式模型。
   • 对于语义复杂任务（如使用原因），大型生成式模型（GPT-OSS-20B）凭借更强的上下文推理能力表现更佳。
3. 提示工程与参数的实证：证明了不存在一种通用的“最佳提示策略”适用于所有模型；降低 Temperature（如 0.3）通常能提高生成的稳定性和可重复性。
4. 大规模临床洞察：利用最佳模型在大规模队列中进行了应用，揭示了 ARD 患者大麻使用的十年趋势及人群特征。

4. 主要结果 (Results)

模型性能对比

• 大麻使用状态分类：
  • 最佳模型：微调后的 GatorTron。
  • 性能指标：准确率 0.90，F1 0.91，召回率 0.90，精确率 0.90。
  • 对比：优于所有提示式 LLM（如 GPT-OSS-20B 在状态分类上 F1 约为 0.76）。
• 使用原因分类：
  • 最佳模型：提示式 GPT-OSS-20B（采用多步验证提示策略，Temperature=0.3）。
  • 性能指标：准确率 0.77，F1 0.77，召回率 0.77，精确率 0.86。
  • 对比：显著优于微调后的 GatorTron（F1 仅为 0.55），表明生成式模型在处理隐含动机和复杂语境时更具优势。

临床洞察（基于模型提取结果）

• 使用趋势：2015 年至 2024 年，报告使用大麻的患者比例从 7.4% 上升至 13.0%。
• 人群特征：
  • 疾病分布：类风湿关节炎（RA）患者使用率最高且增长最快；强直性脊柱炎（AS）患者最低。
  • 疼痛关联：在 2023 年之前，大麻使用者的平均疼痛评分高于非使用者；2023 年后趋势反转，非使用者疼痛评分略高（提示横断面关联，非因果）。
  • 用药情况：大麻使用者的总用药数量高于非使用者。
• 使用原因：
  • 疼痛始终是首要原因（占比最高）。
  • 睡眠相关原因的使用率随时间显著上升，自 2022 年起成为第二大常见原因。

5. 意义与结论 (Significance & Conclusion)

• 方法论启示：
  • 任务特异性部署：在临床 NLP 中，不应盲目追求最大的模型。对于定义明确、有标注数据的结构化任务，微调的小型领域模型（如 GatorTron）在效率和性能上更具优势；而对于需要深层语义理解、上下文推理的复杂任务，大型生成式 LLM 更为合适。
  • 可重复性：降低解码温度（Temperature）和针对特定模型优化提示策略是提升临床提取稳定性的关键。
• 临床价值：
  • 该研究证明了利用 LLM 从非结构化 EHR 中大规模提取患者自我管理的症状（如大麻使用）是可行的。
  • 提取的数据能够支持观察性研究，揭示真实世界中的治疗模式变化（如从单纯止痛向改善睡眠的转变），为未来的临床决策支持和前瞻性研究提供数据基础。
• 局限性：研究基于单一学术医疗中心，存在文档标准化不足和类别不平衡的问题，未来需要跨机构验证。

总结：该论文不仅提供了一个高效的 NLP 管道用于提取大麻使用数据，更重要的是确立了“根据任务复杂度选择模型架构”的实用原则，为医疗大模型在真实世界数据中的应用提供了重要的基准参考。