Biomedical Large Language Models and Prompt Engineering for Causality Assessment of Individual Case Safety Reports in Pharmacovigilance

本研究评估了五种生物医学大语言模型与提示工程及因果关系算法的组合在药物警戒个案报告因果关系评估中的表现，发现尽管特定模型组合（如 Medicine LLaMA-3 8B 结合 Naranjo 算法和思维链提示）与人类专家的一致性最高（64%），但整体而言，这些模型在关键评估项上仍存在显著不足，尚无法可靠地替代人工进行个案报告的因果关系判定。

要点

这篇论文就像是在测试**“人工智能医生助手”**能不能帮人类专家判断：病人出现的副作用，到底是不是药引起的？

为了让你更容易理解，我们可以把整个研究想象成一场**“新实习生考核大赛”**。

1. 背景：为什么需要 AI 助手？

在药物安全领域（药监），有一个核心任务叫**“因果关系评估”**。

• 场景：有人吃了药 A，结果出现了副作用 B。
• 问题：是药 A 导致的吗？还是病人自己本来就有病？或者是吃了药 C 导致的？
• 现状：以前全靠人类专家（像老中医或资深法官）一个个看病例，工作量巨大，累得半死，而且容易出错。
• 新希望：大家想试试用大型语言模型（LLM），也就是那种像“超级聊天机器人”的 AI，来帮人类干活。

2. 实验设计：这场“考核”是怎么进行的？

研究人员找来了150 个真实的病例（就像 150 份复杂的考卷），然后让5 组不同的 AI 实习生来做题，最后把 AI 的答案和2 位人类专家的答案进行对比。

• 考生（AI 模型）：
  • 他们不是普通的聊天机器人（比如普通的 Siri），而是**“医学特化版”**的 AI（就像专门读过医书、背过医学文献的实习生）。
  • 主要测试了三个不同体型的模型（有的像小个子，有的像中等身材）。
• 考题（评估工具）：
  • 用了两套标准的“评分规则”：
    1. Naranjo 量表：像做选择题，有 10 道题，每题打分，最后算总分。
    2. WHO-UMC 量表：像写作文，需要综合判断，逻辑更复杂，更依赖叙事。
• 解题技巧（提示工程）：
  • 研究人员教了 AI 两种解题思路：
    1. 链式思维 (CoT)：像**“一步步推导”**，先想 A，再想 B，最后得出结论。
    2. 分解法 (Decomposition)：像**“把大任务拆成小任务”**，逐个击破。

3. 考核结果：AI 表现如何？

🏆 最佳表现：

• 冠军组合：“医学版 LLaMA-3 8B" + “链式思维 (CoT)" + "Naranjo 选择题”。
• 成绩：这个组合和人类专家的答案最像，大约有 64% 的情况判断一致。
• 比喻：这就像是一个读过很多医书、且懂得“一步步推理”的聪明实习生，在做结构化选择题时，能跟上老专家的思路。

❌ 遇到的困难（AI 的“死穴”）：

尽管比以前的通用 AI 强了很多，但 AI 还是有很多**“翻车”**的地方：

1. 分不清“已知”和“未知”：
   • 人类专家：如果病历里没写清楚，专家会说“我不确定”或“存疑”。
   • AI 实习生：即使信息不全，也强行自信地给出一个确定的答案（比如“肯定是药引起的”）。这叫**“幻觉”**，就像学生不会做题时瞎蒙一个答案，还信誓旦旦。
2. 搞不定“复杂逻辑”：
   • 在Naranjo 选择题里，AI 表现尚可。
   • 但在WHO-UMC 作文题里，AI 就彻底懵了，和人类专家的意见几乎对不上号。
   • 比喻：AI 擅长做填空题，但一遇到需要综合判断、写小作文的复杂病例，它就只会“胡言乱语”或者**“复读机”**（把题目里的话重复一遍，假装在回答）。
3. 缺乏“证据意识”：
   • 有时候 AI 猜对了答案，但理由全是错的，或者根本给不出理由。
   • 比喻：就像学生做数学题，答案蒙对了，但解题过程全是乱画的。在医疗领域，**“为什么”比“是什么”**更重要，因为需要解释给监管者听。

4. 核心发现与启示

• 专业训练很重要：专门学过医学文献的 AI，比普通的聊天机器人强很多（几乎翻倍）。这说明**“专业对口”**很关键。
• 题目类型决定成败：AI 做结构化、有固定步骤的题（如 Naranjo）表现不错；做开放式、依赖叙事的题（如 WHO-UMC）表现很差。
• 还没法完全替代人类：
  • 目前的 AI 就像是一个**“有点小聪明的实习生”。它能帮人类快速筛选，但不能做最终决定**。
  • 特别是在欧洲等严格监管的地区，必须有人类专家在背后把关（Human-in-the-loop），因为 AI 经常**“瞎自信”或者“理由不充分”**，无法解释清楚，这在医疗安全上是不可接受的。

5. 总结

这篇论文告诉我们：AI 在药物安全评估上已经迈出了重要的一步，变得更有“医学常识”了。

但是，它目前还不够成熟，特别是在处理复杂逻辑和提供可信证据方面。它现在更像是一个**“辅助工具”，能帮人类专家分担一些繁琐的选择题工作，但最终的“法官”角色**，还得由人类专家来担任。未来的方向是让 AI 变得更聪明、更诚实（不知道就说不知道），并学会如何更好地与人类配合。

技术摘要

这是一份关于利用生物医学大语言模型（Biomedical LLMs）和提示工程（Prompt Engineering）进行药物警戒中个例安全性报告（ICSRs）因果关系评估的原创研究论文的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：在药物警戒（Pharmacovigilance）中，对个例安全性报告（ICSRs）进行因果关系评估是确定药物/疫苗与不良事件（AEs/AEFIs）之间关联可能性的关键过程。随着报告量的激增，传统的人工评估方法变得不可持续，且耗时耗力。
• 现有局限：虽然通用大语言模型（LLMs）在临床文本处理上表现出潜力，但先前的研究表明，它们在个体级别的因果关系评估中表现不佳。主要原因包括缺乏领域特定的训练数据以及提示策略（Prompting strategies）不当。
• 研究缺口：目前缺乏针对生物医学文献训练的 LLMs结合最先进的提示工程（如思维链 CoT、分解法 Decomposition）在个体级因果关系评估中的应用研究。

2. 研究方法 (Methodology)

本研究采用了一项评估性研究设计，旨在比较生物医学 LLMs 与人类专家在因果关系评估上的一致性。

• 数据来源：
  • 共分析 150 份 ICSR。
  • 140 份 来自美国 FDA 不良事件报告系统（FAERS），涵盖六类治疗领域（如新药、基因疗法、常用药、需特殊监测药物、孤儿药、管制药物）。
  • 10 份 来自疫苗不良事件报告系统（VAERS），经临床确认的心肌炎/心包炎病例（针对新冠疫苗）。
• 评估算法：
  • Naranjo 算法：包含 10 个结构化问题，通过加权评分将因果关系分类为“可疑”、“可能”、“很可能”或“确定”。
  • WHO-UMC 算法：基于四步流程（资格、清单、算法、分类），将事件分类为“与因果关系一致”、“不确定”、“不一致”或“无法分类”。
• 模型选择：
  • 选取了三个在 Hugging Face Open LLM Leaderboard 上表现优异的开源生物医学 LLM：
    1. TinyLlama 1.1B (Afrideva)
    2. Medicine LLaMA-3 8B (QuantFactory)
    3. MedLLaMA v20 (JL42)
  • 模型均基于生物医学文献训练，知识截止日期分别为 2023 年 12 月、2024 年 6 月和 2024 年 5 月。
• 提示策略：
  • Chain-of-Thought (CoT)：思维链提示，引导模型逐步推理。
  • Decomposition：分解提示，将复杂任务拆解为子任务。
  • 所有提示遵循 CLEAR 原则（简洁、逻辑、明确、自适应、反思）。
• 评估标准：
  • 金标准：由两名人类专家（一名药物警戒专家药师和一名资深医学博士）对 150 份报告进行独立评估。
  • 指标：使用 Gwet 一致性系数 1 (AC1) 和百分比一致性来衡量模型与人类在最终分类及单个问题评分/推理上的一致性。
  • 错误分析：识别幻觉、指令漂移（Instruction drift）、提示回声（Prompt echoing）、缺乏理由等错误模式。

3. 关键贡献 (Key Contributions)

1. 领域特定模型的性能验证：首次系统性地评估了基于生物医学文献训练的 LLMs 在个体级因果关系评估中的表现，证明了其优于通用 LLMs。
2. 算法兼容性的发现：揭示了 LLM 的表现高度依赖于所采用的因果关系算法。结构化、条目化的算法（如 Naranjo）比叙事依赖型算法（如 WHO-UMC）更容易被 LLM 处理。
3. 错误模式分析：详细分类了 LLM 在药物警戒任务中的具体失败模式（如无法识别客观证据、无法区分替代原因、提示回声等），为未来的模型优化提供了具体方向。
4. 可复现性：遵循 FAIR 原则，公开了所有代码、提示模板和超参数配置，并遵循 TRIPOD-LLM 报告标准。

4. 主要结果 (Results)

• 最佳组合：Medicine LLaMA-3 8B + Naranjo 算法 + CoT 提示 表现最佳。
  • 与人类专家在最终因果关系分类上的一致性达到 64%（AC1 = 0.644）。
  • 这是目前报道的最高水平，几乎是之前通用 LLM 研究（34%）的两倍。
• 算法差异：
  • Naranjo 算法：模型表现较好，特别是在有明确事实锚点的问题上（如脱敏/激发反应、剂量反应关系），一致性超过 80%。
  • WHO-UMC 算法：模型表现显著较差。Medicine LLaMA-3 8B + WHO-UMC + CoT 的最终分类一致性仅为 23.3%（AC1 = 0.297）。模型难以处理该算法中复杂的叙事性推理和不确定性判断。
• 提示策略影响：在 Naranjo 算法下，CoT 和 Decomposition 策略的表现差异不大，可能是因为算法本身的结构化特性抵消了提示策略的差异。
• 关键弱点：
  • 模型在替代原因（Alternative causes）、时间合理性（Temporal plausibility）、客观证据（Objective evidence） 和 已列出的不良反应（Listedness） 等关键问题上的一致性最低。
  • 模型倾向于在证据不足时给出高置信度的分类，缺乏人类专家的“未知”或“谨慎”判断（认知不确定性低）。
  • 错误类型：包括指令漂移、提示回声（机械重复输入内容）、缺乏推理依据以及自我对话循环。

5. 研究意义与结论 (Significance & Conclusions)

• 现状评估：生物医学 LLMs 在结构化任务（如 Naranjo 评分）上显示出改进的潜力，能够作为辅助工具提高处理效率。然而，它们目前尚不足以独立用于高度监管环境（如欧盟）中的因果关系最终决策，因为缺乏一致的可解释推理和证据支持。
• 监管启示：在“人机回环”（Human-in-the-loop）的工作流中，LLM 的输出必须透明且可解释。目前的模型虽然能给出接近人类的分数，但其推理过程往往不可靠（如提示回声），这阻碍了其在常规药物警戒中的直接部署。
• 未来方向：
  • 模型优化：需要更系统的超参数调整和指令微调（Instruction-tuning）。
  • 架构升级：引入 Agentic AI（智能体 AI），让模型能够访问外部工具（如实时查询药品说明书 SmPC、检索最新文献）以解决知识截止和事实核查问题。
  • 算法适配：需要开发更适合 LLM 推理逻辑的因果关系评估框架，或针对现有框架进行专门的提示工程优化。

总结：该研究证明了生物医学 LLMs 在药物警戒因果关系评估中的潜力，但也明确指出了其在处理复杂临床推理、不确定性判断和遵循严格监管逻辑方面的当前局限性。未来的整合需要结合更先进的 AI 架构和人类专家的监督。