Implementation of Human-in-the-Loop ChatGPT-based Patient Screening Across Multiple Diverse Clinical Trials

该研究展示了一种基于大语言模型（LLM）的人机协同患者预筛选工作流，通过在 26 项临床试验中对 39,182 名患者进行低成本（每位患者 0.12 美元）且高效的筛选，实现了高达 94% 的准确率和 98% 的灵敏度，并证明了结合协调员反馈的自动化学习机制能有效提升筛选效率。

要点

这篇论文讲述了一个非常聪明的“医疗招聘助手”的故事。想象一下，医院里正在进行几十场不同的“临床试验”（就像是在寻找特定条件的志愿者来测试新药或新疗法）。

过去，寻找这些志愿者全靠人工：协调员（就像招聘专员）得一本本翻阅厚厚的病历，像大海捞针一样寻找符合几十条复杂规则的病人。这既慢又累，还容易漏掉好人选。

为了解决这个问题，研究团队开发了一个**"AI 招聘助手”，并给它配备了一位“人类主管”**。这就是所谓的“人在回路（Human-in-the-Loop）”模式。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心任务：从“大海捞针”到“智能筛选”

• 以前的做法：就像让招聘专员在 39,000 份简历里，凭肉眼逐行阅读，看谁符合“身高 180cm、会法语、有 5 年经验”等几十条苛刻条件。效率极低。
• 现在的做法：他们训练了一个AI 大模型（LLM）。这个 AI 就像是一个超级速读员，它能在几秒钟内“阅读”完病人的电子病历（包括医生写的笔记、化验单、影像报告等）。
• 它的技能：它不仅能读懂文字，还能理解复杂的医学逻辑。比如，它能判断：“这个病人虽然没直接写‘没有化疗’，但病历里提到‘正在服用某种新药’，而该药通常用于化疗，所以可能不符合条件。”

2. 工作流程：三级过滤网

为了让 AI 更聪明且节省人力，他们设计了一个**“漏斗式”**的筛选流程：

• 第一道门（Tier 1，守门员）：
  AI 先看最关键的“一票否决”条件。比如，如果试验要求“必须是某种特定癌症”，AI 先确认病人是不是这个病。
  • 比喻：就像招聘时先看“是否持有相关学位”。如果没有，直接淘汰，后面的技能测试都不用看了。
• 第二道门（Tier 2，详细考核）：
  只有通过了第一道门的病人，AI 才会去检查其他几十条细节（如年龄、过往病史、最近的化验指标等）。
• 打分与排序：
  AI 会给每个病人打分。如果 AI 觉得某人符合 80% 以上的条件，它就把这个人排在列表的最前面，标记为“高潜力候选人”。

3. 人类的角色：不是被取代，而是“升级”

这是这篇论文最精彩的地方：AI 并没有完全取代人类，而是让人类的工作变得更高效。

• 人类主管（协调员）：
  他们不再需要看所有 39,000 个病人。AI 已经把那些明显不符合条件的人（比如完全没病或病不对口）过滤掉了。人类主管只需要看 AI 挑出来的那几百个“高潜力候选人”。
• 人机协作：
  人类主管会检查 AI 的判断。如果 AI 说“符合”，人类确认一下；如果 AI 说“不符合”，人类再确认一下。
• 反馈学习（AI 的进化）：
  如果人类主管发现 AI 错了（比如 AI 没认出某种特殊的药物），他们会告诉 AI：“嘿，这个药其实也算化疗，下次要注意。”
  • 比喻：这就像教一个实习生。实习生（AI）一开始会犯错，但主管（人类）指出错误后，实习生会立刻更新自己的“知识库”，下次就不再犯同样的错。论文中提到，系统甚至能自动根据反馈更新规则，越用越聪明。

4. 成果：快、准、省

• 速度：在不到一年的时间里，AI 筛查了39,182名患者。
• 准确性：AI 在判断具体条件（比如“是否做过手术”）时，准确率高达**94%**以上。它几乎不会漏掉真正符合条件的病人（敏感度极高），这很重要，因为漏掉一个潜在病人可能意味着错过一次救命机会。
• 成本：非常便宜！筛查一个病人的成本平均只有12 美分（约合人民币 0.8 元）。这比人工翻阅病历便宜太多了。
• 效果：当 AI 认为某病人符合 80% 以上条件时，人类主管去复核，发现**43.5%**的人最终真的被确认为合格。而当 AI 认为符合度在 60-80% 时，复核通过率只有 19%。这说明 AI 非常擅长把“最像样”的人挑出来。

5. 遇到的挑战与解决

• 时间差问题：病历里有时候会写“去年做过手术”，但 AI 可能没注意到那是去年的事，而试验要求是“最近没做过”。
  • 解决：AI 学会了按时间排序，优先看最近的记录，就像你找东西时先看桌子上的，再看抽屉里的。
• 模糊信息：有些病历写得很含糊。
  • 解决：AI 会标记为“不确定”，然后交给人类主管做最终决定。

总结

这篇论文展示了一个**“超级实习生 + 资深主管”**的完美搭档模式。

• AI 是那个不知疲倦、阅读速度极快、能记住所有规则但偶尔会犯错的超级实习生。
• 人类 是那个经验丰富、负责最终把关、并能教实习生改错的资深主管。

这种模式不仅让临床试验的招募速度快了、成本低了，更重要的是，它让那些真正需要新药治疗的病人更容易被找到，同时也让医生和协调员从繁琐的文书工作中解放出来，去关注更重要的医疗决策。

一句话概括：用 AI 做“海选”，让人类做“复试”，既省钱又高效，让新药试验不再因为“找不到人”而停滞不前。

技术摘要

这是一份关于基于大语言模型（LLM）的人机回环（Human-in-the-Loop）临床试验患者预筛选系统的详细技术总结。该研究由德克萨斯大学西南医学中心（UT Southwestern）的团队完成，旨在解决临床试验患者招募效率低、成本高的问题。

1. 研究背景与问题 (Problem)

• 核心痛点：临床试验的患者招募通常面临入组不足的问题，这会延误研究进度、降低结果的可预测性并增加成本。
• 现有挑战：传统的人工筛选患者资格（Eligibility Screening）极其耗时且资源密集。研究人员需要手动阅读大量非结构化的电子健康记录（EHR）和自由文本笔记，以判断患者是否符合复杂的纳入/排除标准。
• 技术缺口：虽然自然语言处理（NLP）技术已有应用，但早期的方法通常需要针对特定任务进行大量定制。大语言模型（LLM）虽然展现出潜力，但此前缺乏在多中心、多样化临床试验设计中的前瞻性部署，且缺乏与实时人机回环学习策略的稳健集成，难以实现持续的算法优化。

2. 方法论 (Methodology)

该研究在一家大型学术医疗中心部署了一个基于**检索增强生成（RAG）**的 LLM 管道，用于前瞻性筛选 26 项临床试验（21 项肿瘤学，5 项非肿瘤学）。

2.1 系统架构与数据流

• 数据源：从 Epic EHR 系统（Caboodle 和 Clarity 数据仓库）提取数据。包括结构化数据（实验室结果、病理报告）和非结构化数据（临床笔记、影像报告）。
• 检索策略：
  • 将医疗文本转换为每患者的向量数据库。
  • 使用分层节点解析器（Hierarchical Node Parser）将文档解析为多分辨率节点（文档→段落→句子）。
  • 利用 RAG 技术，针对每个筛选标准检索最相关的 30 个节点。
• LLM 模型：根据可用性和成本动态切换模型（GPT-4o, GPT-4o-mini, GPT-4.1-mini），嵌入模型使用 text-embedding-3-large。
• 环境：所有评估均在符合 HIPAA 标准的 Microsoft Azure 环境中进行。

2.2 分级筛选工作流 (Tiered Workflow)

系统采用分级逻辑以优化效率：

1. Tier 1（关键准入标准）：首先评估一个主要标准。
   • 如果 AI 判定为“符合（Met）”或“可能符合（Likely Met）”，则继续评估 Tier 2。
   • 如果判定为“不符合”、“不确定”或“无文档”，则停止后续评估，该患者不会被标记为高优先级。
2. Tier 2（次要标准）：仅在 Tier 1 通过时进行评估。
3. 输出标签：AI 对每个标准输出状态（符合、可能符合、可能不符合、不符合、不确定、无文档）、5 点置信度评分及基于具体临床证据的简短理由。

2.3 人机回环与反馈机制 (Human-in-the-Loop)

• 协调员审查：AI 将患者列表按“符合标准的比例”排序。协调员优先审查 AI 判定符合度较高（如≥50% 或≥80%）的患者。
• 反馈闭环：
  • 协调员确认或修正 AI 的判断，并提供错误原因。
  • 自动提示优化：系统收集协调员的反馈，特别是针对高频错误（如术语歧义、时间窗口问题）。
  • 迭代学习：AI 团队利用反馈和 PubMed 文献检索，自动更新提示词（Prompts）和决策规则。例如，针对“既往治疗”标准，系统学会了识别试验性药物与非标准治疗的区别。
• 成本：平均每位患者的计算成本仅为 $0.12。

3. 关键贡献 (Key Contributions)

1. 大规模前瞻性部署：首次在单一机构内，跨 26 项不同领域（肿瘤与非肿瘤）的活跃试验中，前瞻性部署 LLM 辅助筛选流程。
2. 人机协同优化策略：提出并验证了一种结构化的人机回环机制，利用协调员的反馈自动优化提示词（Prompt Refinement），显著提升了系统随时间的性能，而非仅仅依赖静态模型。
3. 分级筛选逻辑：设计了基于 Tier 1 门控的筛选流程，有效减少了不必要的 Tier 2 评估，提高了人工审查的效率。
4. 成本效益分析：证明了在保持高准确率的同时，将筛选成本降低至每位患者 12 美分，具有极高的可扩展性。

4. 研究结果 (Results)

• 数据规模：2024 年 10 月至 2025 年 9 月，AI 预筛选了 39,182 名患者，涉及 112 个不同的筛选标准。
• 人工审查：914 名高可能性患者接受了协调员审查，共评估了 5,096 个标准。
• 性能指标（加权平均值）：
  • 准确率 (Accuracy): 0.94 (95% CI: 0.92–0.96)
  • 灵敏度 (Sensitivity): 0.98 (95% CI: 0.97–0.99) —— 极高，意味着极少漏掉潜在合格患者。
  • 特异度 (Specificity): 0.81 (95% CI: 0.71–0.88)
  • 阳性预测值 (PPV): 0.95
  • 阴性预测值 (NPV): 0.93
  • F1 分数: 0.97
• 审查效率：
  • 当 AI 判定符合度 ≥80% 时，协调员的审查率高达 93.7%，且预筛选成功率为 43.5%。
  • 当符合度在 60-80% 时，审查率为 55.1%，成功率为 19.1%。
  • 这表明 AI 成功地将高价值患者集中到了人工审查队列中。
• 持续改进：基于反馈，27 个标准的提示词被自动更新。以一项胶质母细胞瘤（GBM）试验为例，在引入自动学习机制后，针对“既往治疗”标准的评估指标在 2025 年 5 月至 8 月间显著提升。

5. 意义与局限性 (Significance & Limitations)

意义

• 可行性验证：证明了 LLM 辅助的人机回环工作流在真实世界、多病种、多试验场景下是可行的，且能与现有 EHR 系统无缝集成。
• 效率提升：通过 AI 预筛选，大幅减少了协调员需要人工阅读的患者数量，同时提高了高潜力患者的发现率。
• 低成本自动化：极低的单位成本（$0.12/患者）使得该方案在资源有限的医疗机构也具有推广价值。
• 自适应学习：系统展示了通过结构化反馈进行自我修正的能力，解决了传统 NLP 模型难以适应新试验协议的问题。

局限性

• Tier 1 门控风险：如果 Tier 1 标准被 AI 错误判定为“不符合”，后续所有标准将不再评估，可能导致假阴性患者被遗漏（尽管系统通过外部识别机制试图缓解此问题）。
• 数据时效性：主要依赖文本检索，对于时间敏感的标准（如“最近”的实验室值），纯文本检索可能存在滞后或混淆，未来需结合结构化数据查询代理（Agentic Controller）。
• 外部文档限制：受限于机构政策，扫描的外部 PDF 记录被排除，这可能影响部分患者的筛选结果。
• 未测量最终入组率：研究主要关注预筛选阶段的准确性，尚未直接测量其对最终患者入组（Accrual）和同意签署的具体影响（尽管其他研究已显示 AI 能加速入组）。

总结

该论文展示了一个成熟的、可扩展的 AI 驱动临床试验筛选框架。它不仅仅是一个自动化工具，更是一个持续学习的系统，通过结合 LLM 的语义理解能力与人类专家的专业判断，在保持高灵敏度的同时显著降低了筛选成本，为未来大规模临床试验的自动化招募提供了重要的实践模板。