技术摘要：MedSimAI

问题陈述

医学教育在扩展临床技能培训（特别是病史采集和沟通能力）方面面临重大挑战。传统的基于标准化病人（SP）的模拟教学属于资源密集型，成本高昂（例如高保真人体模型），且反馈质量往往存在差异。虽然人工智能驱动的模拟技术提供了潜在的解决方案，但现有工具存在关键局限性：它们通常仅针对狭窄的能力领域，缺乏全面的评估框架，难以提供下游临床影响的充分证据，且极少整合自我调节学习（SRL）原则。此外，目前的实现方式往往无法在可扩展性与维持现实感、文化胜任力和临床真实性之间取得平衡。

研究方法

作者通过与三所医学院的学科专家（SME）进行多阶段协同设计，开发了 MedSimAI——一个人工智能驱动的模拟平台。该系统的架构和评估包含以下组件：

1. 系统架构

• AI 标准化病人 (AI-SP)： 核心引擎使用大语言模型（LLM），具体为用于文本处理的 GPT-4o 和用于语音处理的 OpenAI Realtime API。教员通过结构化模板定义患者参数（人口统计学特征、既往病史、情绪状态）。系统提示词引导 LLM 保持临床真实性，避免使用专业术语，并表现出一致的人格特质。
• 评估与反馈框架： 系统利用专门的评估提示词对诊疗过程进行处理。它支持：
  • 基于量表的评分： 利用如 28 项主访谈评定量表（MIRS）等框架，按 1–5 分进行评分。
  • 基于检查表的评分： 对必要的病史采集要素（如红旗症状）进行二元评估。
  • 反馈生成： 诊疗结束后 2–3 分钟内自动生成基于引文的反馈，强调优势、差距以及对话中的具体片段。
• 学习中心 (SRL 界面)： 一个集成 SRL 策略的仪表板，使用临床隐喻（例如，用“预约”进行练习调度，用“患者病历”进行回顾）。功能包括战略规划、映射至 Kalamazoo 核心要素的能力仪表板以及反思工具。

2. 研究设计与数据收集

• 部署： 在三所美国医学院进行多机构部署（机构 A：研究密集型私立院校；机构 B：大型公立院校；机构 C：私立常春藤盟校附属院校）。
• 参与者： 410 名独特学习者生成了 1,024 次完成的模拟诊疗。
• 数据来源：
  • 平台遥测数据： 会话时长、模态（语音/文本）、对话轮数、自动评分（MIRS、检查表）以及 SRL 人造物（840 份学习者反思）。
  • 调查问卷： 基线和退出调查（机构 B，n=19），测量信心、焦虑度和感知价值。
  • 表现指标： 比较机构 A 的客观结构化临床考试（OSCE）病史采集得分（准实验研究）和机构 B 的临床技能演示（DOCS）得分。
  • 验证： 使用机构 C 的 104 份此前由人类评估员评分的 OSCE 转录文本语料库，通过 MedSimAI 进行重新评分，以基准测试自动评分的准确性。

3. 分析

• 定量分析： 使用混合效应模型（为学习者设置随机截距）分析使用模式（剂量、模态、对话轮数）与表现结果之间的关联。使用 Kruskal-Wallis 检验评估机构和病例间的差异。
• 定性分析： 对 840 份学习者反思和开放式调查响应进行了归纳式主题分析。
• 验证指标： 通过精确准确度（Exact Accuracy）、误差一位准确度（Off-by-One Accuracy）和阈值准确度（Thresholded Accuracy，用于区分熟练程度）来评估自动评分相对于人类评分员的表现。

核心贡献

1. 协同设计的平台： 一个通过与医学教育专家迭代协作开发的 AI-SP 平台，具有教员编写的病例和可配置的真实感。
2. 灵活的评估层： 一个结合了多量表评分（包括 MIRS）和动态检查表的系统，能够生成基于引文的形成性反馈和面向 SRL 的仪表板。
3. 多中心评估： 一项涉及 1,024 次诊疗和 410 名学习者的全面评估，利用混合效应模型探测机构和病例效应，并结合对学习者反思的归纳式主题分析。
4. 有效性与影响力的证据：
   • 准实验结果： 机构 A 的 OSCE 病史采集得分显著提高。
   • 自动评分验证： 独立基准测试显示，在识别熟练度阈值方面具有高准确度。

结果

参与度与使用情况

• 整体参与度： 59.5% 的学习者参与了重复练习（完成 $\ge$ 2 个病例）。
• 机构差异： 参与度存在显著差异。机构 B 的强度最高（每名学生平均 3.48 个病例，73.1% 的重复练习率），而机构 C 的参与度最低（每名学生平均 1.35 个病例）。
• 高参与度亚组： 2.9% 的学生（12 人）完成了 8 个及以上病例，占总使用量的 12.1%。

临床表现

• 机构 A（课程嵌入型）： 准实验对比显示，与此前没有 MedSimAI 使用权的对照组相比，获得 MedSimAI 访问权限的组别在 OSCE 病史采集得分上有了显著提高。得分从平均 82.8 升至 88.8（$p < 0.001$，$d = 0.75$）。
• 机构 B（自愿试点型）： 自愿参与者与非参与者之间的 DOCS 得分未发现统计学显著差异（$p > 0.30$），这表明如果没有课程集成，仅靠自主使用可能无法产生可衡量的考试增益。

自动评分验证

• 准确度： 系统实现了 32.5% 的精确准确度，64.1% 的误差一位准确度，并在区分 MIRS 上的熟练与不熟练学习者时达到了 87.0% 的阈值准确度。
• 效用： 虽然精确得分匹配并不完美，但该系统被认为足以用于形成性分诊，以标记需要补救的学生。

学习者反思与体验

• 主题分析： 对 840 份反思的主题分析显示，主要主题包括：遗漏/忘记的项目（26.3%）、组织/流程（23.0%）以及系统回顾（ROS）技巧（22.4%）。
• 感知价值： 调查受访者报告了考试焦虑感的降低（$M=5.38$）和准备工作的改善（$M=5.38$）。
• 挑战： 学生提到了技术故障、语音交互中感知到的真实感缺失，以及检查表完整性与对话流畅性之间的张力。

意义与主张

本文将 MedSimAI 定位为一个用于病史采集和沟通训练的可扩展形成性平台。作者主张：

1. 可扩展性： AI 模拟病人可以克服传统标准化病人（SP）的资源障碍，为大规模群体提供即时、结构化的反馈。
2. 课程集成至关重要： 机构 A（课程嵌入）与机构 B（自愿使用）之间的结果差异表明，仅靠技术部署是不够的；成功的实施需要周密的课程集成和结构化的练习计划。
3. 形成性效用： 高阈值准确度（87%）支持将自动评分用于形成性评估和分诊，尽管在总结性评估中仍需人类监督。
4. SRL 的局限性： 尽管引入了 SRL 支架，但在没有明确课程嵌入的情况下，对这些功能的使用率较低，这表明工具本身并不能保证行为改变。
5. 情境的重要性： 机构背景、病例难度以及实施选择（例如，集成使用 vs. 可选使用）会显著影响结果，其影响力往往超过预测表现增长的纯练习量。

作者得出结论，虽然 MedSimAI 在增强临床技能培训方面展现出潜力，但其有效性取决于如何将其整合到课程中以及具体的教育情境，而非技术本身。