GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

技术摘要：GPT-5 与麻醉学-重症监护科高年级住院医师在连续临床病例中的表现对比

问题陈述
虽然大型语言模型（LLMs）在医学执照考试中表现出了极高的准确性，但多选题的性能指标并不能阐明其对底层临床推理过程的记录是否明确。临床推理是一种涉及问题表征、假设生成和证据解释的上下文相关认知活动。现有文献往往缺乏针对这些特定推理记录技能进行 LLM 与受训者对比的严谨实证设计。此外，关于 LLM 在法语后研究生教育环境（特别是北非医疗背景下）的表现，目前仍缺乏证据。本研究旨在通过比较最先进的 LLM（GPT-5）与高级医学受训者的书面临床推理输出质量，来填补“正确答案”与“记录的推理”之间的差距。

方法论
本研究是一项在摩洛哥卡萨布兰卡 Ibn Rochd 大学医院中心进行的单中心、横断面对比试点研究。

• 参与者： 研究利用了 14 名四年级麻醉学-重症监护科住院医师的全员调查（100% 参与率）。
• 刺激物： 选择了 20 个经过标准化处理的真实且完全匿名的临床病例（2020–2024 年）。病例分为两个连续部分：第一部分（病史、背景、体格检查）和第二部分（实验室及影像学结果）。
• 任务分配： 每位住院医师完成了四个不同的病例（共计 56 份住院医师响应）。GPT-5 对所有 20 个病例各完成了一次。该设计采用不完全区组结构，每位住院医师在相同的四个病例上与 GPT-5 进行匹配，以进行主要分析。
• 提示词工程： 通过 OpenAI API 调用 GPT-5（模型别名为 gpt-5，温度系数 0.3，推理强度为“中等”）。提示词将模型设定为麻醉学-重症监护专家角色，并明确要求其生成镜像 R-IDEA（修订版 IDEA）组件的结构化输出：一个概念性清单、一个简洁的问题表征、优先考虑的检查项目，以及一个包含支持与反对各假设之明确证据的鉴别诊断。模型未被提供参考诊断或评分标准。
• 评估： 两名教职人员根据 R-IDEA 工具开发了病例特定的参考量表。一名盲法评估员根据这些量表对所有响应（住院医师和 GPT-5）进行评分。R-IDEA 分数（0–10 分）评估四个领域：解释性总结、鉴别诊断、主导诊断的解释以及替代诊断的解释。
• 统计分析： 主要分析使用配对 Student's t 检验，比较每位住院医师（跨越其四个病例）的平均 R-IDEA 分数与 GPT-5 在相同四个病例上的平均分数。诊断准确性采用描述性统计报告。

关键结果

• 主要结局： GPT-5 获得的平均 R-IDEA 总分（9.5, SD 0.9）显著高于住院医师（7.0, SD 2.4）。平均配对差值为 2.5 分，GPT-5 占优（95% CI 1.4–3.6; p < 0.001）。效应量较大（配对 d_z = 1.39）。
• 领域表现： GPT-5 在所有四个 R-IDEA 领域均优于住院医师。最大的绝对差异出现在“解释性总结”领域（1.0 分的差异）。GPT-5 的得分集中在量表的最高值附近，表明存在潜在的天花板效应，而住院医师的得分表现出更大的变异性（变异系数：住院医师为 34%，GPT-5 为 9%）。
• 诊断准确性： GPT-5 在 75% 的病例中（15/20）识别出了教职人员的参考诊断，而住院医师的平均诊断准确率为 68%。由于观察值非独立且病例重复次数不等，研究设计无法进行推断性统计比较。

核心贡献

• 新语境下的概念复制： 本研究扩展了先前关于生成式 AI 与临床推理的研究发现（如 Cabral 等人），将其应用到了法语环境、摩洛哥学术中心以及高级麻醉学科背景中。
• 区分“记录”与“能力”： 研究明确区分了“记录的”推理质量（GPT-5 在特定提示词下表现出色）与实际的临床能力或床旁表现。
• 方法论框架： 本研究展示了一种使用结构化量表（R-IDEA）和来源掩蔽（source-masking）将 LLM 输出与受训者书面工作进行对比的协议，强调了提示词与评估标准对齐的重要性。

意义与主张
作者得出结论：在与 R-IDEA 组件对齐的提示词下，GPT-5 生成的书面临床推理记录得分高于高级住院医师。然而，论文对这一发现的意义保持了审慎的态度：

• 并非对“能力”的主张： 作者明确指出，较高的记录得分并不代表建立了更优的临床能力、诊断等效性或教学有效性。
• 教育假设： 其主要意义在于 GPT-5 作为“推理记录支架”的潜力。作者提出，经教职人员监督和审核的 GPT-5 输出可以作为“范例”（worked examples）使用，帮助住院医师将自己的问题表征与结构化模型进行对比，从而使推理过程更加透明。
• 局限性与未来方向： 研究承认了包括单中心设计、单一评分者、缺乏用于评估随机变异性的第二次模型运行，以及提示词与量表高度对齐可能有利于模型的局限性。作者建议，未来的研究应涉及前瞻性的、多评分者的教育实验，以测试使用模型生成的范例是否能在不诱发自动化偏差的情况下真正提高学习者的成果。