High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

技术摘要：ChatGPT 在浆细胞瘤病理性骨折中的横断面评估

问题陈述
大型语言模型（LLMs）正日益被患者用于获取医学信息；然而，其在复杂的、多学科肿瘤场景中的表现仍缺乏充分评估。虽然先前的研究评估了 AI 在单学科框架下的表现，但在理解这些模型如何处理与浆细胞瘤（如孤立性浆细胞瘤和多发性骨髓瘤）相关的病理性骨折时所需的协调决策方面，仍存在空白。这些疾病需要骨科医生与放射肿瘤学家在手术稳定、放疗时机及治疗顺序方面进行复杂的协作。本研究旨在确定 AI 生成的响应是否能够准确且一致地回答跨越这些不同临床领域的面向患者的问题。

方法论
本项横断面研究使用以下结构化框架对 ChatGPT-5.1 (OpenAI) 的性能进行了评估：

• 问题生成： 由一个包含四名资深专家（两名骨科医生和两名放射肿瘤学家，每位专家均拥有 >20 年经验）组成的多学科小组开发了 25 个面向患者的问题。这些问题源自真实的门诊诊疗过程和肿瘤委员会讨论，并分为五个领域：（1）诊断与理解、（2）手术稳定、（3）放射治疗、（4）治疗顺序以及（5）康复与随访。
• 响应生成： 问题通过标准化的中性提示词（“请以患者易于理解的方式回答以下问题”）在独立的临时聊天会话中逐一提交给 AI，以减少记忆效应。仅记录生成的第一个响应。
• 评估： 四名专家医师（即同一专家小组）使用 5 分李克特量表，从五个维度独立评估响应情况：科学准确性、信息充分性、患者理解度、临床相关性和信息时效性。评估者之间相互盲审。
• 统计分析： 使用基于双向随机效应模型的类内相关系数 (ICC) 评估评分者间信度。使用 Friedman 检验分析评估者与标准之间的差异。使用 Flesch–Kincaid 指标评估可读性。

关键结果

• 整体表现： AI 取得了 21.90 ± 0.83（总分 25 分）的高平均总分，表明其在准确性和清晰度方面表现总体较高。
• 领域差异： AI 在“诊断与理解”（22.55 ± 0.62）和“放射治疗”（22.15 ± 0.74）方面的表现最高。在需要复杂推理的多学科领域，如“手术稳定”（21.60 ± 0.72）和“治疗顺序”（21.65 ± 0.42），得分略低。
• 评估标准： “患者理解度”始终获得最高分（高达 4.80 ± 0.21），而“信息充分性”始终是评分最低的准则（平均值 ≈ 3.95），尤其是在手术和序列化背景下。这表明响应内容清晰，但可能缺乏技术深度。
• 评分者间信度： 专家评估者之间的共识总体较低，ICC 值范围从负值到中等程度不等。值得注意的是，在“手术稳定”和“治疗顺序”中观察到了负 ICC 值，这表明评估者的判断存在显著分歧，且这种分歧往往超过了随机概率。
• 可读性： Flesch–Kincaid 年级水平计算为 8.05，对应于 10 至 12 年级的阅读水平。

核心贡献

1. 多学科框架： 与以往的单学科评估不同，本研究明确测试了 AI 在骨科手术与放射肿瘤学交界处的表现，强调了学科预期如何影响对 AI 输出结果的评估。
2. 将变异性视为特征： 本研究并未将观察到的低评分者间信度仅仅视为统计缺陷，而是将其重新定义为反映多学科临床判断内在复杂性和上下文依赖性的特征。评分的分歧强调了“临床妥当性”在不同专业领域会被进行不同的解读。
3. 能力区分： 研究划定了清晰的界限，即 AI 的优势在于合成通用的、患者友好的信息，而其相对弱点在于提供复杂治疗顺序和手术决策所需的细致、具操作性的深度。

意义与主张
论文得出结论：虽然 ChatGPT 生成的响应清晰、准确且具有患者友好性，适用于一般性教育和概念性解释，但它目前的功能更倾向于“通用型解释者”，而非“专家级决策工具”。作者主张，在涉及浆细胞瘤病理性骨折的背景下，应将 AI 视为一种支持患者素养的辅助性信息工具，但在复杂的跨学科场景中，它不足以取代专家的临床判断。研究强调，专家评估中的变异性反映了多学科护理的现实复杂性，这表明未来的 AI 集成必须考虑这些特定于专业的细微差别，而非依赖单一的综合性能评分。