Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

在儿童医学领域，有一种被称为幼年特发性关节炎的疾病。这是一组由于不明原因导致儿童关节肿胀和疼痛的疾病，它可能会影响儿童的生长和活动。由于这种病症有许多不同的形式，医生必须非常谨慎地确定孩子患的是哪种类型，并选择正确的治疗方案。制定这些决策的规则被记录在由医学专家编写的详细指南中。这些指南告诉医生何时开始用药、如何监测副作用，以及如何处理感染或眼部炎症等复杂情况。多年来，这些指南一直是医生信赖的地图，但一种新型工具正出现在地平线上：大语言模型。这些是经过海量文本训练的计算机程序，能够用流利且类人的语言回答问题。它们正变得越来越流行，用于寻找医学信息，但没有人知道它们是否能够被信任去遵循严格的儿科关节炎护理规则，或者它们是否会编造出听起来正确但实际上错误的事实。

来自土耳其的一个研究小组决定对这些计算机程序进行一次严肃的测试。他们想看看三种最先进的模型是否能像人类专家一样回答有关幼年特发性关节炎的问题。为此，他们没有让计算机写故事或聊天谈心，而是根据官方医学指南给出了二十一个具体问题。有些问题询问简单的事实，例如如何区分不同类型的疾病；有些则涉及治疗计划，例如该给病情没有好转的孩子使用什么药物。最难的问题是关于患者的假设性故事，要求计算机为具有复杂病史的特定儿童找出最佳的下一步行动。研究人员要求三个不同的计算机模型回答每一个问题。为了确保测试公平，他们使用了中性标签来隐藏计算机的名字，并打乱了显示答案的顺序。

随后，五位儿童关节疾病专家（专科医生）阅读了这些答案。他们不知道哪个答案是由哪台计算机编写的。他们根据每个回答与官方指南的符合程度、在实际诊所中的实用性以及整体回答质量进行了评分。结果显示，机器之间存在明显的差异。其中一个被研究人员称为 GPT-5.6 Sol 的模型始终给出最好的答案。它在准确性和对医生的实用性方面得分最高。另外两个模型——Gemini 3.1 Pro 和 Claude Opus 5——表现良好，但逊于领先者。在某些领域，例如诊断疾病，其中一个较弱的模型比另一个表现得更好，但在其他领域，例如治疗计划，排名则发生了反转。这证明了没有任何一台计算机在所有方面都是完美的，它们的表现会随着所提问题的类型而变化。

研究还观察了答案的写作方式。其中一个模型产生了非常长的回答，在二十一个问题中写了几千个单词。研究人员原本预期较长的回答可能更好，但医生们并不认同。那个写得字数最多的模型并没有获得最高分。事实上，得分最高的模型通常更加直接。医生们还注意到，所有计算机使用的语言都相当晦涩难懂，其阅读难度对于没有医学背景的普通成年人来说都很难理解。这表明，虽然这些工具可以生成流利的文本，但它们并不总是知道如何为普通受众简化复杂的医学规则。

这项研究最重要的发现是，这些计算机程序无法取代人类医生。虽然它们可以检索信息并将其组织成连贯的答案，但它们有时会模糊“严格规则”与“疾病常见特征”之间的界限。它们可能会建议一个虽然可行但并非最佳的治疗方案，或者可能会混淆疾病分类的细节。研究人员得出结论，这些工具只能在专家的监督下使用，以便专家核实事实。研究表明，即使是最优秀的计算机模型也需要人类专家来验证其工作，尤其是在涉及儿童健康时。这项技术很强大，但在精细的儿科风湿病学领域，它仍然是一个辅助工具，而非独立的决策者。