Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese
这项盲法多评分者基准研究评估了四种大语言模型在针对膝关节骨性关节炎和全膝关节置换术的 AAOS 指南相关问题上的表现，发现虽然 GPT 展示了最高的整体质量和一致性，但其性能排名会随评估领域的变化而不同，并对所使用的统计方法具有敏感性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当一个人面临膝盖疼痛和僵硬时，通往缓解的道路往往是由复杂的医学建议铺就的。医生依靠既定的指南来决定患者应该进行物理治疗、服用药物，还是接受关节置换手术。这些规则建立在多年的研究基础之上，旨在确保患者安全的同时，提供最佳的康复机会。近年来，人们越来越多地转向人工智能来理解这些信息，向计算机程序寻求关于治疗方案、风险和恢复时间的通俗解释。然而，仅仅因为一台机器说话流利，并不意味着它在陈述事实或保持一致。如果一台机器在你询问同一个问题时每次都给出不同的答案，或者它自信地建议了一种专家认为危险的疗法，那么这个工具就会成为混乱的源头而非帮助。
中国的一个研究小组着手测试四种不同的人工智能系统在处理这些关键医学问题时的表现如何。他们将重点放在了膝骨关节炎和全膝关节置换术上，这是骨科医生最常处理的两种疾病。该团队并非简单地向计算机征求意见；他们根据美国骨科医师学会（AAOS）的官方指南创建了一套严谨的测试。他们编写了二十四个具体问题，涵盖了从减重和运动等非手术治疗到手术过程中如何管理风险的细节等各个方面。为了确保测试的公平性，他们要求每种人工智能模型对每个问题分别回答三次，将每一次尝试都视为一次全新的对话，且不保留之前对话的记忆。这种方法使他们不仅能观察到答案是否正确，还能观察到这些机器是否能够可靠地反复提供相同的建议。
计算机生成的答案随后被交给八位专门从事膝关节疾病和关节外科领域的专家。这些医生和专家在不知道哪个答案是由哪台计算机撰写的情况下阅读了这些回复。他们根据四个关键维度对每个答案进行了一到五分的评分：答案与问题的相关性、医学准确性、易理解程度以及安全性。安全性是一个主要关注点，这意味着专家们会观察计算机是否避免了给出危险的建议，或者是否未能提及重要的风险。专家们还针对一致性给出了单独的评分，即评估同一台计算机针对同一问题的三个答案是否本质上讲述的是同一个故事，或者是否相互矛盾。
结果显示，四种人工智能系统的表现各异，没有哪一台机器在所有类别中都占据绝对优势。其中一个被称为 GPT 的模型获得了最高的综合评分。它在提供准确的医学信息、紧扣主题以及包含必要的安全警告方面表现尤为出色。另一个名为 DeepSeek 的模型在整体质量得分上略低，但被专家评为最易于理解的模型，这意味着它的语言最为清晰易懂。另外两个模型——文心一言（ERNIE）和 Kimi——在各项指标上的得分都较低，特别是在准确性和安全性方面。研究发现，表现最好的模型与第二名之间的差距很小，且取决于数据的分析方式，这表明虽然某台机器可能略有优势，但这种差异并非巨大的、不可动摇的事实。
或许与答案质量同样重要的是机器的一致性。研究人员发现，排名前两位的模型在连续三次询问同一问题时，能够给出相同答案的能力要强得多。领先的模型一致性最高，紧随其后的是第二好的模型。另外两个系统则更容易在尝试之间改变主意或调整其建议。这一点至关重要，因为如果患者使用一个不够稳定的系统，今天寻求建议可能会得到一个答案，而明天却会得到另一个，这可能会导致困惑或错误的决策。专家指出，虽然计算机在解释指南方面总体表现良好，但并不完美，其表现会根据问题是关于非手术护理还是手术细节而有所不同。
该研究得出结论，虽然这些人工智能工具在帮助患者理解其膝关节状况方面展现出了潜力，但它们尚未准备好取代医生的判断。表现最好的模型提供了高质量、安全且清晰的信息，但它们之间的差异是微妙且具有特定强项的。有的机器可能更擅长事实，而另一台可能更擅长清晰的语言。研究人员强调，这些发现反映的是计算机在书面测试中的表现，并不证明使用它们会改善患者的实际健康或康复情况。目前，最可靠的方法是将这些工具视为有益的助手，它们可以作为对话的起点，但其建议在做出任何治疗决策之前必须始终经过医疗专业人员的核实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。