Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence
本研究通过专家评分评估了四个大型语言模型在骨科患者问题上的临床质量，发现其表现普遍较高且模型间无统计学显著差异，同时表明尽管在自动化质量预测方面存在局限性，但结合自然语言处理和语义特征可以弱预测专家评分的准确性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医疗领域，患者越来越多地转向数字工具来了解自己的病情，寻求对复杂医学问题的清晰解答。在这些工具中，大语言模型已成为强大的引擎，能够生成类人文本，提供可以根据读者的理解水平进行定制的解释。这些系统通过分析海量的书面信息来预测词语如何相互衔接，从而能够针对从一般健康建议到特定手术程序的各种查询，构建出连贯的响应。然而，生成流畅文本的能力并不自动保证其信息在医学上的正确性、完整性或对患者而言的安全性。随着这些人工智能系统越来越多地融入患者教育，一个关键问题随之而来：我们能否信任它们为膝关节损伤或关节置换术等严重疾病提供准确的指导？是否有一种方法可以在不让医生阅读每一个回答的情况下，来衡量它们的质量？
为了解决这个问题，来自土耳其的一个研究小组着手测试了目前最先进的四种语言模型：ChatGPT、Claude、DeepSeek 和 Gemini。他们将调查重点放在了三个经常令患者困扰的常见骨科主题上：前交叉韧带损伤、半月板撕裂以及全膝关节置换手术。研究人员汇编了五十个典型的患者可能针对这些病症提出的不同问题，涵盖了从恢复时间到手术风险的所有方面。随后，他们将每个问题提交给所有四个模型，共生成了两百个独特的回答。为了确定这些回答的质量，三位骨科专家独立审查了每一个回答。专家们在评审时并不知道哪个回答是由哪个模型生成的，以确保他们的判断仅基于内容本身。他们根据医学信息的准确性、解释的完整性，以及是否包含误导性或错误细节，对每个回答进行了评分。
结果显示，所有四个模型表现都非常出色，普遍生成了医学上准确且全面的响应。专家对这些回答给出了高分，大多数分数都接近可能范围的顶端。有趣的是，虽然从原始数据来看，一个模型似乎在准确性上略胜一筹，另一个在完整性上稍好一些，但统计分析表明，这些差异并不显著，不足以宣布某个系统优于其他系统。换句话说，对于膝关节损伤和关节置换术这些广泛类别，这些模型在提供高质量信息的能力方面基本是等同的。然而，研究也发现，表现并非在每个问题上都是统一的。当研究人员观察单个问题时，他们发现有些问题对于模型来说比其他问题要难得多。最难的问题往往涉及全膝关节置换术，特别是关于患者住院时长的问题。这些问题通常取决于特定的医院方案或个体患者的健康因素，使得计算机很难给出一个单一且普遍正确的答案。在这些情况下，模型有时提供的回答过于笼统、过于详细或略微偏离主题，即便它们并非完全错误或危险。
研究的第二个主要目标是观察计算机是否可以通过仅仅分析文本本身，来预测专家的评分。研究人员使用计算方法对响应进行拆解，分析了句子长度、词汇多样性以及答案与问题的语义匹配程度等因素。他们建立了一个机器学习模型，试图根据这些特征来预测专家的评分。结果喜忧参半。虽然计算机模型预测评分总体趋势的能力优于随机猜测，但它难以区分“非常好的回答”与“完美的回答”。由于专家给出的多数回答得分都很高，这造成了一种缺乏变量的情况，导致计算机难以从中学习。因此，自动化系统无法可靠地自行识别出那些低质量的回答。研究还发现，不同的模型生成的回答在语义上往往非常相似，这意味着它们使用了相似的概念和措辞，但这种相似性并不保证其临床上的完美。
最终，该研究得出结论：当前的人工智能系统能够生成对骨科患者而言普遍安全且具有参考价值的响应。它们可以作为解释医学概念的有用辅助工具。然而，它们尚未成为专业医学判断的替代品。研究表明，尽管这些系统很强大，但在处理需要细微差别和特定背景知识的问题时仍会出错，且其表现会因具体主题而异。此外，试图创建一个自动化质量控制系统来在回答到达患者之前进行筛选的尝试虽显示出前景，但仍存在局限性。研究结果表明，虽然我们可以通过计算机分析在一定程度上衡量这些响应的质量，但人类专家对于验证医疗建议的准确性仍然至关重要，尤其是在复杂或依赖于具体情境的情况下。这项技术是一个强大的助手，但它尚未成为一个独立的权威。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。