Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

口腔癌是一种严重的疾病，需要精准且协调的护理。当患者被诊断出患病时，医生必须决定治疗路径，这通常涉及手术、放疗或药物治疗，具体取决于肿瘤的确切位置及其扩散程度。这些决策受到被称为“临床指南”的严格医学规则指导，这些指南由专家编写，以确保每位患者都能基于最新的科学成果获得最佳护理。最近，一种被称为“大语言模型”的新型计算机程序出现了。这些程序可以阅读海量文本并撰写流利的回答，这引发了许多人的思考：它们是否可以帮助医生总结复杂的规则或建议治疗方案。然而，仅仅因为一台计算机说话清晰，并不意味着其医疗建议是正确的。在癌症护理这一高风险领域，一个自信但错误的答案可能是危险的，因此，测试这些数字工具是否能够真正理解并应用医学指南至关重要。

来自中国吉林大学的一个研究小组致力于通过让三个最先进的大语言模型处理口腔癌病例来测试这一想法。他们选择了三个特定的模型：GPT-4o、DeepSeek-R1 和 Grok-3。为了观察这些程序的表现如何，研究人员根据美国国家综合癌症网络（NCCN）关于头颈癌的官方指南创建了一项标准化测试。该测试有两个主要部分。首先，模型被要求扮演专家外科医生的角色，向没有医学背景的人解释治疗口腔癌的规则。它们必须涵盖病因、疾病是如何发现的，以及治疗和康复的步骤。其次，研究人员给出了标准化的口腔癌场景和临床病例，并要求模型提供完整的管理方案，包括诊断结果、疾病分期，以及具体应采取何种手术或放疗。

为了评判答案，三位经验丰富的口腔颌面外科医生对输出结果进行了评审。他们根据总结任务（采用 0 到 10 分的评分制）和病例管理任务（采用 0 到 100 分的评分制）对回答进行评分，考察的因素包括准确性、清晰度以及治疗方案是否遵循官方规则。结果显示，不同模型的表现各异，且没有任何一个程序在所有方面都趋于完美。在向大众总结指南的任务中，DeepSeek-R1 模型获得了 8.8 分（满分 10 分）的最高综合得分，其次是 GPT-4o（8.3 分）和 Grok-3（7.8 分）。DeepSeek-R1 在清晰度和逻辑流等特定领域也获得了最高分。

当模型进入更具挑战性的特定患者病例管理任务时，整体得分有所上升，但模型之间的差异变得更加明显。DeepSeek-R1 再次获得了 87.44 分（满分 100 分）的最高综合得分。它在建议正确的治疗方案、规划手术范围以及评估患者预后（即可能的结局）方面表现尤为出色。Grok-3 以 77.77 分位居第二，而 GPT-4o 得分为 68.61 分。有趣的是，虽然 DeepSeek-R1 在大多数类别中领先，但 Grok-3 在建议正确放疗剂量方面实际上获得了最高分。研究人员还注意到，衡量计算机生成的文字与参考答案匹配程度的“文本相似度得分”，并不总是与人类专家评定的医学准确性保持一致。这表明，计算机可以写出看起来与正确答案非常相似的文字，但在医学细节上仍然出错。

尽管表现最好的模型取得了较高的分数，但研究发现，这些工具存在的重大缺陷使其无法作为独立的决策者使用。所有三个模型有时都会混淆口腔癌与咽喉癌，这是一个关键错误，因为这两种疾病的治疗方式截然不同。它们有时还会虚构特定细节，例如精确的手术切缘或抗生素给药时间表，而这些细节在患者病例或官方指南中并无依据。研究人员观察到，虽然模型能够很好地组织信息，但它们缺乏为特定患者的独特情况量身定制方案所需的深度语境理解能力。该研究得出结论，这些人工智能工具应被视为帮助医生起草方案或总结信息的助手，而非可以做出最终决定的自主医生。作者强调，人类专家必须始终核实输出内容，并呼吁开展更大规模的研究，以进一步完善这些技术如何安全地支持癌症护理。