Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks
在一项使用标准化眼科住院医师病例进行的对比研究中，DeepSeek-R1 在诊断和治疗任务方面表现出显著高于 GPT-4o 的准确性和完整性，尤其是在视网膜疾病、青光眼、斜视和视神经疾病领域，尽管由于样本量有限且采用纯文本设计，这些发现仍具有初步性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代诊所中，医生的思维是一个强大的工具，经过多年的训练，能够将患者的故事、体征和检查结果联系起来，勾勒出一幅清晰的病情图景。这种临床推理的过程是医学的支柱，但也是一项需要很长时间才能掌握的技能。最近，一种新型的数字大脑出现了：大语言模型。这些人工智能系统在海量文本上进行了训练，能够以卓越的流利度阅读、理解并生成人类语言。它们在协助处理从书写信件到回答一般性问题等各种任务方面展现出了潜力。然而，在眼科这样一个精确且依赖视觉的领域——在这里，诊断可能取决于图像中的细微细节或特定的症状模式——这些数字助手究竟能在多大程度上理解疾病的复杂性，目前仍不明确。问题不再仅仅是它们能否使用医学语言交流，而是当面对疑难病例时，它们是否能像专家一样思考。
一组研究人员决定使用两种最先进的人工智能系统——DeepSeek-R1 和 GPT-4o——来测试这个问题。他们选择专注于眼科学（即专门研究眼睛的分支学科），因为这需要高水平的专业知识以及权衡多种不同信息的能力。为了进行公平且严谨的测试，研究小组并没有要求计算机观察真实的患者或实际的眼部扫描图像。相反，他们使用了三十三个标准化案例研究，这些案例取自中国用于培训和考核眼科医生的国家级数据库。这些案例涵盖了广泛的病症，从视网膜疾病、青光眼到眼外伤及肿瘤，代表了专家在日常工作中可能遇到的各类场景。研究人员要求这两个人工智能模型扮演资深眼科医生的角色。他们提供了每个案例的文本，并要求给出诊断、列出可能解释症状的其他潜在疾病，以及制定治疗方案。
为了确保结果的客观性，三位经验丰富的、获得执业认证的眼科医生对两个人工智能系统提供的答案进行了评审。专家们并不知道哪个答案是由哪个模型编写的。他们根据两个主要标准对每个回答进行评分：准确性和完整性。准确性衡量医疗建议的正确程度，而完整性则衡量答案是否涵盖了所有必要的细节而没有遗漏。专家们使用了一个简单的评分系统，根据答案与训练数据库中标准正确答案的匹配程度来给分。这一过程使研究人员能够将这两个数字大脑的表现直接与人类专家的“金标准”进行对比。
结果显示出两个系统之间存在明显的差异。在他们评审的所有案例中，DeepSeek-R1 提供的答案在准确性和完整性方面始终优于 GPT-4o。当专家考察识别正确疾病这一特定任务时，DeepSeek-R1 获得了平均 10 分制中的 8.04 分，而 GPT-4o 得分为 6.46 分。当模型被要求列出其他可能的疾病（即鉴别诊断）时，差距甚至更大。在此项任务中，DeepSeek-R1 取得了 7.52 分，而 GPT-4o 为 5.50 分。在治疗方案方面，DeepSeek-R1 再次胜过另一款模型，得分为 7.62 分，而后者为 6.65 分。这种差异不仅体现在最终的数字上；专家还注意到，DeepSeek-R1 的回答更加详尽，在解释过程中涵盖了更多的必要要素。
研究发现，DeepSeek-R1 的优势在需要复杂、多步思考的眼科领域最为显著。诸如视网膜疾病、青光眼、视神经疾病以及眼位和视觉发育问题等病症，表现出了最大的性能差距。这些正是医生必须综合多种不同线索以得出结论的类型案例。相比之下，对于具有更明显或特征性体征的病症，例如某些眼外伤或表面疾病，两个模型之间的差异较小。这表明，DeepSeek-R1 这种侧重于高级推理的训练方式，可能使其在答案并非显而易见、需要仔细推导的情况下具备优势。
尽管取得了这些令人鼓舞的结果，研究人员仍谨慎地将他们的发现界定为初步步骤，而非最终定论。该研究受到了一定的限制，即它仅使用了基于文本的案例，这意味着人工智能系统从未见过实际的眼部图像，而图像对于现实世界的诊断至关重要。三十三个案例的样本量也相对较小，且评估依赖于三位人类专家的主观判断。作者强调，这些结果并不意味着其中任何一个人工智能系统已经准备好取代人类医生，或者可以直接在医院中用于为患者做出决策。这些模型的性能会随着它们的更新而迅速变化，且在 2025 年初测试的具体版本可能无法反映未来系统的能力。
最终，这项工作作为一个重要的基准，有助于理解人工智能在眼科这一专业领域的现状。它表明，在这一特定语境下，较新的模型之一 DeepSeek-R1 展示了比既有的 GPT-4o 更强的逻辑推理复杂医学案例的能力。然而，研究结论指出，仍需开展更多工作。未来的研究必须使用真实的图像并在临床环境中测试这些系统，以观察它们是否真的能在复杂、多变的现实医疗护理中为医生提供支持。目前，研究结果表明，虽然人工智能正在成为医疗推理的强大工具，但它仍处于发展阶段，其在诊所中的作用将取决于持续的验证以及与人类专业知识的谨慎整合。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。