Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions
本研究评估了三款 GPT-5.6 模型在 2025 年中国执业药师资格考试中的表现，发现所有模型均通过了所有科目，其中 GPT-5.6-Sol 和 GPT-5.6-Terra 的表现显著优于 GPT-5.6-Luna，同时指出包含图像的问题表现普遍较低，且可能受到提供原始图像输入的影响。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的背景下，新一代计算机程序已经涌现，它们能够以惊人的流利度理解并生成人类语言。这些被称为大语言模型的系统，通过在海量文本上进行训练，使其能够回答问题、创作故事，并解决曾经需要人类专业知识才能解决的问题。最近，这些工具也开始能够识别图像和文字，获得了解读图表、示意图和照片的能力，并能将其与文本结合起来。这种多模态能力对于现实世界的应用至关重要，因为在现实中，信息很少仅以文本形式呈现。然而，一个关键问题仍然存在：这些复杂的系统是否真的能够理解药剂学等高风险专业领域所要求的复杂视觉和文本信息？这个答案不仅对技术爱好者很重要，对于医学教育和职业认证的未来也至关重要，因为在这些领域，正确解读药物标签、化学结构或医学图像的能力直接关系到患者的安全。
为了对此进行调查，中国汕头大学及其附属医院的研究人员决定测试三个特定版本的强大新型人工智能模型，该模型被命名为 GPT-5.6，并将其与 2025 年中国执业药师资格考试进行对比。这是一场严苛的国家级考试，药师必须通过此考试才能在中国合法执业。该考试涵盖了四个不同的科目，从专业药学知识到法律法规不等，并且要求每个科目都必须达到至少 60% 的分数才能通过。研究人员特别感兴趣的是这些模型如何处理包含图像的问题，这是医学测试中的常见特征，而以往的许多研究都忽略了这一点。他们想看看这些模型是否能通过考试，同一系列的不同版本表现是否有所不同，以及提供实际的图像文件是否比仅仅告诉计算机存在一张图像更能提高其回答的准确性。
研究团队利用一份广泛使用的 2025 年考试学习指南构建了一个数据集，该指南总共包含 400 道题目，其中四个科目各占 100 题。他们仔细提取了文本、正确答案和图像，并对其进行了整理，以便在受控条件下对人工智能进行测试。该研究聚焦于 GPT-5.6 模型的三个特定变体，分别命名为 Sol、Terra 和 Luna。这些模型逐一接收考试题目，扮演一名必须从选项列表中选择正确答案的高级药师。对于包含图像的问题，研究人员运行了两类测试：一种是计算机同时接收实际图像文件和文本；另一种是计算机仅接收文本和一个表示此处有图像的占位符，而不提供视觉数据本身。这使得研究人员能够精确衡量视觉信息在多大程度上帮助了模型解决问题。
结果显示，所有三个模型都能够通过整个考试，在每一个科目中都取得了远高于执业许可要求的 60% 分数线。然而，并非所有模型的表现都一样。GPT-5.6-Sol 和 GPT-5.6-Terra 模型明显优于 GPT-5.6-Luna 模型。Sol 版本实现了 91.5% 的总体准确率，而 Terra 得分为 89.0%。相比之下，Luna 的得分为 83.3%。虽然三者都通过了考试，但统计分析证实，前两名表现优异的模型与 Luna 模型之间的差异并非偶然。研究人员还发现，与包含图像的问题相比，模型在仅包含文本的问题上通常表现得更好。对于 Sol 模型，当从纯文本问题转向带有图像的问题时，准确率下降了超过 15 个百分点。这表明，尽管这些模型能力极强，但解释视觉信息对它们来说仍然是一项更具挑战性的任务。
当研究人员检查提供实际图像与仅提供文本占位符的影响时，他们观察到一个明显的趋势：当模型能够真正看到图像时，它们的回答更加准确。对于 Sol 模型，在没有图像的情况下，图像相关问题的准确率为 66.7%，而在有图像的情况下上升到了 81.0%。Terra 和 Luna 也出现了类似的提升，在加入视觉数据后，两者的准确率都大约提高了 19 个百分点。然而，由于考试中基于图像的问题数量相对较少，研究人员指出，这些特定的改进尚未达到被称为确定性证据所需的严格统计显著性水平。研究还区分了出现在题目本身中的图像与出现在选项中的图像。数据表明，选项中的图像尤为重要，因为当这些视觉线索缺失时，模型的表现会变得更差，尽管较小的样本量使得无法就这一特定观点得出确定的结论。
研究结论认为，尽管这些先进的人工智能模型已经达到了能够通过高难度专业药师考试的熟练程度，但它们的表现并不均衡，且在处理视觉数据方面仍面临挑战。研究人员强调，模型通过考试的能力并不意味着它们已经准备好取代人类药师，或者可以在未经进一步验证的情况下作为医学评估的唯一工具。相反，研究结果暗示了一个潜在的未来，即这些工具可以通过帮助创建个性化培训计划、识别知识盲区以及辅助职业资格考试准备，来为专业人士提供支持。该研究强调，为了使人工智能在复杂的医学领域真正发挥作用，它必须能够无缝整合文本和视觉信息，这一能力正在提升，但仍需进一步完善。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。