Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions
本研究は、2025年度中国国家薬剤師資格試験において3つのGPT-5.6モデルを評価し、すべてのモデルが全科目に合格した一方で、GPT-5.6-SolおよびGPT-5.6-TerraがGPT-5.6-Lunaを大幅に上回ったこと、また、画像を含む問題におけるパフォーマンスは概して低く、元の画像入力の提供に影響されている可能性があることを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の急速に進化する展望の中で、人間の言語を驚くほど流暢に理解し生成できる新しい世代のコンピュータプログラムが登場しました。大規模言語モデルとして知られるこれらのシステムは、膨大な量のテキストで学習されており、質問への回答、物語の執筆、そしてかつては人間の専門知識を必要とした問題の解決を可能にしています。最近では、これらのツールは言葉だけでなく画像も認識できるようになり、テキストとともにチャート、図表、写真を解釈する能力を獲得しています。このマルチモーダルな能力は、情報がテキストのみで提示されることが稀である実世界のアプリケーションにおいて極めて重要です。しかし、決定的な疑問が残っています。これらの洗練されたシステムは、薬学のような高い信頼性が求められる専門分野において必要とされる、複雑な視覚的およびテキスト情報を真に理解できるのでしょうか。その答えは、単なるテクノロジー愛好家だけでなく、薬のラベル、化学構造、あるいは医学的な画像を正しく解釈できる能力が患者の安全性に直結する、医学教育や専門資格認定の未来にとっても重要な意味を持ちます。
これを調査するため、中国の汕頭大学および関連病院の研究者たちは、GPT-5.6と指定された強力な新しい人工知能モデルの3つの特定のバージョンを、2025年版中国薬剤師資格試験に対してテストすることに乗り出しました。これは、中国で合法的に業務を行うために薬剤師が合格しなければならない厳格な国家試験です。試験は、専門的な薬学知識から法律や規制に至るまで、4つの異なる科目を網羅しており、合格には各セクションで少なくとも60パーセントのスコアが必要です。研究者たちは、多くの先行研究が見落としてきた、医学試験において一般的な特徴である「画像を含む問題」に対して、モデルがどのように対処するかに特に注目しました。彼らは、モデルが試験に合格できるのか、同じモデルファミリー内の異なるバージョン間でパフォーマンスに違いがあるのか、そして、単に画像が存在することをコンピュータに伝えるだけの場合と比較して、実際の画像ファイルをコンピュータに提供することが回答を改善させるのかどうかを確認したいと考えました。
研究チームは、2025年試験用の広く使用されている学習ガイドを用いて、合計400問（4科目それぞれ100問）のデータセットを構築しました。彼らはテキスト、正解、および画像を注意深く抽出し、人工知能が制御された条件下でテストできるように整理しました。研究は、Sol、Terra、Lunaと名付けられたGPT-5.6モデルの3つの特定のバリアントに焦点を当てました。これらのモデルには、選択肢の中から正しい答えを選ばなければならないシニア薬剤師のように、試験問題を一つずつ読み込ませました。画像を含む問題については、研究者は2種類のテストを実施しました。一つは、コンピュータがテキストとともに実際の画像ファイルを受け取る形式であり、もう一つは、コンピュータがテキストと画像の場所を示すプレースホルダーの注記のみを受け取り、視覚データ自体は受け取らない形式です。これにより、研究者は視覚情報がモデルの解法にどの程度貢献したかを正確に測定することができました。
結果は、3つのモデルすべてが試験全体に合格する能力を備えており、すべての科目において免許取得に必要な60パーセントの閾値を大きく上回るスコアを達成したことを示しました。しかし、すべてのモデルが等しく機能したわけではありません。GPT-5.6-SolとGPT-5.6-Terraのモデルは、GPT-5.6-Lunaのモデルを大幅に上回りました。Solバージョンは91.5パーセントの総合精度を達成し、Terraは89.0パーセントを記録しました。対照的に、Lunaは83.3パーセントでした。すべてのモデルが合格したものの、統計分析により、上位2つのモデルとLunaモデルとの差は偶然によるものではないことが確認されました。また、研究者たちは、モデルが画像を含む問題よりも、テキストのみの問題において概して高いパフォーマンスを示すことを発見しました。Solモデルの場合、テキストのみの問題から画像を含む問題に移ると、精度は15パーセントポイント以上低下しました。このことは、これらのモデルが非常に高い能力を持っている一方で、視覚情報の解釈は依然としてテキストによる処理よりも困難な課題であることを示唆しています。
研究者が実際の画像を提供する場合と単なるテキストのプレースホルダーを提供する場合の影響を調べたところ、明確な傾向が見られました。モデルは、実際に画像を見ることができる場合に、より正確に回答しました。Solモデルでは、画像がない場合の精度は66.7パーセントでしたが、画像があると81.0パーセントに上昇しました。TerraとLunaについても同様の改善が見られ、両モデルとも視覚データが含まれることで約19パーセントポイントの上昇を示しました。しかし、試験における画像を含む問題の数が比較的少なかったため、研究者たちは、これらの特定の改善が「決定的である」と呼ぶために必要な厳格な統計的確実性のレベルには達していないと指摘しました。また、研究は、問題自体の中に現れる画像と、選択肢の中に現れる画像を区別しました。データは、選択肢の中の画像が特に重要であることを示唆しており、これらの視覚的な手がかりが欠けている場合にモデルがより苦戦することを示しましたが、サンプルサイズの小ささから、この点に関する確定的な結論を下すことはできませんでした。
本研究は、これらの高度な人工知能モデルが、要求の厳しい薬剤師試験に合格できるレベルの習熟度に達している一方で、そのパフォーマンスはすべてのモデルバリアントで一様ではなく、依然として視覚データに関する課題に直面していると結論付けています。研究者たちは、モデルが試験に合格できることが、人間としての薬剤師を置き換える準備ができていることや、さらなる検証なしに医学的評価の唯一のツールとして使用できることを意味するのではないと強調しています。むしろ、これらの知見は、パーソナライズされたトレーニングプログラムの作成、知識のギャップの特定、および資格試験の準備を支援することで、人間の専門家をサポートできる可能性のある未来を示唆しています。本研究は、人工知能が複雑な医学分野において真に効果的であるためには、テキストと視覚情報をシームレスに統合できなければならず、その能力は向上しているものの、依然として洗練が必要であることを浮き彫りにしています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。