Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
この横断的研究によれば、5つの生成AIシステムは眼科学の学部レベルのテキストベースの問題において医学部4年生を大幅に上回る成績を示した一方で、ほとんどのシステムが画像ベースの項目に苦戦しており、教育ツールとしての可能性を浮き彫りにすると同時に、試験の成績と臨床における能力を同一視することに対して警鐘を鳴らしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代医学の教室に、新しい種類の学生が静かに講義室へと入り込んできました。それは眠らず、忘れることもなく、数千ページの文書を一秒で読み解くことができます。これは生成人工知能（ジェネレーティブAI）であり、言語を理解し、人間が書いたような回答を生成するように設計されたコンピュータプログラムの一種です。これらのシステムは、しばしば大規模言語モデルと呼ばれ、学生が複雑な概念を説明したり、試験対策を行ったりするための一般的な学習ツールとなっています。しかし、これらの機械は読解や推論において進化している一方で、ある決定的な疑問が残っています。果たしてそれらは、医学の「視覚的な世界」を真に理解しているのでしょうか？眼科、すなわち目の研究分野では、診断は網膜や眼内の写真に見られる微妙なパターンを見つけ出すことに依存することがよくあります。人間の医師にとって、「見ることは信じること（百聞は一見に如かず）」です。しかし、機械にとって「見る」ことは、はるかに困難な挑戦なのです。これらのツールが教育に統合されるにつれ、教育者たちは、それらが単に知識を模倣しているだけなのか、それとも学生が見ているものを実際に「見ることが」できているのかを知る必要があります。
その答えを見出すため、ポルトガルのポルト大学の研究チームは、最も高度な5つの人工知能システムを、医学部4年生の学生たちと対決させました。研究者たちは、2025年に学生に課された実際の眼科試験から89問の多肢選択式問題を集めました。これらの問題は、緑内障から網膜疾患に至るまで、幅広い眼疾患を網羅しています。このセットには、テキストのみを読むことで回答できる問題が77問、そして正しい答えを見つけるために写真や医学的な画像を見る必要がある問題が12問含まれていました。その後、研究者たちはすべての問題と、該当する場合はその付随する画像を、5つの異なるAIシステム（GPT-4.1 Auto、GPT-5.2 Auto、Gemini 3 Flash、Grok 4.1 Auto、および Claude Sonnet 4.5）に入力しました。コンピュータには追加の助けも、インターネット検索も、質問の明確化を求める機会も与えられませんでした。彼らはただ、学生と同じように、提示された5つの選択肢の中から最善の答えを選ばなければなりませんでした。
結果は、言葉と画像の扱いにおける、機械の驚くべき格差を明らかにしました。テキストのみの問題において、人工知能システムは驚異的なスキルを発揮しました。5つのシステムのうち3つが90パーセント以上の正解率を記録し、トップの成績を収めた Gemini 3 Flash は95.5パーセントの精度に達しました。比較すると、平均的な医学部生は約73パーセントの正解率でした。これは、紙ベースの質問においては、最高のAIシステムが大多数の人間である学生を凌駕し、クラスの上位層にランクインしていることを意味します。しかし、問題に画像が含まれると、物語は一変しました。質問が目の写真を見ることを要求したとき、5つのシステムのうち4つの性能が著しく低下したのです。人間の学生は、テキストベースか画像ベースかにかかわらず精度を維持していましたが、機械は視覚データの解釈に苦戦しました。例えば、テキスト問題で98.7パーセントを記録したシステムが、画像問題では75パーセントにまで落ち込みました。また、別のシステムは96パーセントから67パーセントへと低下しました。GPT-4.1 Auto だけが、これら2つの形式の間で有意な差を示しませんでしたが、このシステムは全機械の中で最も低い総合スコアでもありました。
研究者たちはまた、機械の回答が学生の回答とどのように比較されるかを調べ、彼らが同じ間違いを犯しているかどうかを確認しました。その結果、AIシステムは単に学生を模倣しているのではないことが判明しました。実際、最も多くの正解を得たシステムは、学生の多数派と最も意見が異なったシステムであることが多かったのです。これらの高パフォーマンスな機械は、ほとんどの学生が間違えた多くの問題を正解しており、これは彼らが異なる種類の知識や推論プロセスにアクセスしていることを示唆しています。逆に、総合的な精度が最も低かったシステムである GPT-4.1 Auto は、学生の回答パターンに最も密接に一致していました。これは、機械は強力ではあるものの、必ずしも人間のように考えるわけではなく、そのエラーも人間のエラーと同じではないことを示しています。また、本研究は、機械は学生にとって解きやすい問題に対してより優れた回答を行うことを示しており、問題の難易度が人間と機械の両方に同様の影響を与えることを示唆しています。
高いスコアにもかかわらず、研究者たちは、これらの結果が機械が医師に取って代わる準備ができていることや、真の臨床能力を備えていることを意味するものではないと警告しています。この研究は、特定の大学の特定の質問セットに基づいて行われており、画像ベースの質問の数も比較的少なかったためです。著者らは、これらのツールは事実の復習や筆記試験の準備には非常に有用であるが、眼科ケアの中心となる複雑な視覚的所見を解釈することを、まだ信頼することはできないと強調しています。患者の目を見て診断を下す能力は、単にテストで正しい文字を選択すること以上のスキルを必要とするものです。今のところ、これらの人工知能システムは、学生が学習するのを助ける強力な学習補助ツールとして機能していますが、医学の世界を「見て理解する」という人間の能力とは依然として別物なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。