Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks
標準化された眼科レジデント症例を用いた比較研究において、DeepSeek-R1は診断および治療タスク、特に網膜疾患、緑内障、斜視、および視神経疾患において、GPT-4oよりも有意に高い正確性と完全性を示したが、サンプルサイズの限定およびテキストのみのデザインにより、その知見は依然として予備的なものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のクリニックにおいて、医師の精神は強力な道具である。それは、患者の物語、身体的徴候、そして検査結果を結びつけ、何が起きているのかという明確な全体像を描き出すよう、長年にわたって訓練されている。この臨床的推論のプロセスは医学の根幹であるが、同時に習得に長い時間を要するスキルでもある。近年、新しい種類のデジタルな精神が登場した。大規模言語モデルである。これらは膨大な量のテキストを用いて訓練された人工知能システムであり、人間の言語を驚くほど流暢に読み、理解し、生成することができる。これらは、手紙の作成から一般的な質問への回答に至るまで、あらゆる場面での支援に有望な兆しを見せている。しかし、診断が画像の微妙な詳細や特定の症状のパターンに依存することもある、眼科のように精密かつ視覚的な分野においては、これらのデジタルアシスタントが疾患の複雑さを真に理解できているのかどうかは依然として不明である。問いはもはや、彼らが医学の言葉を話せるかどうかではなく、困難な症例に直面したときに、専門医のように思考できるかどうかである。
研究チームは、利用可能な最も高度な二つの人工知能システム、DeepSeek-R1とGPT-4oを用いて、この問いを検証することを試みた。彼らが眼科、すなわち眼に特化した医学の分野に焦点を当てたのは、そこには高度な専門知識と、多くの異なる情報を天秤にかける能力が必要とされるからである。公平かつ厳格なテストを行うため、チームはコンピュータに実際の患者や実際の眼スキャンを見せることはしなかった。代わりに、中国の眼科医の訓練や試験に使用されている国家データベースから抽出された33の標準化された症例を用いた。これらの症例は、網膜疾患や緑内障から、外傷や腫瘍に至るまで幅広い疾患を網羅しており、専門医が日常業務で遭遇するであろうシナリオを表している。研究者たちは、両方の人工知能モデルに対し、シニア眼科医として振る舞うよう求めた。彼らは各症例のテキストを提供し、診断、症状を説明し得る他の可能性のある疾患のリスト、および治療計画を要求した。
結果の客観性を確保するため、3人の経験豊富な専門医（認定眼科医）が、二つの人工知能システムによる回答をレビューした。専門医は、どちらのモデルが回答を書いたのかを知らされない状態で作業を行った。彼らは、正確性と完全性という二つの主要な基準に基づいて各回答を採点した。正確性は医学的アドバイスがいかに正しいかを測定し、完全性は、必要な詳細を漏らすことなく回答がカバーしているかを測定した。専門家は単純な採点システムを用い、回答がトレーニングデータベースにある標準的で正しい解決策とどの程度一致しているかに基づいてポイントを与えた。このプロセスにより、研究者は二つのデジタルな精神のパフォーマンスを、人間の専門知識というゴールドスタンダードと直接比較することができた。
結果は、二つのシステム間に明確な差があることを示した。レビューされたすべての症例を通じて、DeepSeek-R1はGPT-4oよりも一貫して正確で完全な回答を提供した。専門家が正しい疾患を特定するという特定のタスクを見たとき、DeepSeek-R1は10点満点中平均8.04点を獲得したが、GPT-4oは6.46点であった。差は、モデルが他の可能性のある疾患を列挙するよう求められた「鑑別診断」と呼ばれるタスクにおいてさらに広がった。ここで、DeepSeek-R1は5.50点のGPT-4oに対し、7.52点を達成した。治療計画についても、DeepSeek-R1は再び他方のモデルを上回り、6.65点に対して7.62点を記録した。違いは最終的な数字だけではなかった。専門家はまた、DeepSeek-R1の回答はより徹底しており、その説明において要求される要素のより多くをカバーしていると指摘した。
本研究では、DeepSeek-R1の優位性は、複雑で多段階の思考を必要とする眼科領域で最も顕著であることが示された。網膜疾患、緑内障、視神経疾患、および眼の配置や視覚発達に関する問題といった疾患において、最大のパフォーマンスの差が見られた。これらは、医師が結論に達するために多くの異なる手がかりを統合しなければならない種類の症例である。対照的に、特定の眼の外傷や表面疾患のように、より明白または特徴的な徴候を持つ疾患については、二つのモデル間の差は小さかった。このことは、高度な推論に重点を置いたDeepSeek-R1の特定の訓練方法が、答えがすぐには分からず、注意深い演繹を必要とする状況において、優位性を与えている可能性を示唆している。
こうした有望な結果にもかかわらず、研究者たちは、自らの知見を最終的な判決ではなく、予備的なステップとして位置づけるよう慎重に枠組みを設定した。本研究は、テキストベースの症例のみを使用しているという点で制限があり、これは人工知能システムが、現実世界の診断において極めて重要な実際の眼の画像を一度も見なかったことを意味する。また、33という症例数も比較的少なく、評価は3人の人間の専門家による主観的な判断に依存している。著者らは、これらの結果は、どちらの人工知能システムも人間の医師に取って代わる準備ができている、あるいは病院で患者の意思決定に直接使用できることを意味するものではないと強調した。これらのモデルの性能は、アップデートに伴い急速に変化する可能性があり、2025年初頭にテストされた特定のバージョンは、将来のシステムの能力を反映していない可能性がある。
結局のところ、この研究は、眼科という専門分野において人工知能がどのような位置にあるかを理解するための重要なベンチマークとして機能するものである。これは、新しいモデルの一つであるDeepSeek-R1が、この特定の文脈において、確立されたGPT-4oよりも複雑な医学的症例を推論する強い能力を示したことを証明している。しかし、研究はさらなる作業が必要であると結論づけている。将来の研究は、これらのシステムを実際の画像とともに、そして実際の臨床現場でテストし、それらが患者ケアという混沌とした複雑な現実の中で、真に医師をサポートできるかどうかを確認しなければならない。現時点での知見は、人工知能が医学的推論のための強力なツールになりつつある一方で、それはまだ進行中のプロセスであり、その役割は継続的な検証と人間による専門知識との慎重な統合にかかっていることを示唆している。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。