Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

小児医療の世界には、若年性特発性関節炎と呼ばれる疾患があります。これは、子供の関節が明確な理由なく腫れたり痛みを感じたりする一連の疾患であり、成長や動きに影響を与える可能性があります。この疾患には多くの異なる形態があるため、医師は子供がどのタイプに該当するかを正確に特定し、適切な治療法を選択するために、非常に慎重にならなければなりません。これらの決定を下すためのルールは、医学の専門家によって作成された詳細なガイドに記されています。これらのガイドは、いつ薬を開始すべきか、副作用をどのように監視すべきか、そして感染症や眼の炎症といった複雑な状況にどのように対処すべきかを医師に伝えます。長年、これらのガイドは医師にとって信頼できる地図となってきましたが、今、新しい種類のツールが登場しました。それが大規模言語モデルです。これらは膨大な量のテキストを学習したコンピュータプログラムであり、流暢で人間のような言葉で質問に答えることができます。これらは医療情報の検索に人気が高まっていますが、小児関節炎ケアの厳格なルールに従うことができるのか、あるいは、もっともらしく聞こえるが実際には間違っている事実を捏造してしまうのではないか、という点については誰も知りませんでした。

トルコの研究チームは、これらのコンピュータプログラムに対して本格的なテストを行うことに決めました。彼らは、利用可能な中で最も高度な3つのモデルが、人間の専門家と同じくらい正確に若年性特発性関節炎に関する質問に答えられるかどうかを調べたいと考えました。そのため、彼らはコンピュータに物語を書かせたり、感情について語らせたりはしませんでした。その代わりに、公式の医学ガイドに基づいた21の特定の質問を与えました。質問の中には、疾患の種類をどのように見分けるかといった単純な事実を求めるものもありました。また、改善が見られない子供にどのような薬を与えるべきかといった、治療計画に関する質問もありました。最も難しい質問は、患者に関する仮定のストーリーであり、複雑な既往歴を持つ特定の子供に対して、次に取るべき最善の手順をコンピュータに判断させるものでした。研究者たちは、3つの異なるコンピュータモデルに対し、すべての質問に回答するよう求めました。テストを公平にするため、彼らはコンピュータの名前を隠すために中立的なラベルを使用し、回答が表示される順番を入れ替えました。

その後、小児関節疾患の専門家である5人の医師が、これらの回答を読みました。彼らは、どのコンピュータがどの回答を書いたのかを知りませんでした。彼らは、公式のガイドと比較して、各回答がどれほど正確であるか、どれほど実臨床で有用であるか、そして全体的な回答がどれほど優れているかをスコア化しました。結果は、機械の間に明確な差があることを示しました。研究者が「GPT-5.6 Sol」と呼んだ一つのモデルは、一貫して最高の回答を提供しました。このモデルは、正確性と医師への有用性の両方において最高スコアを獲得しました。他の2つのモデル、Gemini 3.1 ProとClaude Opus 5も良好なパフォーマンスを示しましたが、リーダーには及びませんでした。診断といった領域では、劣る方のモデルがもう一方よりも優れた成績を収めることもありましたが、治療計画などの領域ではその順位が逆転しました。これは、単一のコンピュータがすべてにおいて完璧であることはなく、その性能は質問の種類によって変化することを証明しました。

この研究は、回答がどのように書かれているかについても調査しました。あるモデルは非常に長い回答を作成し、21の質問を通じて数千語に及ぶ文章を生成しました。研究者たちは、長い回答の方が優れているのではないかと予想していましたが、医師たちの意見は異なりました。最も多くの言葉を生成したモデルが、最高スコラを獲得したわけではありませんでした。実際には、最高スコアを得たモデルは、より簡潔であることが多かったのです。また、医師たちは、すべてのコンピュータが使用している言語がかなり難解であり、医学的背景を持たない一般的な成人が理解するには困難なレベルで書かれていることにも気づきました。このことは、これらのツールが流暢なテキストを生成することはできても、複雑な医学的ルールを一般向けに簡略化する方法を必ずしも知っているわけではないことを示唆しています。

この研究の最も重要な発見は、これらのコンピュータプログラムは人間の医師に取って代わることはできないということです。これらは情報を検索し、それを一貫した回答へと整理することはできますが、「厳格なルール」と「疾患の一般的な特徴」との境界線を曖昧にしてしまうことがあります。起こり得る選択肢ではあるものの、最善ではない治療法を提案したり、疾患の分類の詳細を混同したりすることがあります。研究者たちは、これらのツールは、事実を確認できる専門家の監督下でのみ使用されるべきであると結論付けました。この研究は、たとえ最高のコンピュータモデルであっても、特に子供の健康が懸かっている場合には、その成果を検証するための人間の専門家が必要であることを示しました。テクノロジーは強力ですが、繊細な小児リウマチ学の分野においては、自律的な意思決定者ではなく、あくまで補助するためのツールにとどまっています。