Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability
本研究は、肺塞栓症の健康教育における4つの大規模言語モデルを比較しており、CopilotとPerplexityが優れた信頼性と情報源の提示能力を示した一方で、いずれのモデルも患者教育に推奨される読みやすさの基準を満たしておらず、専門家による監督の必要性を浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、誰でも中に入って質問ができる、巨大で賑やかな図書館だと想像してみてください。かつては、恐ろしい病状について尋ねると、古い本の束や、混乱を招く新聞記事、あるいは見知らぬ人からのデタラメな噂が返ってくることもありました。しかし最近、新しい種類の司書が登場しました。それが「大規模言語モデル（LLM）」です。これらは、インターネット上のほぼすべての文章を読み込み、普通の英語でチャットができる、超スマートで疲れを知らないロボットだと考えてください。彼らは物語を書いたり、数学の問題を解いたり、さらには健康に関する質問に答えたりすることにも長けています。
しかし、ここが厄介な点です。深刻な健康問題に関して言えば、単に物語を作る能力だけでは不十分なのです。必要なのは、事実を知っており、確信が持てないときはそれを認め、そして疲れて不安を感じている人が理解できるほどシンプルに物事を説明できる司書です。そのような恐ろしい疾患の一つが、肺塞栓症（PE）です。これは、血栓によって肺の中で交通渋滞が起きるようなもので、非常に危険な状態です。そのため、人々は答えを探してGoogleへと急ぎます。この論文は、大きな問いを投げかけています。もしあなたが4つの異なるAI司書に肺塞栓症について尋ねたら、彼らは同じ「良いアドバイス」をくれるのでしょうか？ それとも、自信満々に間違ったことを言ったり、難解すぎて読めない回答を出したりするのでしょうか？
AI大対決：最高の健康司書は誰だ？
この研究において、新豊県人民病院の研究者たちは、最も人気のある4つのAIチャットボットをテストすることに決めました。彼らは、ChatGPT、Gemini、Microsoft Copilot、そしてPerplexity AIを選びました。公平な戦いにするために、彼らはロボットに奇妙で架空の質問をしたのではありません。代わりに、実際に人々が5年間にわたってGoogleで検索した内容に着目しました。彼らは、肺塞栓症について人々がよく尋ねる31の質問（例えば「症状は？」「どのように治療するのか？」「妊娠中に危険なのか？」など）を見つけ出しました。
そして、これらの正確な31の質問を4つのAIモデルに投入しました。4つのモデルと31の質問があるため、研究者たちは採点対象として124個の異なる回答を得ることになりました。彼らは厳格な教師のように、4つの異なる「成績表」を用いて回答をチェックしました。
- 信頼性： AIは、自分が知っていることと知らないことを認めたか？ 根拠（ソース）を示したか？
- 質： アドバイスはバランスが取れ、有用であったか？
- 読みやすさ： 言葉は、6年生レベルの子供でも理解できるほど単純であったか？（医師は、誰もが理解できるように健康情報をこのレベルまで簡略化することを推奨しています）。
- 全体の流れ： 文章はスムーズに読めるか？
結果：「良い」ニュースと「悪い」ニュース
ここでどんでん返しがあります。4つのAIモデルすべてが、すべての質問に回答しました。 停止したり、回答を拒否したりするものはありませんでした。彼らは皆、自信に満ちた口調で、明快で流暢な文章を書いていました。もし最初の段落だけを読めば、彼らは皆、親切な専門家のように見えるでしょう。
しかし、研究者が詳しく調査すると、その差は歴然としていました。
「ソース（出典）」スコア（JAMAベンチマーク）：
エッセイにおいて、出典をリストアップすることで点数がもらえる場面を想像してください。CopilotとPerplexityの2つのモデルだけが、自分の調べた根拠を示すという手間を惜しみませんでした。彼らは引用（情報の出典元へのリンク）を提示しました。一方、他の2つであるChatGPTとGeminiは、ほとんどの場合、どこから情報を得たかを示すことなく、ただ回答だけを提示しました。実際、ChatGPTとGeminiの出典提示スコアは0であり、CopilotとPerplexityはわずかに高いスコア（4点満点中1点程度）を獲得しました。これは、もしあなたがAIが真実を言っているかどうかを確認したい場合、最初の2つのモデルでしかそれができないことを意味します。
「信頼性」スコア（DISCERN）：
このスコアは、アドバイスがバランスの取れた安全なものであるかをチェックします。
- CopilotとPerplexityの中央値は41でした。
- ChatGPTは35でした。
- Geminiは33でした。
63が「優秀」、16が「非常に悪い」とされる基準において、4つのモデルすべてが「低い」から「普通」の範囲に留まりました。たとえ「勝者」であるCop食いた（Copilot）やPerplexityであっても、「良い」レベルには達していませんでした。彼らは悪くはありませんでしたが、素晴らしいわけでもありませんでした。
「読みやすさ」の問題：
ここが少しフラストレーションの溜まる部分です。アメリカ医師会は、教育水準に関わらず誰もが理解できるように、健康に関するアドバイスは小学校6年生レベルの読解力で書かれるべきだとしています。
- 研究者は、テキストの難易度を測定するために6つの異なる数学的公式を用いて回答をチェックしました。
- 4つのモデルのうち、一つもテストに合格しませんでした。
- 最も簡単な回答でも、中学3年生（9年生）レベルの文章でした（ChatGPT）。
- 最も難しい回答は、**大学レベル（16年生）**の文章でした（Copлот）。
- 「Flesch Reading Ease（読みやすさ指数）」スコア（数値が高いほど簡単）は、すべて35から48程度でした。合格するには80以上が必要です。
基本的には、AIロボットたちは、平均的な人が、特に恐怖や不安を感じている医療緊急時に素早く読むには、あまりにも複雑すぎる言葉で文章を書いていたのです。
結論：ロボットに運転をさせてはいけない
この研究は、これらのAIモデルが賢そうに振る舞い、情報を整理することには長けているものの、医師に取って代わる準備はできていないことを明らかにしました。
- CopilotとPerplexityは、出典を示し、構造も比較的良かったため、「より優れた」生徒と言えますが、それでも難解な言葉を使いすぎていました。
- ChatGPTとGeminiは、文章の流れは滑らかであったものの、出典の提示に関しては劣っていました。
- 決定的なことに、信頼できる事実、明確な出典、そしてシンプルな言葉のすべてを兼ね備えたモデルは存在しませんでした。
著者らは、これらのAIツールは「副操縦士（コ・パイロット）」としては役立つものの、決して「運転手」になってはいけないと結論づけています。それらは病気がどのようなものか、あるいは医師に何を質問すべきかを説明する助けにはなりますが、あなたを診断したり、安全かどうかを判断したり、治療方針を決定したりすることはできません。もしAIを健康情報の取得に使うなら、それは「自信満々だが間違っている可能性があり、かつ難解である可能性がある」ということを忘れてはなりません。最善の策は、AIを「出発点」として利用し、その後、必ず人間の医師にその内容を確認してもらうことです。
要するに、AI司書たちは礼儀正しく、仕事も早いですが、まだ「人間らしく話す方法」や「嘘をついていないことを証明する方法」を学んでいる最中なのです。彼らが改善されるまでは、常に人間の目が不可欠です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。