← 最新の論文
💻 コンピュータサイエンス

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

この横断的マルチモデル研究は、現在の主流な大規模言語モデルが、高齢者の心血管リスク指標の変換においてほぼ天井に近い精度を達成している一方で、その性能は主に実行ごとの一貫性によって差別化されており、DeepSeekはDoubaoやKimiと比較して著しく低い安定性を示していること、そして不一致は臨床的に重大な誤りではなく、ほぼ排他的に無害な丸め誤差に起因していることを実証している。

原著者: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

公開日 2026-11-03
📖 1 分で読めます☕ さくっと読める

原著者: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む

心臓疾患は依然として世界中で最も一般的な病気および死因であり、その影響は高齢者に最も重くのしかかっています。医師がこうした問題の発生を未然に防ごうとする際、スタチンのような日常的な薬を推奨することがよくあります。このような薬を服用するかどうかの決定は、患者と医師の間の共通理解、すなわち「これがどれほど役に立つのか、そしてリスクはどの程度か」という点に基づいています。この対話は数字に依存しています。医師は、ある治療法によって心臓発作の可能性が特定の割合で低下することや、100人がその薬を服用した場合に特定の数の人が悪い事象を回避できるといった説明をするかもしれません。これら異なる表現方法は、数学的にはすべて等価ですが、人間の精神には非常に異なって感じられることがあります。一つの数値を別の数値へと変換するには「数理能力(ニューメラシー)」と呼ばれるスキルが必要ですが、これは一部の医療専門家でさえ難しいと感じることがあります。人工知能ツールがヘルスケアにおいて一般的になるにつれ、多くの人々がこうした説明を得るためにAIを利用するようになっています。しかし、もしコンピュータがある日、患者にある数字を提示し、翌日、全く同じ質問に対してわずかに異なる数字を提示したとしたら、そのツールへの信頼は崩れ始めてしまいます。

研究チームは、3つの人気のある人工知能システムが、この特定のタスクをどの程度うまくこなせるかをテストするために調査を行いました。彼らは、これらのモデルが複雑な医学的統計を、高齢者に分かりやすく単純な数字へと一貫して変換できるかどうかを確認したいと考えました。研究は、患者が心臓病薬の利益と害を知る必要があるというシナリオに焦点を当てました。研究者たちは、様々なリスク要因を持つ高齢患者を含む、80通りの現実的な医学的ストーリーを作成しました。各ストーリーにおいて、AIは4つの特定の値を計算しなければなりませんでした。すなわち、治療が心臓イベントのリスクをどれだけ減少させたか、副作用のリスクをどれだけ増加させたか、1人の人が恩恵を受けるために何人が薬を服用する必要があるか、そして1人の人が害を受けるために何人が服用する必要があるか、という点です。公平なテストを確実にするため、研究者たちは3つのAIモデルのそれぞれに対し、すべての質問に英語と中国語の両方で、3回連続で回答するよう求めました。これにより、人間の専門家によって作成された、固定された完璧な解答集に対して照合される数千件の回答が生成されました。

結果は、これらのシステムがどのように機能しているかについて、驚くすべき真実を明らかにしました。数学的な正確さに関しては、モデルはほぼ完璧でした。彼らはほぼ常に正しい数値を算出しており、この種の構造化されたタスクにおいて、彼らの計算能力はすでに最高レベルにあることを示唆していました。しかし、本当の物語は一貫性にありました。同じ質問を同じモデルに対して3回行った際、回答は必ずしも同一ではありませんでした。モデルの一つであるDeepSeekは、たとえ常に同じ結果を出すはずのモードに設定されていたにもかかわらず、10パーセント以上のケースで異なる数値のセットを提示しました。他の2つのモデルであるDoubaoとKimiは、ほぼ毎回自分自身の回答と一致しており、はるかに安定していました。この不一致は、モデルが創造性を発揮しようとしていない時、つまり単に数値を計算するように指示に従っている時であっても発生しました。

研究者がモデルが異なる回答を与えた場面を詳しく調べたところ、その差異はほとんどの場合、極めて小さく無害なものであることが分かりました。ほとんどのケースにおいて、不一致は単なる端数処理(丸め)の問題でした。例えば、計算の結果、1人の人を助けるために23人が薬を服用する必要があると示された場合、ある実行ではそれを24に切り上げ、別の実行では23に切り下げる、といった具合です。これらの小さな変化は、医学的な助言や、その薬を服用する価値があるかどうかという結論を変えるものではありませんでした。モデルたちは本質的に同じことを述べており、単にラベルに記載されている数字がわずかに異なっているだけでした。本当に問題となる回答は、極めてわずかな割合、つまり0.2パーセント未満でした。これらの稀な事例では、モデルが全く異なる値を出したり、回答に失敗したり、あるいは自身の正誤についての判断を変えたりしていました。

また、研究では使用される言語が影響を与えるかどうかも確認されました。モデルは英語と同様に中国語でも同様に優れたパフォーマンスを示し、両言語間で正確性に有意な差は見られませんでした。これは、これらの数値を扱う能力が特定の言語に縛られていないことを示唆しています。しかし、研究者たちは、英語で一貫性に苦戦したモデルが中国語でも苦戦したことに注目し、問題は言語自体ではなく、特定のソフトウェアエンジンにあることを指摘しました。今回の知見は、AIを「ゼロ・テンパラチャー(温度設定ゼロ)」モードに設定すれば、常に同じ回答が得られるという一般的な信念に疑問を投げかけるものです。この研究において、そのような設定であっても、システムが裏側でどのように構築され運用されているかに起因して、サービスは時として異なる数字を提供しました。

結局のところ、この研究は、人工知能が医学的統計を計算することには長けているものの、その信頼性は、それらの計算をどれほど一貫して繰り返せるかに依存していることを示しています。生死に関わる質問を投げかける患者にとって、たとえ数字が技術的に正しかったとしても、毎回異なる数字を聞かされることは、信頼できないと感じさせる原因となります。著者らは、医療AIを評価する際には、単純な正確さだけでなく、この安定性にも細心の注意を払うべきだと提案しています。彼らは、モデルが単に異なる回答を出すだけでなく、「危険なほど異なる」回答を出す頻度を数えることで、信頼性を測定する新しい方法を提唱しています。今回の心臓病のシナリオにおいては、モデルは安全でしたが、この研究は、これらのツールが実際の診療現場で信頼されるためには、正しい答えを知っているだけでなく、それを毎回同じように言える能力も備えていなければならないことを浮き彫りにしました。

自分の分野の論文に埋もれていませんか?

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →