Citation reliability of frontier large language models in medical writing and its automated verification

現代の医学の実践において、研究論文や総説を書くことは、絶対的な精密さを要求される厳格なプロセスである。著者は複雑な医学的知識を統合するだけでなく、あらゆる主張を、存在する特定の証拠となる情報源に結びつけなければならない。これらの情報源は「引用」であり、新しいアイデアを裏付ける元の研究へと読者を導く、科学的発見の足跡としての役割を果たす。何十年もの間、このプロセスは人間の営みであり、名前、日付、ジャーナル名が実際に存在し、著者が主張している通りの内容であることを確認するために、細心の注意を払う必要があった。しかし、研究室や図書館に、ある新しいツールが登場した。それが大規模言語モデルである。これらは膨大な量のテキストで学習された強力なコンピュータプログラムであり、記事の草案を作成し、知見を要約し、参考文献のリストを数秒で生成することができる。これらはスピードと効率性の約束をもたらすが、一つの重大な疑問が生じている。これらの機械は正しい足跡を見つけることができるのか、それとも時として足跡を捏造してしまうのだろうか。

この問いは単に学術的な問題にとどまらず、医学の誠実さの核心を突いている。もしコンピュータが医学的総説を書き、一見すると本物のように見えるが誤った研究を指していたり、さらに悪いことに、存在すらしない研究を引用したりした場合、議論全体が崩壊しかねない。この現象は「ハルシネーション（幻覚）」として知られ、初期のコンピュータモデルの既知の弱点であった。しかし、これらのツールが進化し、高速化され、リアルタイムでインターネットを検索する能力を備えるようになるにつれ、それらが正しく引用することを学んだのかどうかは不明確になっている。医学界は、これらの新しい高度なモデルが真剣な研究に使用できるほど信頼できるのか、そしてもしそうでないならば、出版前に間違いを見つけ出す実用的な方法があるのかを知る必要がある。

ある研究チームは、最も高度な3つのコンピュータモデルに厳格なテストを行うことで、これらの問いに答えるべく着手した。彼らは各モデルに対し、循環器学（心臓および血管の研究）の分野における9つの異なるトピックについて、一連の短い医学的総説を書くよう求めた。トピックは一般的な疾患から稀な処置まで多岐にわたり、多くの出版された研究がある主題と、非常に少ない主題を混ぜ合わせた。各モデルには、約600語から900語の総説を書き、各記事に正確に30個の参考文献を含めるよう指示された。これにより、合計270の総説と8,000以上の引用が作成された。極めて重要な点は、研究者がモデルに対し、組み込みのウェブ検索ツールを使用することを許可したことであり、これはユーザーが現実の世界でどのようにそれらを利用するかをシミュレートしている。目標は、これら数千の引用のうち、実際にどれほどが正しいかを確認することであった。

結果は、著しい差異と持続的なエラーが混在する状況を明らかにした。研究者がすべての引用を公式の医学データベースと照合したところ、モデルは完璧ではなかった。GPT-5.5というモデルが最も優れたパフォーマンスを示し、問題のある引用の割合は約11.5パーセントであった。しかし、他の2つのモデル、Claude Opus 4.8とGemini 3.5 Flashは、引用の約30パーセントにおいてエラーを犯していた。これは、精度の低いモデルが生成した10個の参考文献につき、およそ3個が不備があることを意味する。研究者らはまた、利用可能な情報が不足していることがコンピュータを混乱させるのではないかと考え、出版された研究が少ないトピックにおいてモデルがより苦戦するかどうかを調査した。その結果、文献が多いトピックの方がエラー率がわずかに低かったものの、その差は決定的なルールと見なせるほど強力なものではなかった。モデルは、利用可能な情報の量に関わらず、全般的に間違いを犯していたのである。

おそらく最も示唆に富む発見は、間違いそのものの性質であった。研究者たちは、コンピュータが単に架空の記事を作り上げるという、典型的なハルシネーションを目にするだろうと予想していた。しかし実際には、エラーの大部分はもっと微妙なものであった。問題となった引用の約77パーセントは、「誤った帰属（misattribution）」のケースであった。これらの事例では、コンピュータは実在する医学論文の有効な識別子を提供していたが、その論文はモデルが主張しているものとは別の論文であった。それはまるで、コンピュータが図書館で実在する本を見つけたものの、それを間違った棚に置き、別の本のタイトルをラベルとして貼ってしまったような状態であった。この種のエラーは、一見すると正しく見えるため、特に危険である。読者は有効な番号を見て、その参考文献を信頼できると思い込み、後になってから、その情報源が主張されている内容を支持していないことに気づくことになる。コンピュータが全く存在しない記事を捏造するという「真の捏造」は驚くほど稀であり、エラー全体の1パーセント未満を占めるに過ぎなかった。

こうした微妙なエラーは、体系的なチェックなしには人間が見つけるのが難しいことを認識し、研究者らは「Chain-of-Verification（検証の連鎖）」と呼ばれる新しい検証手法をテストした。このアプローチは、コンピュータモデル自体を使用するが、異なる方法で行われる。モデルに単に参考文献をリストアップさせるのではなく、システムはタスクをいくつかの独立した小さな質問に分解する。まず、タイトルと著者に基づいて記事を特定させ、次にジャーナルと発行年が一致するかを確認させ、最後に、その識別子が正しい文書を指しているかを確定させる。モデルに、自身の記憶に頼るのではなく、データベースに対して情報を一つずつ個別に検証させることで、システムは自らの間違いを捉えることができる。研究者がこの手法を、人間の専門家によって厳密にチェックされた参考文献のセットに対してテストしたところ、自動化されたシステムは極めて効果的であることが証明された。このシステムは、誤った帰属や捏造のケースをすべて特定した上で、問題のある引用の96.8パーセントを正しく特定し、正しい引用をエラーとして誤検知することはほとんどなかった。

本研究は、最新世代の医学執筆ツールは強力ではあるものの、監視なしに信頼するにはまだ時期尚早であると結論づけている。最も一般的な失敗は、偽の事実を捏造することではなく、実在する事実を誤ってラベル付けすることであり、この間違いを検出するには特定の種類の手順が必要である。研究者らは、自動化された検証プロセスが、人間の専門家に匹敵する精度でこのチェックを実行できることを見出した。これは、医学的執筆におけるAI支援の未来が、人間か機械かの選択ではなく、機械がコンテンツを起草し、特化した検証システムがすべての引用が真実を指していることを保証するという「パートナーシップ」になることを示唆している。このような検証が標準的な慣行となるまでは、これらのモデルによって生成された引用は、読者を誤った真実へと導く可能性があるため、注意を持って扱うべきである。