Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

現代医学の世界において、患者の健康の物語はしばしば2つの異なる言語で書かれている。一方の言語は、医師が目にするもの、すなわち高熱、特定の心拍リズム、あるいは特定の骨の形状などを記述する。科学者たちは、これらの観察可能な特性を「表現型（フェノタイプ）」と呼ぶ。もう一方の言語は、DNAのコードとして細胞の中に隠されている。このコードには遺伝子や、遺伝的スクリプト内の微細な変異が含まれており、それがなぜ人が特定の特性を持つのか、あるいはなぜ特定の疾患を発症するのかを説明することができる。これら2つの言語、つまり目に見える症状と目に見えない遺伝的原因を結びつけることが、精密医療（プレシジョン・メディシン）の基礎である。これにより、医師は希少疾患を診断し、リスクを予測し、その人の独自の生物学に適合した治療法を選択することが可能になる。しかし、既知の症状と遺伝子の間のつながりのライブラリは非常に速いスピードで増大しており、人間の専門家がすべての新しい科学論文を読んで記録を更新することは不可能となっている。出版された内容と公式に記録されている内容の間の溝は広がり続けており、医師が必要とする最新の答えが得られない状況を生んでいる。

この溝を埋めるために、研究者たちは人工知能、具体的には「大規模言語モデル」として知られる一種のコンピュータプログラムに目を向けている。これらのプログラムは膨大な量のテキストを読み込んできており、人間が書いた文章のように見える新しい文章を生成することができる。もしこれらのプログラムが十分な量の医学文献を読み込んでいれば、患者の症状に関連する遺伝子や遺伝的変異を即座に示唆し、超高速の研究助手として機能できるのではないか、という考えがある。しかし、深刻な懸念がある。これらのプログラムは、時として事実を捏造することが知られている。実在しないように聞こえる遺伝子名を生成したり、実在する遺伝子を全く関係のない疾患に関連付けたりすることがある。もし医師がそのような間違いを信頼してしまえば、誤診につながる恐alityがある。極めて重要な問いは、これらの人工知能ツールが、実際に検証された真のつながりを見つけ出すことができるのか、それとも単に推測しているだけなのか、ということである。

バンダービルト大学の研究チームは、厳格な実験によってこの問いを検証することに乗り出した。彼らは単にコンピュータに推測させたのではなく、あらゆる回答を世界で最も信頼されているデータベースと照合するシステムを構築した。彼らは利用可能な最も高度な4つの言語モデルを選定し、6種類の異なるタスクを実行させた。あるタスクでは、コンピュータに症状のリストを与え、それらを引き起こす遺伝子や遺伝的変異の名前を答えさせた。また別のタスクでは、遺伝子や遺伝的変異を与え、それが引き起こす症状を記述させた。彼らは、高血圧や糖尿病のような一般的な疾患と、ごく少数の人にしか影響を与えない非常に稀な疾患の両方について、これらのモデルをテストした。研究者たちは、モデルが生成したすべての関連付けを取り出し、検証パイプラインに通した。遺伝子名が実在するか、遺伝的変異が標準的な記録に存在するか、そして最も重要な点として、症状と遺伝子の間のつながりが主要な科学カタログの証拠によって裏付けられているかをチェックした。

結果は、これらのツールができることとできないことについて、複雑な様相を呈した。全体として、人工知能モデルは実在する名前を生成することに関しては驚くほど優秀であった。モデルが提案した遺伝子や遺伝的変異のほとんどは、実際に生物学的な世界に存在しており、コンピュータが架空の名前をでっち上げることは滅多になかった。しかし、本当のテストは、症状と遺伝子の間のつながりが真実であるかどうかであった。研究者が証拠を確認したところ、モデルが生成した関連付けの約74パーセントが、少なくとも一つの確立された科学データベースと一致することが判明した。これは、提案されたものの約4件に3件近くにおいて、文献による裏付けが存在することを意味している。そのうち約9パーセントは非常に強い支持を得ており、さらに約54パーセントは中程度の支持を得ていた。このことは、これらのツールが、医師や科学者が調査すべき候補となるアイデアの強力な生成器として、確かに機能し得ることを示唆している。

しかし、パフォーマンスはすべての質問の種類において一様ではなかった。モデルは、特定の遺伝的変異（一塩基多型、すなわちSNPとして知られる）について問われるよりも、遺伝子について問われるときの方がはるかに高いパフォーマンスを示した。症状と遺伝子を結びつけるタスクにおいては、モデルは約3分の2の回答に対して強い、あるいは中程度の証拠を見つけることができた。しかし、タスクが症状と特定の遺伝的変異を結びつけることにシフトすると、成功率は著しく低下した。モデルが最も苦戦したのは、希少疾患に関するケースであった。心疾患や糖尿病のような一般的な疾患については接続を見つけることが多かったが、超希少疾患については、検証されたリンクを見つけることに頻繁に失敗した。これは、人工知能だけでなく、データベース自体の限界をも浮き彫りにしている。希少疾患に関する科学的記録は不完全であったり、散逸していたりすることが多く、たとえ存在していたとしても、コンピュータが一致を見つけることを困難にしているのである。

また、この研究では4つの異なるモデルを比較し、明らかに優れているモデルがあるかどうかを調査した。一つのモデルである「Claude Sonnet」は、証拠に裏付けられた関連付けを約69パーセントの割合で生成し、全体として最高のパフォーマンスを示した。次いで「GPT-5.5」が約65パーセントで2位となった。他の2つのモデルは後塵を拝し、成功率はそれぞれ61パーセントと57パーセントであった。興味深いことに、遺伝子のつながりを見つけるのが得意なモデルと、遺伝的変異のつながりを見つけるのが得意なモデルは必ずしも一致しなかった。これは、各モデルが学習に使用した膨大なテキストから、異なるパターンを学習していることを示唆している。研究者たちはまた、異なるモデル間での一致度についても調査した。彼らは、同じ質問を与えられたとしても、モデル同士が全く同じ回答リストを作成することは稀であることを見出した。時には既知の事実について一致することもあるが、多くの質問において、モデルは全く異なる提案を行った。この一致の欠如は、単一のモデルに頼ることのリスクを意味している。一つのモデルが関連性を提案したとしても、それが正しい保証はなく、二つのモデルが意見を異にするからといって、両方が間違っているとは限らないのである。

おそらく最も重要な発見は、モデルが犯したエラーの性質であった。研究者が、どのデータベースにも見つからなかった提案を手作業でレビューしたところ、それらの多くは単なるランダムな推測ではないことが判明した。一致しなかったケースの約60パーセントは、モデルが実在する遺伝子や変異を、誤った疾患に関連付けてしまったケースであった。その他の失敗は、多くの場合、科学データベースにまだその情報が存在していなかったことに起因していた。この区別は極めて重要である。つまり、モデルは通常、偽の名前を捏造しているわけではないが、誤った接続に対して自信を持ってしまっているということである。これは臨床現場での使用における具体的な危険を生む。医師は、出力された内容を見ただけで、正しく検証されたリンクと、自信に満ちた「幻覚（ハルシネーション）」との違いを判別することができないのである。

研究者たちは、これらの人工知能ツールは有用であるが、注意深く扱う必要があると結論づけた。これらは、医師にとっての出発点として、長い可能性のリストを生成することには長けている。しかし、最終的な答えを提供することを期待することはできない。提示されるすべての提案は、医療現場で使用される前に、確立された記録と照らし合わせてチェックされる必要がある。この研究は、出力の信頼性が、どのような種類の質問が行われるかに大きく依存することを示した。一般的な疾患や遺伝子レベルの質問に対しては、これらのツールはかなり信頼できる。一方で、希少疾患や特定の遺伝的変異については、信頼性はるかに低くなり、これは我々の集団的な科学知識の現状を反映している。今後の道筋は、これらのモデルを発見プロセスを加速させるために使用しつつ、常に厳格な検証ステップと組み合わせることにある。このようにして、人工知能のスピードと、人間が精査した科学の正確性を組み合わせることで、患者の症状と遺伝子の間のつながりが、迅速かつ真実であることを保証できるのである。