Retrieval, not hallucinations, will be the limiting factor for LLM-based clinical AI tools

あなたは謎解きに挑んでいると想像してください。ただし、探偵の代わりに、超スマートなロボットの助手がいるとしたらどうでしょう。このロボットは、これまでに書かれたほぼすべての本を読み、人間のように話すことができます。医学の世界では、これらのロボットは「大規模言語モデル（LLM）」と呼ばれています。彼らは、患者の記録を読み、何が問題なのかを要約し、治療法を提案することで、医師を助けるように教え込まれています。しかし、ここに落とし穴があります。ロボットは、あまりにも巨大すぎるため、病院のデータベース全体を一度に読み込むことはできません。そのため、質問に答える前に、患者の履歴の中から重要な特定のページを見つけ出すための「捜索隊」を送り出さなければなりません。このプロセスを「検索（Retrieval）」と呼びます。

このロボットを、優秀なシェフだと考えてみてください。そして、患者の病歴を、巨大で混沌としたパントリー（食材置き場）だとしましょう。シェフ（AI）は料理に関しては素晴らしい才能を持っていますが、もし捜索隊（検索システム）が卵を持ってくるのを忘れたら、たとえどれほど才能があっても、シェフはオムレツを作ることができません。長い間、人々は、シェフが実在しない材料をでっち上げるのではないかと心配してきました。例えば、実際には存在しないのに「ユニコーンの卵を使った」と主張するようなことです。これは「ハルシネーション（幻覚）」と呼ばれます。しかし、この論文は、でっち上げも悪いことですが、真の、静かなる危険は、捜索隊が適切な食材を見つけられなかったために、シェフが食材を見落としてしまうことであると示唆しています。もし、巨大なパントリーの中から特定のメモを見つけることができず、ロボットが医師に対して「患者はペニシリンアレルギーである」という事実を伝え忘れたとしたら、その結果は、おかしな作り話をすることよりもずっと深刻なものになるかもしれません。

---

論文の核心：パントリーの中の静かなる殺し屋

この論文は、医療AIにおける最大のボトルネックは、ロボットが嘘をつくこと（ハルシネーション）ではなく、ロボットがそもそも正しい情報を見つけられないこと（検索漏れエラー／リコール・エラー）であると主張しています。著者たちは、大学やクリニックの専門家チームであり、「AIは嘘をついているのか？」という議論から、「AIが重要なことを見落としていないか？」という議論へと転換させようとしています。

2種類のミス

彼らの主張を理解するために、著者らはAIのミスを、2つの古典的なミスのタイプと比較しています。

1. 「誤報」（精度エラー / Precision Error）: これは、AIがあることが正しいと言っているものの、実際には間違っている場合です。医療の世界では、これが有名なハルシネーションです。例えば、AIが「患者は珍しい熱帯病を患っています」と言うかもしれませんが、実際にはそうではありません。これは恐ろしいことですが、通常は簡単に見抜けます。もしAIが突飛なことを言えば、医師は元の記録を確認して、「待て、そんなことは記録にないぞ」と言うことができます。それは、シェフがパントリーにない秘密のスパイスを使ったと主張するようなもので、パントリーをチェックすれば、それが欠けていることがすぐに分かります。

2. 「静かなる脱落」（検索漏れエラー / Recall Error）: これは、記録の中に実際に存在する重要な事項を、AIが書き漏らしてしまう場合です。例えば、患者に重いアレルギーがあったり、昨日取られた重要な検査結果があったりするかもしれません。しかし、AIはそれについて一切触れません。これが「静かなる殺し屋」です。なぜなら、AIが何も言わなければ、医師は「その情報は存在しない」と思い込んでしまうからです。それは、シェフが「卵が足りない」と言い忘れたために、医師が「オムレツは大丈夫だ」と判断し、後になって隠れた食材に対して患者が反応したことを知る、というようなものです。

論文は、私たちは「誤報（False Alarm）」を捉える良い方法（ソースとなる記録を確認すること）を持っている一方で、「静かなる脱落（Silent Omission）」を捉える方法はほとんど持っていないと指摘しています。もし捜索隊が特定のメモを見つけられなければ、AIはそのメモを見ることができず、医師もそれが漏れたことを知り得ません。これは、静かなる失敗なのです。

なぜ捜索隊が弱点なのか

著者らは、「シェフ（LLM）」は日々より賢く、より速くなっている一方で、「捜索隊（検索システム）」はそれほど速くは進化していないと説明しています。

• シェフの成長: AIモデルは急速に進化しており、言語や文脈を理解する能力が高まっています。
• 捜索隊の停滞: 何百万もの医療記録を検索するためのツールは、依然として古くて遅い手法に依存しています。最新技術を使ってサポートしているとはいえ、文書を見つけるための核となる仕組みは、大きく変わっていません。

論文は、検索ツールが遅れているために、それらが弱点となっていることを示唆しています。患者の記録がより長く、複雑になっているため（異なる病院同士を繋ぐ技術の向上により）、捜索隊の仕事はさらに困難になっています。もし膨大なファイルの中からたった一つの重要なメモを見落とせば、AIシステム全体が失敗することになり、手遅れになるまで誰もそれに気づきません。

評価の罠

この論文の最も興味深い部分の一つは、これらのシステムをテストすることの難しさです。

• シェフをテストする: シェフが材料をでっち上げているかどうかをテストするのは比較的簡単です。レシピを書かせ、その材料が実際に存在するかどうかを確認すればよいのです。
• 捜索隊をテストする: 捜索隊が何かを見落としたかどうかをテストするのは、非常に困難です。もし彼らがメモを見落としたかどうかを知るには、そこに何があったかを確認するために、患者の履歴にあるすべてのメモを自分自身で読まなければなりません。患者の記録は数千ページに及ぶこともあるため、AIのテストごとにこれを行う時間を持つ人は誰もいません。

著者らは、現在のテスト方法が、AIが「いくらかの」良い情報を見つけたかどうかだけをチェックしており、「すべての」良い情報を見つけたかどうかまではチェックしていないことが多いと指摘しています。これは、AIが完璧に機能していると思われている裏で、実は重要な詳細を見落としている可能性があることを意味します。

著者たちが言っていること（および言っていないこと）

この論文は、ハルシネーションが解決されたとか、それについて心配するのをやめるべきだとは決して言っていません。彼らは、ハルシネーションが「厄介な問題」であることを認めています。しかし、私たちは現在、より大きく、より検知が困難な問題である「情報の欠落」を無視しながら、ハルシネーションに執着しすぎていると論じています。

彼らは、まだ魔法のような解決策を持っているわけではないとも述べています。実際、検索漏れエラーに対する完璧な解決策は現時点では存在しないと言っています。AIが何かを見落としていないと100%確信できる唯一の方法は、人間が患者の記録全体を読むことであり、それは時間を節約するためにAIを使うという目的自体を台無しにしてしまいます。論文は、私たちが「静かなる脱落」を逃さないようにするために、人間のチェックとスマートな自動化ツールを組み合わせるなど、新しいテスト方法が必要であると示唆しています。

まとめ

主な教訓は、警告です。**「AIがあなたに嘘をついていないかだけでなく、AIが真実を伝えるのを忘れていないかに注意しなさい」**ということです。

医療AIが一般的になるにつれ、著者らは、最大の障壁はロボットをより賢くすることではなく、ロボットの捜索隊がパズルのすべてのピースを見つけ出すのに十分な徹底さを備えていることを確認することになると考えています。もし検索の問題を解決しなければ、世界で最も高度なAIであっても、命に関わる詳細を見落としてしまう可能性があり、そして私たちは、それが起こったことにさえ気づかないかもしれないのです。