Large language models improve physician accuracy but lead to false reliance
検索拡張型LLMシステムであるCORAは、医師の診断精度を大幅に向上させた一方で、本研究は、ソースに紐付けられた引用が正誤を問わず助言への依存度を不当に高め、それによって誤った推奨事項に対して抵抗する医師の能力を損なうという、重大な安全上のリスクを明らかにしている。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、難解な事件を解決しようとしている探偵だと想像してください。あなたには、数百万冊の本を一秒で読み、解決策を提案できる、非常に優秀で素早い助手（アシスタント）がいます。この助手は「大規模言語モデル（LLM）」と呼ばれる人工知能です。AIは、インターネット上のあらゆる内容を読み込むことで会話を学んだ百科事典のようなものですが、時として、実際には知らないことに対しても自信満々に振る舞い、完璧に聞こえるものの間違った事実をでっち上げることがあります。これを防ぐために、科学者たちは「検索拡張生成（RAG）」というトリックを考案しました。RAGを、「図書館カードを持たせたAIへのルール」だと考えてみてください。そのルールとは、「答えを裏付ける正確なページを本の中から指し示せる場合にのみ、回答してよい」というものです。こうすることで、AIは単に推測するのではなく、「宿題（根拠）」を提示することができるようになります。
しかし、ここには大きな疑問があります。宿題を見せることは、果たして人間の探偵にとって本当に役に立つのだろうか？ それとも、たとえアシスタントが間違っていたとしても、人間がそれを信じすぎてしまうのだろうか？ これは、ある研究がこの概念をテストした物語です。研究者たちは、実際の医師たちを対象に実験を行いました。彼らは、引用（出典の明示）を行うAIを提示することで、医師たちが皮膚疾患の診断においてより優れた判断ができるようになるのか、それとも、間違った答えがまるで証拠に裏付けられているかのように見せることで、医師たちを危険なミスへと誘導してしまうのかを調べようとしたのです。
CORAと「偽の証拠」の罠の物語
この研究において、研究チームはCORA（Citation-Oriented Retrieval Assistant：引用指向型リトリーバル・アシスタント）という特別なAIアシスタントを構築しました。CORAを、超優秀なリサーチ・インターンだと想像してください。医師が皮膚の状態について質問すると、CORAは単に答えを吐き出すだけではありません。代わりに、CORAは医学の教科書、ガイドライン、症例報告などのデジタルライブラリへ行き、関連するページを見つけ出し、「これが私の回答であり、これがそれを証明する3つのページです」と提示します。
研究者たちは、これが現実の世界でどのように機能するかを知りたいと考えました。彼らは21カ国から46名の医師を集め、一連の皮膚疾患に関するパズルを与えました。まず、医師たちは自分自身の力でこれらを解かなければなりませんでした。その後、医師たちにはCORAの回答と、その「証拠」（引用）が示され、自分の元の回答を維持するか、それとも変更するかを問われました。
朗報：医師たちは賢くなった
結果は、CORAが有用な相棒であることを示しました。医師たちが単独で取り組んだとき、正解率は**70.8%でした。しかし、CORAを使用したとき、その正解率は82.6%**へと跳ね上がりました。AIは、特に難しい症例や珍しい疾患において、医師たちの間違いを修正する助けとなりました。それはまるで、ルールブックを完璧に把握している「もう一つの目」を持っているかのようでした。
悲報：「引用の罠」
しかし、研究では巧妙な問題が見つかりました。CORAが示した「証拠」は、必ずしも真の証拠ではなかったのです。時として、CORAは間違った答えを出したにもかかわらず、その答えを支持しているかのように見える引用を表示することがありました。実際には、その引用は答えを裏付けていないというのに、です。
ここからが厄介なところです。
- CORAが正しかった場合： 医師たちが、答えを支持しているように見える引用を見たとき、彼らは考えを変えてAIに同意する可能性が非常に高くなりました。正しいアドバイスを採用する成功率は、サポートを感じられなかった時の**34%から、引用が支持していると感じた時の76.9%**へと上昇しました。
- CORAが間違っていた場合： これが危険な部分です。もしCORAが間違った答えを出し、かつそれを支持しているかのように見える引用を示した場合、医師たちは抵抗することをやめてしまいました。通常、AIが間違っている場合、医師たちは自身の正しい答えを**92%の確率で固守します。しかし、「支持的な」引用が表示されると、その抵抗感はわずか34.8%**にまで低下したのです。
教訓：信頼せよ、ただし「証拠」を検証せよ
この研究は、「グラウンディング・ミスキャリブレーション（接地性の不適合）」を発見しました。これは、医師たちが「証拠の見た目」に騙されたことを意味する専門的な言い回しです。AIが引用を示すと、医師たちは、たとえその引用が特定の論点を実際に証明していなくても、答えは正しいはずだと思い込んでしまったのです。これは、生徒が教科書のページを添えてテストを提出するようなものです。そのページが正しいトピックについて書いてあったとしても、質問に対する答えにはなっていない場合、教師は「ああ、彼はリサーチをしたのだな」と考えて点数を与えてしまうかもしれません。しかし、医学においては、その点数は間違いを意味します。
研究者たちは、AIが医師の精度を全体的に向上させた一方で、新たなリスクを生み出したことも明らかにしました。つまり、AIが間違った答えを「十分に裏付けられている」ように見せた場合、医師は自分自身の正しい直感を放棄しやすくなるのです。この研究は、これらのAIツールが安全であるためには、単にAIが正しいか間違っているかを見るだけでは不十分であることを示唆しています。私たちは、「証拠」が単に関連トピックについて述べているだけでなく、実際にその答えを証明しているかどうかを確認しなければなりません。さもなければ、医師が真実を検証するために用意されたはずの道具が、逆に彼らを騙して嘘を信じ込ませる結果となってしまうのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。