Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry
本論文は、1,000件以上の実世界の精神科診療録を用いた逐次的なベンチマークであるSafe-Psychを紹介し、安全性に配慮したプロンプトを用いても、最先端の大規模言語モデルでさえ不完全な臨床情報の認識に苦慮し、頻繁に時期尚早な診断を下したり、明確化を求められなかったりすることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは謎を解こうとしている探偵だと想像してください。人工知能の世界には、大規模言語モデル（LLM）と呼ばれる非常に賢いコンピュータプログラムがあります。これらは、あらゆる本、記事、メモをほぼすべて読み終えた、驚異的な読書量を誇る探偵のようなものだと考えてください。彼らは、目の前にすべての事実が揃っている場合には、質問に答えるのが非常に得意です。しかし、現実の世界、特に病院のような場所では、探偵が一度にすべての物語を手に入れることは滅多にありません。手がかりがここにもう一つ、証言がそこにも一つ、そして、まだ完全には一致しない証拠が一つ、といった具合に断片的に与えられるのです。
科学者たちが投げかけている大きな問いは、「これらのAI探偵は、事件を解決するための手がかりが十分に足りないときに、それを自覚できるのだろうか？」ということです。真に賢い探偵とは、単に自信があるからといって犯人を推測するのではなく、「待て、もう一つ質問が必要だ」とか「まだ解決できない」と言うべきものです。これは「キャリブレーション（較正）」と呼ばれます。自分が何を知っているか、そしてより重要なのは、自分が何を「知らない」のかを知ることです。もしAIが早まった段階で医学的な診断を下してしまえば、重大なミスにつながる可能性があります。しかし、もし解決できるはずなのに回答を拒否してしまったら、それは役に立たないものになってしまいます。この完璧なバランスを見つけ出すことこそが、医療におけるAIを安全にするための「聖杯」なのです。
ここで、Safe-Psychという、まさにこの難しいスキルを、複雑な精神医学の世界でテストするために設計された新しい実験が登場します。研究者たちは、特別なゲームを作り上げました。そこでは、AIに患者のファイルを一度にすべて与えることはしませんでした。代わりに、彼らは実際の医師のように振る舞い、患者の物語を断片的に明かしていきました。まず症状だけを、次に既往歴を、次に検査結果を、といった具合に。各ステップにおいて、AIはこう判断しなければなりませんでした。「診断を下すのに十分な情報は揃ったか？」「もっと情報を求めるべきか？」「それとも、行き詰まったことを認めるべきか？」
結果は、一種の警鐘となりました。論文によると、テック業界の「超一流探偵」である最も高度なAIモデルであっても、いつ立ち止まって助けを求めるべきかを知る能力については、極めて劣悪であることが判明しました。情報が不完全な状態であっても、これらのモデルはとにかく推測を続けてしまったのです。実際、テストされたほとんどのモデルにおいて、証拠が不十分なケースでも診断を試みてしまった割合は**60%**を超えていました。それはまるで、玄関のドアが開いた音を聞いただけで、「犯人は執事だ！」と叫んでしまう探偵のようなものです。
研究者たちはまた、AIに「確信が持てる場合のみ推測し、そうでなければ『わからない』と答えなさい」という特別な指示を与えることで、より慎重になるよう教えようとしました。これは多少の効果はありましたが、新たな問題を生み出しました。AIは極端に逆の方向へと振れてしまったのです。推測しすぎる代わりに、正解できるはずの場面でも推測することを拒むようになりました。それはまるで、間違いを恐れた探偵が、結局どの事件も解決しないことに決めてしまったかのようです。この研究は、単にAIに「安全であれ」と命じるだけでは、情報の欠落を認識する方法を教えることにはならず、単にエラーの種類が「間違った推測」から「推測の拒否」へと移り変わるだけであることを示唆しています。
おそらく最も興味深い発見は、タイミングに関するものでした。AIがすべての手がかりを見るまで待ってから判断を下した場合、その回答の精度は非常に高くなりました。しかし、最初の数行を見ただけで診断を急いだ場合、その正確性は著しく低下しました。この論文は、能力が安全性に直結しないことを示しています。つまり、物語の全容を把握していれば正しい答えに辿り着けるほど賢いモデルであっても、自分が「全容を把握しているかどうか」を知る術は持っていないのです。
要するに、Safe-Psychは、現在のAI探偵たちが依然として事件を解決したがるあまりに熱心であることを明らかにしています。彼らは、最も困難なレッスンを学ぶ必要があります。それは、指をさして犯人を特定する前に、「もっと手がかりが必要だ」と認めることが、時には最も重要なことであるという教訓です。彼らがそれを学ばない限り、私たちは彼らに生死を分ける決断を助けてもらうための信頼を置くことはできません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。