Robustness Gap of Large Language Models in Nephrology

人工知能は医学における支援を提供し始めており、膨大な量のテキストを読み取り、複雑な質問に対して答えを提案するツールとして機能している。腎臓ケアや腎臓内科のような分野において、医師は治療法を決定するために、検査結果、患者の既往歴、そして身体的徴候を絶えず天秤にかけなければならない。長年、研究者たちは、これらのコンピュータプログラムが医学試験に合格できるかどうかをテストしてきた。これは、それらが有用であるために十分な知識を持っているかを確認するための標準的な方法である。しかし、多肢選択式試験での高得点は、必ずしもそのシステムが答えの背後にある論理を真に理解していることを意味するわけではない。それは単に、質問の書き方のパターンを認識しているか、あるいは最も馴染みのある選択肢に基づいて推測しているだけかもしれない。安全な医療の未来に向けた重要な問いは、これらのモデルが、通常のショートカット（近道）が取り除かれたときに問題を論理的に思考できるのか、それとも慣れ親しんだ支えなしに考えようとすると崩壊してしまうのか、ということである。

聖マリアンナ大学医学部の研究チームは、精神へのストレス・テストのような手法を用いて、この特定の弱点をテストすることに着手した。彼らは、日本の腎臓専門医の認定更新に使用される145問の実在する問題を集めた。これらの問題は、腎疾患を管理するために必要な深い、複雑な推論を網羅している。研究者たちは、その後、すべての質問に対して修正版を作成した。元のテストでは、一つの特定の回答が正解であった。新しいバージョンでは、その正解を「他のどの選択肢も当てはまらない」という意味のフレーズに置き換えた。これにより、コンピュータモデルには困難なことが強要された。つまり、リストの中から正しい選択肢を選ぶのではなく、他のすべての選択肢が間違っており、唯一有効な選択肢は「どれも当てはまらない」と述べているものであると認識しなければならなくなったのである。もしモデルが医学的事実に基づいて真に推論しているのであれば、元の正解が欠落していることを特定し、「上記のいずれでもない」という選択肢を選ぶことができたはずである。もし単にパターンに基づいて推測しているのであれば、残された誤った選択肢のいずれかを選んでしまう可能性が高い。

チームは、OpenAIやGoogleのシステムを含む、利用可能な最も高度な4つの言語モデルをテストした。彼らはモデルに元の質問と修正されたバージョンの両方を別々に与え、それぞれの場合に最適な答えを選ぶよう求めた。結果は、正しい答えが存在する場合と、それが隠されている場合とでは、モデルのパフォーマンスに明確かつ有意な差があることを示した。モデルが元の質問に直面したとき、彼らはかなり良好に機能し、最高のシステムは88パーセント近くを正解した。しかし、正解が「他のどの選択肢も当てはまらない」に入れ替えられると、そのパフォーマンスは急激に低下した。最初に最高スコアを出していたシステムでさえ、約73パーセントまで低下し、これは統計的に有意な減少であった。他のモデルはさらに急激な低下を見せ、一つは約66パーセントの正答率からわずか19パーセントまで落ち込んだ。これは、慣れ親しんだ正解のパターンが取り除かれたとき、モデルが自身の医学的推論に頼ることができず、正解が欠落していることを認めるのではなく、もっともらしく見える誤った選択肢を選んでしまったことを意味している。

この研究は、新しいモデルはより堅牢になり、こうしたトリッキーな変化にも対処できるよう進化してはいるものの、まだ独立した臨床的意思決定において完全に信頼できるわけではないことを示唆している。研究者たちは、最も高度なシステムであっても、たとえ症例の論理がそれとは異なる場合であっても、目に見える選択肢のいずれかが正しいはずだという考えに固執する傾向があることを見出した。現実の病院の設定において、この振る舞いは危険を伴う可能性がある。もし医師が特定の検査値や微妙な身体的徴候といった情報を欠いている場合、安全な人工知能は、その症例は判断できないことを認識し、さらなるデータを求めるべきである。しかし、これらのモデルはしばしば、自信満々に、しかし不正確な推測でその空白を埋めてしまう。著者らは、多肢選択式の試験に合格することは、モデルが医師のように推論できることを証明するには不十分であると結論づけている。腎臓ケアで使用されるために真に安全であるためには、これらのシステムは、単にテストのスコアを上げるためにパターンを一致させるのではなく、不確実性を扱い、答えが単に存在しない場合にそれを認識できることを実証する必要がある。