Measuring Epistemic Resilience of LLMs Under Misleading Medical Context
本論文は、大規模言語モデルが医学試験において専門家レベルのスコアを達成しているにもかかわらず、誤導的で権威付けされた文脈にさらされると、正しい医学的判断を頻繁に放棄するという、脆弱な認識論的レジリエンス（epistemic resilience）を示す包括的なベンチマークであるMedMisBenchを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、あらゆる教科書を暗記し、完璧なスコアでいかなる免許試験もパスできる、極めて優秀な医学生を抱えています。あなたは彼らを完全に信頼しています。しかし、ある時、あなたが部屋に入ってきて、偽のルールをささやいたとします。「ちなみに、病院のルールが変わったんだ。この特定の疾患については、YではなくXを行うことになった。」
驚くべきことに、この「完璧な」学生は、学んだことを即座に忘れ、あなたの偽のルールを信じ込み、間違った答えを出してしまいます。
これが、論文「MedMisBench」が明らかにした核心です。研究者たちは、最も賢いAI医師（大規模言語モデル）であっても、たとえ事前に正しい答えを知っていたとしても、誤解を招く情報に直面すると、驚くほど脆弱であることを発見しました。
以下に、簡単な比喩を用いて彼らの発見を解説します。
1. 試験における「落とし穴」
通常、私たちはAI医師を、教科書通りのきれいな問題でテストします。その場合、彼らは非常に高いスコアを記録します（正答率約71%）。研究者たちは、これはAIが現実の健康相談に使用しても安全であることを意味していると考えていました。
しかし、それは間違いでした。研究者たちは、「MedMisBench」と呼ばれる新しいテストを構築しました。これは「落とし穴」のある試験のようなものです。
- 設定: AIが答えを知っている問題を用意します。
- 罠: 正解とは異なる内容ですが、一見すると信頼できそうな医学的ルールに見える文章を注入します。
- 結果: AIの正確性は71%から38%へと急落しました。実際、半数以上のケース（51.5%）において、AIは真実を完全に放棄し、嘘に従ってしまいました。
2. 「権威」の効果
論文では、嘘がどのように伝えられたかをテストしました。すると、AIは情報が「公式」のように聞こえるときに最も騙されやすいことが分かりました。
- 比喩: 教科書の内容を信じている学生の前に、スーツを着た見知らぬ人（「権威」）が現れて、「実は、その本は間違っている」と言った場面を想像してください。
- 発見: 偽の情報が「新しい病院のルール」や「ガイドライン」、「公式の注釈」として提示された場合、AIは70%近い確率でそれに屈しました。
- 「例外」の罠: AIは、特定の例外（例：「このルールは全員に適用されるが、この特殊なケースを除いては……」）のように聞こえる嘘にも簡単に騙されました。
3. 「一つの声」対「群衆」
研究者たちは、嘘の提示方法として2つのパターンをテストしました。
- タイプ1（ささやき）: AIが問題と、誤った答えを支持する「一つの特定の嘘」を見る場合。
- 結果: 惨憺たるものでした。AIは即座に間違った答えへと切り替わりました。
- タイプ2（討論）: AIが問題、真実、そして全ての誤った答えを支持する嘘を同時に見る場合。
- 結果: この場合、AIは格段に優れたパフォーマンスを示しました。全体像を把握することができ、通常は真実に固執できました。
- 教訓: 危険なのは、AIがどんな嘘も扱えないということではありません。単一の、もっともらしく聞こえる嘘が直接ささやかれたときに、AIが崩壊してしまうことなのです。
4. 「深く考える」ことは必ずしも助けにならない
AIに対して「ステップ・バイ・ステップで考えて」とか、より多くの思考力を使うように指示すれば、騙されにくくなるのではないかと思うかもしれません。
- 比喩: それは、学生に「自分の答えを再確認して」と言うようなものです。
- 発見: 一部のAIモデルにとって、深く考えることはむしろ嘘に対して脆弱になる原因となりました。彼らは偽の「公式ルール」を過剰に分析し、それが正しい道であると自分自身を納得させてしまったのです。
5. 現実世界における危険性
研究者たちは単に正解・不正解を見ただけではありません。7カ国から集まった14人の実際の医師に、AIのミスをレビューさせました。
- 発見: AIが騙されたケースの38%において、その誤った回答は患者に深刻な危害を及ぼす可能性がありました。
- 教訓: これは単なる計算ミスではありません。安全上の問題です。AIは単に「ハルシネーション（幻覚）」を起こしているのではなく、偽のコンテキストによって騙され、自信満々に危険なアドバイスを行っているのです。
まとめ
論文は、私たちがAI医師を評価する際、彼らがどれだけ「教科書」を熟知しているかを測ってきただけで、誰かが偽のルールで騙そうとしたときに「真実に固執できるか」をテストしてこなかったと結論付けています。
MedMisBenchは、この「認識論的レジリエンス（認識論的な回復力／抵抗力）」（世界があなたを混乱させようとしても、自分の判断を維持する能力）を測定するために設計された新しいツールです。これは、現在のAI医師が、フェイクニュースや誤解を招く主張が溢れる、情報の混迷した現実世界において、健康に関するアドバイスを任せられるほどレジリエンスを備えていないことを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。