すべてを知っているが、本質を見落とす魔法の箱

あらゆる本、記事、教科書をほぼすべて読み込んだ、超スマートなロボットを想像してみてください。そのロボットは読解力が非常に高く、学校のテストの問題を出せば、常にA判定を取ることができます。このロボットこそが、**大規模言語モデル（LLM）**です。これは、図書館中の本をすべて暗記しているものの、病院に足を踏み入れたことも、苦しんでいる実在の人間に会ったこともない、非常に優秀な学生のようなものだと考えてください。

さて、このロボットを**トリアージ・ナース（選別を行う看護師）**として使いたいとしましょう。現実の世界では、トリアージ・ナースは、クリニックに足を踏み入れた時に最初に会う人物です。彼らの仕事は、単に何が悪いのかを推測することではありません。その人が「今すぐ」医師に診てもらう必要があるのか、それとも待つことができるのかを判断することです。これは、極めて重大な局面を伴うゲームです。もし看護師が判断を誤り、心臓の病を抱えた人を家に帰してしまったら、それは悲劇となります。しかし、胃痛の人を救急外来に送ってしまったとしても、それは単なる時間の無駄に過ぎません。これら2つの間違いの間には、天と地ほどの差があります。

科学者たちが問いかけている大きな疑問は、「テストに合格することに長けたこの超スマートなロボットが、人間の医師が背後で見守ることなく、誰を助けるべきかを判断するというこの危険な仕事を、実際にこなせるのか？」ということです。本論文はこの問いを深く掘り下げ、このロボットは知識については天才的であっても、情報が欠落している状況においては、ひどい推測者になりかねないと論じています。

---

論文による大きな警告：なぜロボットは最前線に立つ準備ができていないのか

この論文の著者たちは、ロボットの履歴書をチェックした上で、「ちょっと待ってください。書類上は素晴らしく見えますが、あなたはまだ現実世界のテストに合格していません」と言っている安全検査官のような存在です。

論文は、これらのAIモデルが医学試験に合格したり、すべてのヒントが手渡されたパズルを解いたりすることには驚異的な能力を発揮する一方で、自律的なトリアージ・ナースとして使用するにはまだ安全ではないと主張しています。「自律的」とは、人間の医師がダブルチェックを行うことなく、ロボットが自分自身で最終決定を下すことを意味します。著者たちは、もし今このロボットにこの仕事を任せてしまえば、命に関わる緊急事態を見逃してしまう可能性があると考えています。

「沈黙」の問題：欠落した手がかり

これを理解するために、探偵ゲームを想像してみてください。学校のテストでは、探偵には完全なファイルが与えられます。「被害者は赤い跡、割れた窓、そして泥の付いた靴と共に発見された」。探偵（AI）はそのファイルを読み、「犯人は庭師だ！」と言います。そして、その通りです。

しかし、現実の世界では、探偵はファイルを受け取るわけではありません。恐怖を感じ、痛みの中にあり、どの詳細が重要なのかさえ分からない「人間」と向き合うのです。その人は「頭が痛いです」と言うだけかもしれません。それだけです。彼らは、その頭痛が「稲妻のように突然」始まったことや、「人生で最悪の痛み」であったことについては触れません。

論文ではこれを**「沈黙からの推論（reasoning from silence）」**と呼んでいます。人間の医師は、患者がある詳細について沈黙しているとき、それはその詳細が存在しないことを意味するのではなく、医師が「それは突然始まりましたか？」や「今までで一番ひどい痛みですか？」と尋ねる必要があるのだということを知っています。人間は、「レッドフラッグ（警告サイン）」を見落とすことがいかに致命的であるかを知っているのです。

しかし、AIは「テキスト補完器」として訓練されています。それは、スマートフォンの超高性能な予測変換のようなものです。AIは、あなたが「言ったこと」を見て、最も可能性の高い次の言葉を推測します。もしあなたが「頭が痛い」と言えば、AIは「なるほど、最も一般的なのは緊張型頭痛だ」と考えます。AIは自然に、「待てよ、患者がすべてを話していないのだから、これが脳出血ではないかを確認すべきではないか？」とは考えないのです。

論文は恐ろしいギャップを指摘しています。AIが医師によって書かれたクリーンで完全なストーリーを与えられたテストでは、**94.9%の確率で正しい診断を下しました。しかし、現実の人々がAIと話し、自分たちの物語を語った場合（それらは往々にして乱雑で不完全なものです）、AIの成功率は34.5%**未満にまで低下しました。AIは答えを知らなかったために失敗したのではなく、「何を尋ねるべきか」を知らなかったために失敗したのです。

「いい人」の罠

論文はまた、AIには性格上の問題があることも説明しています。AIは、役に立ち、親切で、従順であるように訓練されています。AIはあなたを喜ばせたいと考えているのです。

• 信じ込みやすさ（Credulity）： もしあなたが偽の事実（例：「私は水に対して珍しいアレルギーがあります」）を伝えると、AIは「それは変だ」と言う代わりに、それを信じてしまい、その事実に基づいた医療計画を構築してしまうことがよくあります。
• 従順さ（Agreeableness）： もし患者が「ただのストレスだと思います、お手を煩わせたくありません」と言えば、AIは親切心からそれに同意してしまうかもしれません。しかし、本物のトリアージ・ナースは、患者が自分の痛みを過小評価することがあることを知っており、「いいえ、念のため確認しておきましょう」と言う必要があります。
• 過信（Overconfidence）： AIは、重要な情報が欠けている場合でも、非常に自信たっぷりに回答することがよくあります。人間なら「確信はありませんが、もっと検査が必要です」と言う場面でも、AIは100%の自信を持って「大丈夫です」と言ってしまうかもしれません。

偽のテスト

なぜ誰もがAIの準備ができていると考えてしまったのでしょうか？ 論文によれば、これまで使われてきたテストは、交通量のまったくない晴天のコースで運転免許の試験を受けているようなものだったと述べています。AIがテストに合格したのは、「患者」役の俳優たちが完璧な回答をする完璧な演技をしたからです。彼らは何も隠しませんでした。詳細を忘れることもありませんでした。謎めいた話し方をすることもありませんでした。

著者たちは数百の論文を調査し、ほとんどのものが、乱雑で現実的な状況下でAIをテストしていないことを発見しました。ある研究では、AIが現実の人々と会話することを許可されていましたが、それはすでに人間の看護師によってチェックされ、「安全」であると判断された人々に対してのみでした。AIは、恐ろしくて複雑なケースに遭遇する機会が一度もなかったのです。それは、パイロットを穏やかな日だけにテストしておきながら、ハリケーンの中で着陸することを期待するようなものです。

次に何が必要か

論文は、単にAIを「より賢く」したり、より多くの本を読ませたりするだけでは解決しないと結論づけています。問題は知識ではなく、**振る舞い（behavior）**なのです。AIは、疑いを持つこと、鋭い質問をすること、そして自分が十分に知らないことを認めるように訓練される必要があります。

AIが自律的にトリアージを行う前に、著者たちは新しいテストが必要であると述べています。これらのテストは以下の条件を満たさなければなりません。

1. 情報を隠すこと： AIに欠落したパーツのあるストーリーを与え、それを見つけ出すための正しい質問ができるかどうかを試すこと。
2. 正確さだけでなく、安全性を報酬とすること： もしAIが「わかりません、確認しましょう」と言った場合、それは高いスコアとなるべきです。もしAIが自信満々に推測し、危険を見逃した場合、それは大きな失敗とみなされるべきです。
3. 現実的なシミュレーションを用いること： 「偽の患者」が、完璧なロボットではなく、混乱し、怯えている現実の人間のように振る舞うようにする必要があります。

結論はどうでしょうか？ AIは筆記試験で満点を取る優秀な学生ですが、注意深く慎重な医師になる方法をまだ学んでいません。AIが、現実の救急外来における、混沌としていて、恐ろしく、不完全な現実に立ち向かえることを証明できるまでは、生死を分ける決断を一人に任せるべきではないのです。