High-Stakes Decisions with Language Models: Insights from Emergency Triage

あなたは、霧に包まれた小惑星帯を航行する宇宙船の船長であると想像してください。あなたの宇宙船のコンピュータは非常に賢く、ぼやけた点を見て、「その点は、危険な小惑星である確率が90%です」と伝えることができます。しかし、コンピュータはその数字をどう扱うべきかを知りません。もし衝突すれば、船は爆発します（見逃された緊急事態）。もし無害な雲に対して警告射撃を行えば、燃料を無駄にし、乗組員を苛立たせることになります（不必要な参照）。コンピュータにはルールが必要です。「もし危険度が10%を超えたら、射撃せよ！」あるいは「90%を超えた時のみ射撃せよ！」といったルールです。このルールを効用関数（ユーティリティ・ファンクション）と呼びます。現実世界において、医師も日々、まさにこの霧の中のような状況に直面しています。彼らは、誰に即座に助けが必要で、誰が待機できるかを判断するためにトリアージを用います。長い間、科学者たちは、こうした重大な決断を下すことは、単に確率を正しく推測することではなく、「どのような種類の間違いを犯すことを、どれほど嫌うか」を知ることであると認識してきました。もし危機を見逃すことを恐れすぎれば、全員を病院へ送ることになるでしょう。もし時間の浪費を心配しすぎれば、命に関わる事態を見逃してしまうかもしれません。大きな疑問は、超スマートなコンピュータの脳（言語モデルと呼ばれます）に船長を務めさせる際、彼らは自らルールを設定できるのか、それとも単に推測しているだけなのか、ということです。

この論文は、緊急医療のトリアージを単純な推測ゲームとしてではなく、意思決定のパズルとして扱うことで、その問いに深く切り込んでいます。研究者たちは、医師がすでに誰を救急外来（ER）へ送り、誰をそうしないかを決定した一連の医学的な物語（ヴィニエット）を取り上げました。彼らは数種類の異なるAIモデルに対し、これらの物語を読み、第一に、患者が緊急ケアを必要とする確率を推測させ、第二に、その患者をERへ送るべきかどうかを判断させました。チームは驚くべき発見をしました。AIモデルは、確率を推測することに関しては非常に優れていたのです。彼らは、病気の患者と健康な患者を高い精度で見分けることができました。しかし、最終的な決定を下す際、モデルは、人々を病院へ送ることに対してあまりにも慎重すぎるという、秘密の、明文化されていないルールに従って行動していることが分かりました。

著者らは、普及している消費者向けヘルスケアツールに見られた「悪い」振る舞い（実在の緊急事態の半分以上を見逃していることが判明したもの）は、AIが愚かであったり、医学を理解していなかったりするためではないことを発見しました。むしろ、AIが「命を救うことよりも資源を節約すること」を優先する、隠れたデフォルトのルールを使用していたためでした。それはまるで、小惑星が99%確実でない限り、警告射撃をすることを拒む船長のようです。論文は、研究者がAIに対して「おい、緊急事態を見逃すことは、誤報を出すことの5倍悪いことだ」と明示的に伝えると、AIは即座に考えを変えたことを示しています。AIはより多くの患者をERへ送るようになり、不必要な訪問を大幅に増やすことなく、実在の緊急事態を約50%多く捉えることができるようになりました。

この研究は、問題はAIの未来を予測する能力にあるのではなく、何が最も重要であるかという「船長の命令」に従う能力にあることを示唆しています。研究者たちは、プロンプト内の言葉を変えて、異なる間違いの「コスト」を指定するだけで、AIを「安全第一の医師」または「リソース節約型の医師」へと導くことができると発見しました。彼らはまた、明確な指示がない場合、すべてのAIモデルが、誰にも見えず、制御することもできない、独自の奇妙で目に見えない嗜好を持っているように見えることも指摘しました。論文は結論づけています。これらのツールが実際の病院で安全かつ有用であるためには、単に「賢くなれ」と頼むだけでは不十分であり、霧の中に入る前に航行コンピュータに明確な命令を与えなければならない船長のように、リスクをどのように重み付けすべきかを明示的に伝えなければならない、と。