Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

あなたは、医療チャートを読み取り、治療法を提案できる超スマートなロボット助手を作り上げたばかりだと想像してください。あなたはワクワクしていますが、同時に、どんなに賢いロボットであっても、時には事実を捏造したり、危険な助言を与えたり、ややこしい質問に混乱したりすることがあることも分かっています。これが「臨床用大規模言語モデル（LLM）」の世界です。医師を助けるために設計された強力なAIツールですが、患者を傷つける可能性のある間違いを犯すという現実的なリスクも孕んでいます。安全性を確保するため、科学者たちは、誰の目に触れる前にもAIの回答をチェックするデジタルな安全網、「ガードレール」を構築してきました。しかし、ここで大きな疑問が生じます。安全網はすべてのロボットに対して同じように機能するのでしょうか？ そして、もし人間によるバックアッププランを取り除いてしまったらどうなるのでしょうか？ 本論文は、まさにその点を検証しています。特定のルールベースの安全性チェックが、異なるAIモデルの安全性を維持できるのか、そして、完全に自律的に運用しようとした場合にどれほどのリスクが残るのかをテストしたのです。

研究者たちは、5つの異なるゲートからなる厳格なルール遵守型の審判、デジタルな「センチネル（番兵）」を設置し、5つの異なるAIモデル（小規模なオープンソースから大規模なトップクラスの商用モデルまで）を見守らせました。彼らは、AIを欺くために作られた架空のケースと、病院の記録から抽出された実在のケースという、2種類の医療シナリオを用いてこれらのモデルをテストしました。テストは2つの非常に異なるモードで行われました。第1のモードである「ハンドオフ・オン（Handoff-On）」は、ロボットのすぐ隣に人間の監督者が立っているような状態です。もしセンチネルが不適切な回答を検知した場合、それをブロックし、修正やレビューのために人間の医師へと送ります。第2のモードである「ハンドオフ・オフ（Handoff-Off）」は、「自律」モードです。ロボットは完全に独力で仕事をこなさなければなりません。ここでセンチネルが不適切な回答を検知しても、救ってくれる人間はいないため、元の、潜在的に危険な回答がそのまま通り抜けてしまうか、あるいはシステムがその混乱に対処しなければならなくなります。

結果は、「素晴らしいニュース」と「注意して慎重に進め」が混ざり合ったものでした。人間の監督者が存在する場合（Handoff-On）、この安全網はすべてのモデルに対して驚くほど効果的に機能しました。どのAIモデルをテストしても、危険な回答がユーザーに到達する割合は6%未満に抑えられました。それはまるで、ほとんどのトラブルメーカーを捕まえる用心棒がクラブの入り口に立っているかのようでした。しかし、この安全性のコストはモデルによって大きく異なりました。性能の低いモデル（Qwen 7BやLlama 8Bなど）は、回答の約半分近くにおいて、人間へのヘルプが必要となりました。一方で、強力なモデル（Sonnet 4.5やGemma 4など）は、助けを必要とすることはほとんどなく、回答の99%以上を直接通過させていました。

しかし、人間の監督者をオフにしたとき（Handoff-Off）、物語は一変しました。システムの安全性は、突然、どのロボットを使用しているかに完全に依存することになったのです。最強のモデルは安全性を保ち、危険な回答は非常に低い水準（0%から2%程度）に留まりました。しかし、より弱いモデルはどうでしょうか？ 彼らの安全性は崩壊しました。人間による救済がなくなったことで、危険な回答の割合は13%から、時には50%近くまで跳ね上がりました。本論文は、この違いの鍵が、AIがいかに「自己修正」できるかにあることを明らかにしました。センチネルが強力なモデルに対して「おい、間違っているぞ、やり直せ」と伝えると、強力なモデルは通常、問題を修正できました。しかし、より弱いモデルは、特に回答の基本的なフォーマットを間違えた場合、自分自身のミスを修正することができないことが多かったのです。

研究者たちはさらに、モデルを特定のタスクに特化させるために「ファインチューニング（再学習）」を行った場合に何が起こるかもテストしました。驚くべきことに、これによりモデルが特定のタスクにおいて性能が向上する一方で、安全ルールの遵守能力が低下し、独自のフォーマットルールを破ってしまうことがありました。それでもなお、ルールベースのセンチネルは十分に強力であり、エラーを検知して最終的な出力を安全に保つことができました。彼らはさらに、3,000件近い実世界のシナリオ（3つの異なる病院から抽出）を用いて、700億パラメータを持つ巨大なモデルをテストしました。これもまた、傾向を裏付けるものでした。人間によるバックアップがあれば完璧に安全であり、バックアップがなければ、依然として非常に安全ではあるものの、トップクラスの商用モデルほど完璧ではないという結果が出ました。

最後に行われた極めて重要な実験では、人間の医師がAIの最終回答をレビューしました。医師の指摘によれば、安全ルールは明らかなエラーを捉えることはできるものの、医学的推論における微妙かつ危険な間違いを見逃すことがあるとのことでした。例えば、AIはすべての安全ルールを完璧に守っているにもかかわらず、検査結果を誤解したために、誤った薬の投与量を提案してしまうといったケースです。これは、ルールベースのセンチネルが構造的なエラーを捉えるための素晴らしい安全網ではあるものの、医師の脳の代わりにはならないことを証明しています。本論文は、もし病院でこれらのAIツールを使用したいのであれば、適切なモデルを選択し、人間が介入できる準備ができているかどうかについて正直になる必要があると結論付けています。安全網がすべてのロボットに対して同じように機能すると想定してはなりません。そして、決して、最も弱いロボットにすべてを任せてはならないのです。