Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

新しい病院のカフェテリアのために、最高のシェフを選ぼうとしている場面を想像してみてください。あなたは有名なシェフたちのリストを用意し、医師のグループに彼らの料理を試食してもらうことにしました。医師たちは、どの皿が最も美味しそうに見え、その瞬間に最も味が良かったかに投票します。当然ながら、あなたは最も多くの票を獲得したシェフこそが、最も安全で信頼できる人物だと仮定します。しかし、もしその「最も美味しそうな」料理が、実は期限切れの食材で作られていたとしたら？ あるいは、最も「自信満々」なシェフが、単に料理について語るのが非常に上手いだけで、実際には危険なものを提供していたとしたらどうでしょう？ これは、超スマートなコンピュータープログラムである**大規模言語モデル（LLM）という、非常にトリッキーな世界の話です。科学者たちは、どちらのAIが「最高」かを判断するために、専門家に「AかBか」を選んでもらうペアワイズ・プリファレンス（二者択一の好みの判定）**という手法を用いています。しかし、医療のような極めて重要な分野では、「お気に入り」であることが必ずしも「最も安全」であることを意味しません。もしAIが、素晴らしいスタイルで誤った医学的回答をした場合、その回答は投票で勝ってしまうかもしれませんが、それは患者を傷つける可能性があるのです。この論文は、ある決定的な問いを投げかけています。医師たちが「最も好ましい」と選んだAIは、本当に「危険な間違いを犯さない」AIなのでしょうか？

スイスのLiGHT研究所の研究者たちは、この仮定を検証するために、MOOVE（Massive Open Online Validation and Evaluation）という大規模なプラットフォームを用いてテストを行うことにしました。彼らは、28カ国以上から736人以上の医師を集め、審判を務めてもらいました。医師たちは13種類の異なるAIモデルを観察し、ブラインド形式の味覚テスト（ペアワイズ・プリファレンス）でどちらの回答が優れているかを選択しました。しかし、ここにはひねりがあります。投票している間、医師たちは各回答に対して、-2（非常に危険）から+2（非常に安全）までの成績表のような厳格な安全性スコアも付けていたのです。彼らは、無害性（AIが何かリスクのある提案をしていないか？）と、正確性（医学的事実が正しいか？）という2つの特定の項目をチェックしました。

結果は衝撃的なものでした。研究によると、最も多くの「人気投票」を獲得したAIモデルは、しばしば最も高い危険なエラー率を持つモデルと同じであったのです。これは、字が綺麗で自信に満ちていることでA評価をもらいながら、計算が間違っているために数学のテストには落第してしまう学生のようなものです。実際、研究者は、トップランクのモデル（GPT-OSS）が18.0%の無害性における失敗率を持っており、つまり、その回答の約5回に1回は潜在的に安全ではない可能性があることを発見しました。一方で、データセット内のより慎重で「派手さ」に欠けるモデルは、失敗率が7.2%と大幅に低かったものの、人気投票ではるかに低い順位に甘んじていました。研究では、これらのモデルは異なる種類の医学的質問に対してテストされているため、一対一の直接対決においてどちらが厳密に「優れている」とは言えないと述べていますが、この格差は重要な警告を発しています。つまり、人々が「最も好き」だと思ったモデルは、必ずしも「最も安全な」実績を持つモデルではなかったということです。研究は、医師たちがしばしば表面的な特徴に騙されていたことを示唆しています。より長く、詳細で、自信に満ちた回答を書くAIが、たとえその回答が医学的に間違っていたりリスクがあったとしても、投票を獲得していたのです。

研究者たちは、なぜこのようなことが起こるのかを深く掘り下げました。彼らは、「安全性のシグナル（実際の医学的正しさ）」が、「スタイルのシグナル（テキストの長さや明快さ）」によってかき消されてしまうことが多いことを発見しました。彼らの分析では、回答の長さや明快さが、実際の安全性の事実よりも、医師がなぜ勝者を選んだのかという理由をわずかに多く説明していました。それはまるで、審査員たちがスープが冷めているという事実を無視して、最も長いメニューの説明を書いたシェフに投票しているようなものです。

さらに懸念すべきことに、研究はこれらのリスクが均等に分散されているのではなく、特定の「進入禁止区域」に集中していることを示しました。例えば、AIが心電図（ECG）の画像を読み取ろうとしたとき、驚愕の**89.9%**の割合で失敗しました。一方で、一般的な外科手術などの領域では、ほぼ完璧でした。これは、単に「モデルXが1位である」と表示するだけのグローバルな「リーダーボード（順位表）」が危険であることを意味します。なぜなら、モデルXがある特定の、極めて重要な状況においては壊滅的な結果をもたらす可能性があるという事実を隠してしまうからです。

これを解決するために、著者たちはこれらのモデルをランク付けする新しい方法を提案しています。単に誰が最も多くの票を獲得したかを数えるのではなく、**「安全性調整済みリーダーボード（Safety-Adjusted Leaderboard）」**を提案しています。このシステムは、人気投票の結果を取り込み、それを厳格な安全性スコアと照らし合わせます。もしAIが投票で勝ったとしても、それが危険な回答であった場合は、そのランクを下げます。この修正を適用すると、ランキングは劇的に変化しました。以前は下位にいたモデルの中には、実際に安全であったためにトップへと躍り出たものもあり、逆に「派手な」勝者たちは順位を落としました。

論文は、私たちは「人気投票」が、AIが医療に使用できるほど安全であるかどうかを教えてくれると信じることはできない、と結論づけています。AIが良く聞こえたり、賢そうに見えたりするからといって、それが信頼できるとは限りません。研究者たちは、単一の「最高の」モデルを探すのではなく、特定の失敗率に注目し、AIがどこで失敗する可能性があるのかについて正直になる必要があると示唆しています。彼らは、単純な好みのスコアに頼ることは、パイロットが実際に飛行できるかどうかを確認せずに、その声が滑らかであるという理由だけでパイロットを雇うようなものであると警告しています。医療AIの世界では、最も好かれていることが、必ずしも最も安全であることを意味しないのです。