Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

人工知能が急速に進化する中で、特定の課題に対処するための新しいクラスのツールが登場しました。それは、長い説明を書き出すことなく、機械に固定された選択肢の中から選ばせる方法です。従来、大規模言語モデルは単語を一つずつ生成することで質問に答えてきましたが、このプロセスは柔軟ではあるものの、時間がかかりコストも高くなります。決定モデリング（decision modeling）として知られる新しいアプローチは、テキスト生成を完全にスキップします。その代わりに、モデルはユーザーから提供された回答のリストを確認し、各回答に対して確率スコアを割り当てます。これは実質的に、「私はこれが正しいと90パーセント確信しており、あれが正しいと10パーセント確信している」と言っているのです。この手法はより速く、より安価ですが、医療のような極めて重要な分野においては、ある重大な問いを投げかけます。すなわち、「これらの機械は、自分が間違っていることを自覚できるのか？」という問いです。もしモデルが自信満々でありながら間違っていた場合、危険なミスにつながる可能性があります。課題は、システムが自身の不確実性を認識し、エラーが発生する前に、困難なケースを人間の専門家やより強力なコンピュータに引き継ぐ方法を見つけることです。

仁ジェ大学校医学部の研究者たちは、これらの決定モデルが医学試験において自身のミスを確実に特定できるかどうかを検証するために調査を行いました。彼らは異なる企業の3つの異なるモデルに焦点を当て、韓国および米国の医学部試験からの数百の質問を用いてテストを行いました。目的は、単に機械がどれだけの質問に正解したかを見るだけでなく、生成された確率スコアが警告システムとして機能するかどうかを確認することでした。研究者たちはこう問いかけました。「もしモデルが回答に対してわずかな自信しか示していない場合、それは実際に答えが間違っている可能性が高いことを意味するのか？」「もしシステムに対し、自信のない推測を脇に置き、より強力で高価なモデルに再検討させるよう指示した場合、莫大なコストをかけることなく全体の精度を向上させることができるのか？」

答えを見つけるために、チームは実際の試験問題を用いた一連のコンピュータ・シミュレーションを実行しました。彼らはJev、OpenAI Decisions、Clefという3つの異なる決定モデルに、数千の医学的質問を入力しました。各モデルには、選択肢の中から正解を選び、その選択に対する自信のスコアを提供することを求められました。その後、研究者たちはこれらのスコアを公式の解答キーと比較し、低い自信が本当にエラーと相関しているかを確認しました。その結果、モデルは確かに自己評価において非常に優れていることが判明しました。モデルが確信を持てないとき、彼らはしばしば間違っていました。具体的には、モデルは韓国の質問に対しては約83〜92パーセント、英語の質問に対しては85〜88パーセントの割合で正解を特定しました。より重要なことに、確率スコアはエラーを効果的にフラグ立てできました。韓国のテストにおいて、モデルの不確実性スコアは高い信頼性をもって誤答と正答を区別することができ、英語のテストでも同様の結果が得られました。

研究は次に、実用的な応用へと進みました。研究者たちは、各モデルの自信が最も低い下位20パーセントの回答を、より強力で高価なモデルであるGPT-6.1 Solに自動的に転送するというシナリオをシミュレートしました。結果は、このシンプルな戦略が驚くほどうまく機能したことを示しました。わずか5分の1の回答を転送するだけで、システムは初期モデルが犯したエラーの56パーセントから91パーセントを捕捉しました。このプロセスにより、システム全体の精度は6〜9パーセント向上しました。この改善にかかったコストは、すべての質問に対して強力なモデルを実行した場合のコストと比較して、ごくわずかなものでした。このリファラル（紹介）アプローチは、もし完璧な「オラクル（神託）」があらかじめどの回答が間違っているかを正確に知っていた場合に得られるであろう、理論上の精度の半分近くから、ほぼすべての精度向上を実現しながら、強力なモデルを独占的に使用する場合のコストの約4分の1から3分の1しか費やしませんでした。

しかし、研究者たちは、これらのツールがまだ病院で実戦投入できる段階ではないことを示唆する重要な限界も明らかにしました。モデルは自身の不確実性を察知することには長けていましたが、完璧ではありませんでした。高い自信を持って誤った判断を下すケースがあり、つまり、機械は間違った答えに対して自信を持っていたのです。これらの「自信満々な誤答」は安定しており、回答の選択肢の順序を入れ替えても変化せず、他の高度なモデルによる誤答とも一致することがありました。これは、これらのモデルが自信を持ちながら間違っているとき、それらはしばしば、質問に含まれる情報の欠落や、古い規制への依存といった、同じ深い理由によって間違っていることを示唆しています。例えば韓国の試験では、多くの誤答が特定の現地の法律や行政規則に関連しており、モデルは自信が低い場合であっても、それらに苦戦していました。英語の試験では、問題自体が人間の医師の間でも議論されているものがあり、歴史的な解答キーに基づいた「正しい」答えを得ることを困難にしていました。

また、本研究は、質問の提示方法に対してシステムがどの程度敏感であるかも調査しました。研究者が回答の順序を回転させたところ、モデルの決定は約7〜16パーセントのケースで変化しました。これは、医学的内容が同じであっても、選択肢のリスト順が変わったという理由だけで、モデルが再検討のために質問を転送してしまう可能性があることを意味します。システム全体の精度はこうした小さな変動にもかかわらず安定していましたが、個々の決定は完全に一貫しているわけではありませんでした。研究者たちは、この不安定性と自信満々な誤答の存在を合わせると、これらのモデルをまだ単独で信頼して働かせることはできないと指摘しました。これらは、簡単なケースを処理し、困難なケースを人間の医師に回すための「最初の読み手」として機能する場合に最も効果を発揮します。

最終的に、この研究は、決定モデルが速度と精度の間の有望な中間領域を提供することを証明しています。これらは医学的な質問を迅速かつ安価に処理でき、内部の自信スコアは、最も起こりやすいエラーをフィルタリングするための有用なメカニズムを提供します。自信のない下位20パーセントの回答をより強力なシステムに転送することで、トップティアのモデルが持つ精度の大部分を、はるかに低いコストで回収することが可能です。しかし、臨床現場での使用への道には、単なるシミュレーション以上のものが必要です。自信満々な誤答の存在や、質問形式への敏感さは、これらのツールが実世界の環境で慎重な検証を必要としていることを示しています。患者のケアを導くために使用される前に、これらは実際の臨床ワークフローにおいて、転送されたケースを人間がレビューし、依然として間違っている可能性のある自信満々な回答を監査できる環境でテストされなければなりません。この技術は大きな可能性を示していますが、それを導くための「人間の手」を必要とするツールであり続けています。