Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification

あなたは、山のような郵便物を「良」と「悪」の山に仕分けさせるために、非常に賢く、おしゃべりなロボットのチームを雇っていると想像してください。単にロボットに郵便物を仕分けさせるだけでなく、各郵便物に対してどの程度自信を持っているかも教えてほしいと考えています。もしロボットが50%しか確信を持っていなければ、その手紙は脇に置いて、人間がダブルチェックするようにしたいかもしれません。これが、**大規模言語モデル（LLM）**が分類器として機能する世界です。これらのAIシステムは、天才的ではあるものの、時として自信過剰な学生のようなものです。彼らはエッセイを書いたり謎解きをしたりできますが、分類を求められたときには、「かなり自信がある」と言ったり、「勘で言っている」と言ったりする必要があります。

科学者たちが直面している大きな疑問は、**「これらのロボットが、自分の自信について本当に真実を語っているかどうかを、どうすれば知ることができるのか？」ということです。もしロボットが「95%の自信があります」と言ったとき、それは計算に基づいた本物の感覚なのでしょうか、それとも単なる幸運な推測なのでしょうか？これをテストするために、研究者たちは精度・拒絶曲線（Accuracy-Rejection Curve）**と呼ばれる特別なスコアボードを使用します。スライディング・スケールを想像してください。ロボットに対してより厳格になるよう指示する（例えば、99%の自信があると答えたものだけを受け入れるようにする）につれて、受け入れられる手紙の山は小さくなりますが、その山に残されたものは、ほぼ常に正しいものです。目標は、最大限の手紙を維持しながら、同時に極めて高い精度を保つことができる「スイートスポット」を見つけることです。問題は、ロボットの回答が塊（クラスター）になっていたり、反復的であったりする場合、このスコアボードを測定するのが難しいことです。

---

ロボットの「95%」という癖

この論文の中で、著者であるエレナ・メルジャノフスカとそのチームは、これらのAIロボットが自信を表現する方法における奇妙な癖を発見しました。ロボットに数字を声に出して言うよう求めると（例：「私は95%の自信があります」）、ロボットは人間がサイコロを振るようにランダムに数字を選ぶことはありません。代わりに、決まったパターンに陥ってしまうのです。

これは、選択式のテストを受けている学生が、考えもしないで、すべての解答用紙に「95」と書いているようなものです。研究者たちは、人気のあるAIモデル（Qwen3-32B）が、数千の質問に対して自信を説明する際に、わずか8つのユニークな数字（0.6, 0.65, 0.7, 0.75, 0.85, 0.9, 0.95, 0.98）しか使用していないことを発見しました。さらに驚くべきことに、半分以上の確率で、そのモデルは単に**95%**と言っていました。

これは問題です。なぜなら、ラジオのチューニングをしているのに、ダイヤルが8つの特定の箇所でしかカチッと動かないようなものだからです。もしあなたが98%の精度を得るために「悪い」手紙を排除したい場合、郵便物の40%を捨てなければならないかもしれません。しかし、もしロボットがもっと精密な数字、例えば96.3%といった数字を出せれば、郵便物を捨てる必要は28%だけで済んだかもしれません。ロボットがこれほど「疎（スパース）」である（少ない数字に固執している）ため、多くの良質なデータを無駄にしているのです。

「滑らかな線」の罠

ここで、物語は複雑になります。研究者たちは、科学者がロボットの性能を測定する方法が、実は彼らを欺いていることを発見しました。

スコアボード（AUARCと呼ばれます）を計算するために、研究者は通常、グラフ上の点と点を結ぶ線を引きます。ほとんどの人は**線形補間（linear interpolation）**を使用します。これは、ロボットの自信が緩やかに変化することを前提として、点の間を滑らかで直線的な線で結ぶ方法です。しかし、もしロボットが8つの数字しか持っていない場合、点と点の間には巨大な隙間が存在します！その隙間に滑らかな線を引くことは、ギザギザした山脈の点と点を定規でつないで、存在しない滑らかな丘を作り出すようなものです。

著者たちは、この「滑らかな線」による測定法を使うと、ロボットが実際よりも優れた性能を持っているように見えてしまうことを示しました。実際、彼らが正しい方法である段階的補間（stepwise interpolation）――つまり、次の実際の数字が現れるまで平坦な線を引く方法――に切り替えると、ランキングは完全に逆転しました。「滑らかな線」を用いたときには「チャンピオン」に見えていた手法が、「段階的」な線を用いると最下位に転落したのです。滑らかな線は、疎な（データの少ない）ロボットが実際よりも柔軟であるかのように見せるための、一種の視覚的な錯覚に過ぎませんでした。

魔法の「ログプロブ（Logprobs）」トリック

では、8つの数字しか話せないロボットをどうやって修正すればよいのでしょうか？チームは、**Verbalization Logprobs（言語化ログプロブ）**と呼ばれる巧妙なハックを提案しました。

通常、ロボットが「95%」と言うとき、単に「9」と「5」という文字を出力しているだけです。この情報を利用する標準的な方法は、単に数字の95を取ることです。しかし、ロボットは実は別のことも知っています。それは、「9」を選ぶ確率が「8」である確率に対してどれくらい高かったか、そして「5」を選ぶ確率が「6」である確率に対してどれくらい高かったか、という点です。これらの隠れた確率が**ログプロブ（logprobs）**と呼ばれるものです。

著者たちの新しい手法は、ロボットに単に数字を求めるだけでなく、その数字の背後にある「感覚」を求めるようなものです。単に「95」を取るのではなく、各桁に対してロボットがどれほど確信を持っていたかに基づいて、加重平均を計算します。これにより、ロボットの塊のような8つの回答を、滑らかで連続的な自信のストリームへと変えることができます。

結果は目覚ましいものでした。このトリックを使用することで、ロボットの自信スコアは非常に詳細になり（わずか8つのユニークな値から600以上のユニークな値へ！）、精度が向上しました。しかも、これによって追加の計算能力や時間は一切消費しませんでした。単にロボットがすでに持っている情報を利用しただけなのです。この新しい方法により、ロボットは「スイートスポット」をより上手く見つけることができ、従来の方法と比較してパフォーマンススコアを2.3ポイント向上させることができました。それは、壊れたカチカチ鳴るダイヤルの代わりに、高精細なダイヤルをロボットに与えたようなものであり、それによって、より少ない無駄で郵便物を仕分けることが可能になったのです。

まとめ

この論文は、これらのロボットが滑らかな操作者であるふりをするのをやめるべきだと結論づけています。彼らが実際には非常に硬直的であるにもかかわらず、私たちが「滑らかな線」による測定法を使い続けるならば、誤った安心感を抱くことになります。測定方法を「段階的」なものへと切り替え、より詳細な回答を得るために「ログプロブ」のトリックを使用することで、私たちはようやく、AI分類器が真に自信を持っているときと、単に推測しているときを信頼できるようになるのです。これは、私たちの「聞き方」における小さな変化ですが、これらのデジタルヘルパーをいかに上手く活用できるかにおいて、極めて大きな違いをもたらします。