From token probabilities to calibrated confidence: An empirical study of mathematical question answering
この実証的研究は、数学的な質問回答における大規模言語モデルの信頼度を較正するための手法を調査しており、単一パスのトークン確率は限定的な信号しか提供しない一方で、それらを集約し、自己検証やモンテカルロ・ドロップアウトのようなマルチパス戦略を採用した上で、事後的な較正技術を用いることは、推定された信頼度と実際の正確性との間の整合性を大幅に向上させることができるという結果を得ている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、超スマートなロボットの友人と、ハイステークスなトリビア・ゲームをしているところだと想像してください。あなたがトリッキーな質問を投げかけると、ロボットは答えとともにブザーを鳴らします。しかし、ここに落とし穴があります。ロボットは人の役に立ちたいあまり、たとえ完全に間違っていたとしても、100%確信しているかのように聞こえてしまうことがよくあるのです。人工知能の世界では、これを「過剰な自信（オーバーコンフィデンス）」と呼びます。科学者たちは、ロボットに「たぶんこうだと思う」や「あまり自信がない」と言えるように教えようとしています。そうすることで、私たちがいつ彼らを信頼すべきかを知ることができるからです。これが「信頼度推定（コンフィデンス・エスティメーション）」という課題です。つまり、ロボットの答えがどれくらい正しい可能性が高いかを突き止めることです。これを行うために、研究者たちはロボットの内部的な「ささやき」に注目します。それは「トークン確率」と呼ばれる小さな数字で、文章の中で次の単語をどれくらいの確率で選ぶかを示しています。大きな疑問はこうです。このノイズ混じりの「ささやき」を、ロボットをどれだけ信頼すべきかを正確に伝える信頼できる「真実計」に変えることができるのでしょうか？
ある研究チームはこのアイデアを、特に数学の問題を用いてテストすることに決めました。彼らはAIをテストを受けている学生のように扱い、こう問いかけました。「もし学生の思考プロセスを注意深く聞けば、書き終える前に答えが合っているかどうかを判断できるだろうか？」彼らは主に2つの聞き方を比較しました。一つ目は「シングルパス（一回通し）」の聞き方で、数学の問題とそのロボットが出した最終的な答えを一度に分析するものです。二つ目は「マルチパス（複数回通し）」の聞き方で、ロボットに自分の作業を再確認させたり、同じ問題をわずかな変化を加えて脳内で何度も実行させたりして、同じ結果になるかどうかを確認する方法です。
彼らが発見したことをここに記します。まず、答えの最後の言葉（最終的な数字）だけに耳を傾けると、ロボットは間違っているときでさえ、信じられないほど自信満々に聞こえることがわかりました。それは、テストの最後に「42」と書いたものの、実際には勘でそこに辿り着いた学生のようなものです。しかし、もしその思考の連鎖全体、つまり答えに至るまでのステップバイステップの数学プロセス全体に耳を傾ければ、正解と不正解の間にある微細で一貫した違いを見つけ出すことができます。思考プロセス全体のこれらの微細な信号を平均化することで、彼らはロボットに追加の作業をさせることなく、より優れた「真実計」を手に入れる方法を見出したのです。
また、研究者たちはより良い信号を得るために、いくつかの高度なテクニックも試しました。一つのテクニックは、ロボットに「これは正しいですか？」と尋ねること（自己検証と呼ばれる手法）です。彼らは、ロボットに最初から最後まで自分の答えを読み直させると正確ではあるものの、非常に遅く、コストがかかることに気づきました。まるで、たった一行を確認するために、学生にエッセイ全体を書き直させるようなものです。しかし、彼らは賢いショートカットを発見しました。全体を書き直す代わりに、元の答えの最後に「これは正しいですか？」という質問を付け加えるだけにするのです。この「イン・シチュ（その場での）」手法は、同等の正確さを持ちながら、コンピュータの計算量を88%も節約できました。これは効率性の面で大きな勝利でした。
もう一つのテクニックは、「ストカスティック・パス（確率的パス）」、つまり、同じ問題をわずかなランダム性（サイコロを振るようなもの）を持って何度も解かせ、考えが変わるかどうかを確認することです。この「MCドロップアウト」と呼ばれる手法は、不確実性を捉えるのには優れていましたが、ロボットに何度も作業をさせる必要があり、計算負荷が非常に高いものでした。研究者たちは、この手法は有効ではあるものの、より単純な「物語全体を聞く」手法と比較して、追加のコストに見合う価値があるとは限らないことを発見しました。
最後に、彼らは「キャリブレーション（較正）」のステップ、つまりロボットの自信のダイヤルを調整することを教えるテストを行いました。彼らは、ロボっとの自信スコアを現実にうまく一致させるために、2つの古典的な数学ツール（プラット・スケーリングとアイソトニック回帰）を使用しました。彼らは、これらのツールが驚くべき効果を発揮することを発見しました。特に、練習問題のセットが少なくても（わずか50例でも）、学習が可能でした。しかし、簡単な数学問題で学習されたキャリブレーションは、難しい問題では必ずしも上手くいかないこと、また、あるタイプのロボットで学習されたキャリブレーションは、別のタイプのロボットには必ずしも転用できないことも気づきました。
要するに、この論文は、ロボットに答えを知るためにもう一度二度手間をさせる必要はないということを示唆しています。単に最終的な答えだけでなく、その思考の経路全体により注意を払い、さらに、自分自身をダブルチェックさせるための賢い低コストな方法を用いることで、より信頼できる「信頼度計」を構築できるのです。これらの知見は、適切なチューニングを行えば、AIシステムが自ら知っていること、そして知らないことについて、より正直になれることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。