On Verbalized Confidence Scores for LLMs
本論文は、大規模言語モデルが自信スコアを通じて自らの不確実性を言語化する信頼性を調査し、その有効性はプロンプト戦略によって異なるものの、特定の手法により低オーバーヘッドでモデルに依存しないよく較正された不確実性定量化が得られることを示す。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢く、教養のある友人にアドバイスを求める場面を想像してみてください。時には彼らがその答えに絶対の確信を持っていることもあれば、単に推測していることもあります。今日の大型言語モデル（LLM）の問題点は、誤っている場合でも、あたかも確信を持っているように聞こえることです。彼らは、自分が何を話しているのか全く見当もつかない場合でも、「確信が持てない」とは決して言わないような友人のようです。
本論文「LLM 向けの言語化された信頼度スコアについて（On Verbalized Confidence Scores for LLMs）」は、単純なアイデアを検証しています：「AI に、どれほど確信を持っているかを直接教えてもらうのはどうでしょうか？」
AI の内部コードを調べたり、同じ答えを返すかどうかを確認するために 100 回実行したりする代わりに、研究者たちは AI に回答に「信頼度スコア」を追加するよう求めました。例えば、「答えは X です。そして私は 85% 確信しています」と言うようにです。
以下に、日常の比喩を用いた彼らの発見の概要を示します：
1. 目標：「信頼メーター」
研究者たちは、この「信頼メーター」（信頼度スコア）が実際に機能するかどうかを確認したいと考えていました。彼らが求めたシステムは以下の特性を持つものでした：
- 正直であること：AI が 90% 確信していると述べる場合、それは 90% の確率で正しくあるべきです。
- 柔軟であること：どのような質問を投げかけようとも、どの AI モデルを使用しようとも機能する必要があります。
- 高速であること：スコアを取得するために追加の時間や計算資源を必要としてはいけません。
2. 実験：異なる「問いかけ方」のテスト
チームは、AI にどのように問いかけるかが非常に重要であると気づきました。それは子供に推測を尋ねるようなものです。
- 「フランスの首都は何ですか？推測してください！」と尋ねれば、彼らは単に「パリ」と答え、自信を持ってしまうかもしれません。
- 「フランスの首都は何ですか？推測してください。そして 0 から 100 のスケールでどれほど確信しているかを教えてください」と尋ねれば、彼らはより深く考えるかもしれません。
研究者たちは、11 種類の異なる AI モデルと10 種類の異なる質問（科学の雑学、論理パズル、常識など）に対して、**17 通りの異なる質問の言い回し（プロンプト）**をテストしました。
3. 大きな発見：それは AI の「脳の大きさ」に依存する
最も興味深い発見は、正直な答えを得るための最良の方法が、AI モデルの「賢さ」（または規模）に依存するということです。
「小さな」AI モデル（初心者）の場合：
これらはまだ学習中の学生だと考えてください。複雑で凝ったプロンプトに多くの例や指示を与えると、混乱して作り話を始めます。- 論文の発見：単純なプロンプトが最も効果的です。「どれほど確信していますか？」と単純に尋ねるだけで、長い規則のリストを与えるよりも効果的です。
「大きな」AI モデル（専門家）の場合：
これらは博士号を持つ卒業生だと考えてください。彼らは多くの知識を持っていますが、過信しやすい傾向があります。単純に尋ねるだけでは、間違っている場合でも 100% の自信を持って推測してしまうかもしれません。- 論文の発見：彼らはより複雑な「促し」を必要とします。研究者たちは、いくつかの回答例を与えること、論理の説明を求め、そして明示的にタスクの難易度を考慮するよう指示することなど、複数の技術を組み合わせることで、彼らをより正直にさせることができることを発見しました。
- 結果：適切な複雑なプロンプトを使用することで、これらの大型モデルは、実際の成功率から約**7%**以内の精度で信頼度スコアを生成することができました。これは単なる推測に比べて大きな改善です。
4. 「コンボ」プロンプト
研究者たちは、大型モデル用の「スーパープロンプト（コンボ）」を作成しました。それは AI にチェックリストを与えるようなものでした：
- 質問について考える。
- その難易度を考慮する。
- 自分の知識を確認する。
- 最善の推測を行う。
- 確率スコア（0.0 から 1.0）を与える。
この「コンボ」プロンプトを使用すると、大型モデルは不確実であることを認める能力が大幅に向上しました。
5. この意味するところ（論文によると）
論文は、AI に「自分の確信を語る」よう求めることは、非常に有望なツールであると結論付けています。それは以下の点で優れています：
- シンプル：AI の脳の中を見る必要はありません。
- 高速：生成には数語の追加だけで済みます。
- 効果的：正しい問いかけ方を知っていれば、AI は推測しているときと答えを知っているときを区別して教えてくれます。
ただし、注意点があります：どんな AI に対しても、好きなように問いかけることはできません。質問をカスタマイズする必要があります。小さな AI に複雑な質問を投げかければ失敗します。大きな AI に単純な質問を投げかければ、自信を持っていると嘘をつくかもしれません。しかし、プロンプトの適切な「レシピ」があれば、これらのモデルをより信頼できるものにする可能性があります。
要約すると：AI はどれほど確信しているかを教えてくれますが、真実の答えを得るためには、それを正しく問いかける方法を知っていなければなりません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。