Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

技術要約：大規模言語モデルにおける推論時の不確実性の人間へのアライメントとキャリブレーション

問題提起
近年の研究は、大規模言語モデル（LLM）の不確実性推定が、有効な回答を生成する可能性を正確に予測できるようにするために、モデルをキャリブレーション（較正）することに重点を置いてきました。しかし、既存の研究では、モデルの不確実性が「人間の不確実性」と一致しているかどうかを評価することはほとんど行われておらず、重大なギャップが存在します。ある指標がモデルの正確性に対しては適切にキャリブレートされていたとしても、その値が人間の直感と一致しない場合、ユーザーにとって解釈が困難になります。さらに、ほとんどの不確実性定量化（UQ）手法は、補助的な生成（例：モンテカルロ・ドロップアウト）を必要とするため、リアルタイムのモデル制御やユーザーフィードバックには適していません。本論文は、キャリブレーションされており（モデルの正解性を予測する）、かつアライメントされている（人間のグループレベルの不確実性と相関している）推論時のUQ指標の必要性に取り組んでいます。

手法
著者らは、複数のLLM（LLaMa-3.2 1B/3B、LLaMa-3.1 8B、およびMistral 7B 0.1/0.3の両ベースおよびインストラクションチューニング版）にわたり、一連の推論時不確実性指標を評価しています。本研究では、2つの人間による調査データセットを使用しています。

1. Pewデータセット： Pew Researchの調査に基づく38の質問（ベースラインとして使用）。
2. Roperデータセット： Roper Center for Public Opinion Research（2017–2023）からサンプリングされた2,998の質問。

人間の不確実性の定義： 人間の不確実性は、調査回答者のグループ間における意見の相違度によって近似されます。これは、各質問に対する正規化された回答パーセンテージのエントロピーとして計算されます。

評価された不確実性指標：
本研究では、補助的なサンプリングなしで単一の生成パス中に計算可能な指標に焦点を当てています。

• Top-1 確率： 最も可能性の高いトークンの確率。
• エントロピーに基づく指標：
  • 全エントロピー（Total Entropy）： 全語彙分布に対するシャノンエントロピー。
  • Top-k エントロピー： 上位 $k$ 個のトークン（$k \in \{5, 10, 25, 50, 100\}$）に対して計算され、相対的な比率を維持するために正規化されたエントロピー。
  • 選択エントロピー（Choice Entropy）： 提供された回答の選択肢の正規化された確率に特化して計算されたエントロピー。
  • Top-p エントロピー： 核サンプリング（nucleus sampling）によって選択されたトークン（核のサイズ $p \in \{0.5, 0.75, 0.9, 0.95\}$）に対するエントロピー。
• Top-p サイズ： 核集合に含まれるトークンの数。

評価指標：

1. アライメント（整合性）：
   • 顕在的合意（Overt Agreement）： モデルのトップ選択肢が人間のグループのトップ選択肢と一致する頻度。
   • 好みの順序付け（Preference Ordering）： モデルと人間の好みのランキング間の正規化されたケンドール $\tau$ 距離によって測定。
   • 不確実性の相関： モデルの不確実性スコアと、質問ごとの人間のグループの不確実性（回答のエントロピー）との間のピアソン相関係数。
2. キャリブレーション（較正）：
   • 正解性相関（Correctness Correlation）： MMLUベンチマークにおける不確実性とバイナリの正誤との間のスペアマン相関係数。
   • 分布的キャリブレーション（JSD Shift）： イェンセン・シャノン距離（JSD）のシフトを測定する新しい指標。著者らは、適切にキャリブレートされた指標は、高確信度の質問から低確信度の質問に移行する際に、モデルの回答分布と正解の分布との間の距離が大幅に増加することを示すと仮定しています。

主な結果

• アライメント vs. 好み： モデルは、人間のトップ回答に対して（ランダムな選択を上回る）中程度の合意を示しましたが、全体的な好みの順序付けにおいては有意なアライメントは見られませんでした（ケンドール $\tau$ 距離は実質的にランダムでした）。
• 不確実性のアライメント： 好みの順序付けのアライメントが欠如しているにもかかわらず、いくつかの指標は人間のグループの不確実性と強い相関を示しました。
  • 最も優れた指標： 選択エントロピー、全エントロピー、すべてのTop-kエントロピー、およびTop-pエントロピー（$p \ge 0.9$）は、すべてのモデルにおいて一貫して有意な相関（$|r| \ge 0.3$）を示しました。
  • Top-p サイズ： $p \le 0.9$ において弱いが有意な相関を示し、一部の事前の仮定に反する結果となりました。
  • Top-1 確率： 一貫した有意な相関を示しませんでした。
• キャリブレーション： 人間の不確実性とよくアライメントしている指標は、MMLUにおいて中程度から強いキャリブレーションの証拠を示しました。
  • **選択エントロピー（Choice Entropy）**が最も堅牢な指標として浮上し、ほぼすべてのモデルと主題において、正誤との負の相関（不確実性が低いほど精度が高い）を示しました。
  • JSD Shift： 置換テストにより、ほとんどの指標において、高確信度状態と低確信度状態の間での分布距離のシフトが統計的に有意であることが確認されました。これは、これらの指標が確信度の高い状態と低い状態を効果的に区別していることを示しています。

主な貢献

1. Top-p とベイズ的接続： 著者らは、LLMのデコーディングにおけるtop-p選択が、機能的にベイズの最高密度信頼集合（highest density credible set）と等価であると指摘しており、これは従来のUQ文献では見落とされていた接続です。
2. アライメントと好みの分離： エントロピーベースの推論時指標は、モデルと人間が特定の回答の好みや順序付けにおいて一致していない場合でも、人間の不確実性とアライメントできることを本研究は観察しています。
3. 新しいキャリブレーション指標： 正解の分布への影響を直接評価するために、JSDメトリックのシフトに基づいたグラウンドトゥルースの分布的キャリブレーション指標を開発しました。
4. 経験的証拠： 本研究は、アライメントされた推論時指標が、正解性相関と分布分析の両面においてキャリブレーションされているという証拠を提供します。

意義と主張
本論文は、人間の不確実性の挙動とアライメントしているため、効果的であり、かつ人間にとってより直感的に解釈可能な推論時UQ指標のセットを特定したと主張しています。これは、モデルが人間の回答選択ロジックを完全に模倣できなくても、ユーザーが理解できる信頼信号をリアルタイムで提供できることを示唆しており、重要な意味を持ちます。

著者らは、これらの指標は強い初期の証拠を示しているものの、完璧ではないと謙虚に結論付けています。彼らは、以下の事項に関する今後の研究が必要であると強調しています。

• アライメントを犠牲にすることなく、高度にキャリブレートされた指標を見つけること。
• これらの知見を、オープンエンドな生成コンテキスト（オープンエンドな回答を複数選択式評価に変換するフレームワークを提案）に拡張すること。
• グループレベルではなく、個人レベルの不確実性のアライメントを調査すること。
• これらの指標を実際の人間とLLMの協調アプリケーションでテストし、ユーザーの信頼とタスクの有効性を向上させるかどうかを判断すること。

本研究は、複数選択形式のコンテキストおよび80億パラメータ以下のモデルに限定されており、より大きなモデルやオープンエンドなシナリオでは結果が異なる可能性があることを注記しています。