技術的サマリー：ビーム探索による LLM の一貫性に基づく不確実性の改善

問題定義

一貫性に基づく不確実性定量化（UQ）は、特にブラックボックス環境において、大規模言語モデル（LLM）の出力の信頼性を評価する堅牢な手法として登場しました。これらの手法は通常、多項分布サンプリングを通じて生成された複数の生成結果間の合意度を測定することで不確実性を推定します。

しかし、著者らは、短文質問応答（QA）タスクに多項分布サンプリングを適用する際の重要な限界を特定しました：

1. 高い冗長性：短文における確率分布の鋭さにより、多項分布サンプリングは頻繁に重複またはほぼ同一の生成結果を生み出します。論文では、短い出力（2〜4 トークン）の場合、冗長率が 30〜50% に達し、計算リソースの浪費を招くと指摘されています。
2. 高い分散：各サンプリング実行が異なる候補セットを生成するため、得られる不確実性推定値は実行間で著しい分散を示し、その堅牢性を損ないます。
3. 非効率性：安定した推定値を得るためには通常、多数のサンプルが必要となり、計算コストが高くなります。

核心的な問題は、短文シナリオにおいて多項分布サンプリングがモデルの出力空間を効果的に探索できず、結果としてノイズの多い信頼度推定と最適化されていない不確実性定量化をもたらすことです。

手法

本論文は、候補出力の生成に多項分布サンプリングの代わりにビーム探索を用いる、新しい UQ 手法のファミリーを提案します。この手法は以下の 3 つの重要な洞察に基づいています：

1. 異なる候補：ビーム探索は本質的に上位 k 個の最も可能性の高い部分シーケンスを維持するため、異なる候補出力を保証し、冗長性を低減します。
2. 確率重み付け推定：ビーム候補を均一なサンプルとして扱うだけでは、低確率の出力が過剰に強調されてしまいます。その代わり、著者らは重要度重み付け推定量を導入します。ビーム候補 $b^{(i)}$ のシーケンス確率を正規化して重み $w_i$ を形成します：
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   これらの重みは、単純な平均を使用するのではなく、一貫性に基づく指標（例：非類似度、偏心度）の計算に使用されます。
3. 理論的正当性：著者らは、ビーム重み付け推定量が標準的なモンテカルロ（多項分布）推定量よりも低い平均二乗誤差（MSE）を達成するために必要なビームセットの確率質量（$m_B$）の理論的下界を導出しました。ビームセットが十分な確率質量をカバーする場合（具体的には、単純化された条件として $m_B > 1 - \frac{1}{2\sqrt{M}}$）、ビーム探索アプローチがより低い誤差をもたらすことを証明しました。

適応された手法

著者らは、既存の一貫性に基づく UQ 手法をビーム探索を利用するように適応させました：

• 非類似度（Dissimilarity）：主たる回答とビーム候補間の期待される意味的差異を、$w_i$ で重み付けして測定します。
• 偏心度（Eccentricity）：すべてのサンプル（主たる回答を含む）の類似度行列に対してグラフラプラシアンを使用します。著者らは、埋め込み計算を確率重み付けされた重心を使用するように修正しました。
• 固有ベクトル非類似度（Eigenvector Dissimilarity）：ラプラシアン空間におけるサンプル埋め込みの重み付き平均からの、主たる回答の埋め込みまでの距離を測定します。
• CoCoA：トークンレベルの尤度とサンプルの一貫性を組み合わせたハイブリッド手法です。著者らは、一貫性シグナルをビーム重み付け推定量に置き換えました。

主な貢献

1. 限界の特定：多項分布サンプリングが短文 QA において高い冗長性と分散をもたらすことを実証的に示し、これらの文脈における一貫性に基づく UQ にとって最適ではない選択であることを明らかにしました。
2. ビーム重み付け推定量：重複を生成することなくモデルの分布をよりよく近似するために、重要度重み付けを伴うビーム探索候補を利用する新しい UQ 手法ファミリーの提案。
3. 理論的分析：ビームセットが十分な確率質量を捕捉する場合、ビーム重み付け推定量が多項分布モンテカルロ推定量を上回ることを保証する分布フリーの十分条件（定理 1）の導出。
4. 実証的検証：6 つの QA データセット（TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge）および 6 つのモデル（Gemma 3, Llama 3.1, Qwen 3）にわたる広範な評価。

結果

実験は、多項分布サンプリングをビーム探索に置き換えることが、一貫性に基づく UQ 手法の性能を一貫して向上させることを示しています：

• 最先端の性能：非類似度、偏心度、EigVecDissimilarity、CoCoA のビーム誘導型変種は、ほぼすべてのモデルとデータセットの組み合わせにおいて、最良または 2 番目に良い予測棄却率（PRR）スコアを達成しました。
• 堅牢性：ビーム探索手法は、多項分布サンプリングと比較して、不確実性推定値の分散が著しく低いです。
• サンプル効率：改善は、小さなサンプル予算（$M \ge 2$）で最も顕著です。ビーム探索は、より少ない候補で高い PRR スコアに達し（オープンエンドタスクでは $M=5$ 付近、多肢選択タスクでは $M=2$ 付近で飽和）、多項分布サンプリングがより緩やかに改善するのとは対照的です。
• 短文の利点：ビーム探索と多項分布サンプリングの性能差は、短い出力長さ（冗長性が最も高い領域）で最大となり、出力長さが増加するにつれて縮小します。

意義と主張

本論文は、不確実性定量化のためのデコード戦略としてビーム探索を廃棄すべきではないと主張しています。しばしば決定論的で高品質な生成と関連付けられるビーム探索ですが、著者らは確率重み付けと組み合わせることで、短文 QA における出力空間の探索において、確率的な多項分布サンプリングよりも効率的かつ安定したメカニズムを提供すると論じています。

この研究の意義は以下の点にあります：

• 実用的な効率性：ホワイトボックス環境において、ビーム探索はすでに実行されているか、$M$ 個の独立した多項分布サンプルを生成するのと比較して無視できる追加コストで実行可能であるため、UQ 性能を「事実上無料で」向上させる方法を提供します。
• 理論的基盤：UQ においてサンプリングに対してビーム探索が証明上優れていることを示す形式的条件を提供し、ヒューリスティックな改善を超えています。
• 広範な適用性：この手法は、純粋な一貫性に基づく指標だけでなく、一貫性とトークン尤度を組み合わせたハイブリッド手法（CoCoA など）も改善するため、短文生成タスクにおける不確実性推定に対する一般化可能な改善を示唆しています。

著者らは限界について謙虚であり、評価が現在ホワイトボックス環境（モデル確率へのアクセスを必要とする）および短文 QA データセットに限定されていることを指摘しています。長文生成やブラックボックス環境（経験的確率推定を必要とする）への一般化は、未解決の課題として残されていることを認めています。