Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

技術概要：Second Guess：小規模言語モデルにおける棄却と回答の安定性を通じた不確実性の検出

問題定義
大規模言語モデル（LLM）は、不確実な場合に棄却（回答を控えること）を行うのではなく、自信を持って誤った回答を生成する傾向が頻繁に見られます。この問題は、100 億パラメータ未満のトランスフォーマーベースの生成モデルとして定義される小規模言語モデル（SLM）において特に顕著です。SLM は、計算リソースの制約と、即時の人間の監視なしに自律的に動作する必要があるエッジ環境やモバイル環境でますます展開されています。これにより、信頼性の高い不確実性の検出が不可欠となっています。棄却を可能にする既存の手法には重大な限界があります。トレーニングベースのアプローチはモデル重みへのアクセスと再トレーニングを必要とし、自己報告された信頼性に依存するプロンプトベースの手法はモデルが正確に自己評価を行わないために失敗しがちであり、サンプリングベースのコンセンサス手法は、リソース制約のある SLM には不適切な過大な計算オーバーヘッドを伴います。

手法：Second Guess
本論文は、「Second Guess」を提案します。これは、内部モデルの状態やパラメータへのアクセスを必要としない、多肢選択式質問応答（MCQA）向けの軽量かつパラメータ不要のプロンプト技術です。この手法は、安定した知識を持つモデルは利用可能な選択肢に関わらず一貫した回答を提供するのに対し、不確実なモデルは「わからない」という選択肢が導入された際に不安定な挙動を示すという経験的洞察に基づいて動作します。

この技術は、質問あたり 2 回のフォワードパスから構成されます：

1. 元のプロンプト：モデルに標準的な 4 つの回答選択肢（$C = \{c_1, c_2, c_3, c_4\}$）を含むプロンプトを送り、応答 $R_1$ を得ます。
2. 拡張プロンプト：選択肢セットに「わからない」というオプションをランダムな位置に挿入し（$C' = \{c_1, c_2, c_3, c_4, \text{"I don't know"}\}$）、モデルに再度プロンプトを送って応答 $R_2$ を得ます。

最終的な出力 $R$ は、2 つの応答を比較することで決定されます：

• $R_1 = R_2$ の場合、元の回答を保持します。
• $R_1 \neq R_2$ の場合（新しい回答が何であれ）、出力は棄却（「わからない」）として分類されます。

このアプローチは、2 つのプロンプト間の回答の不一致を不確実性のシグナルとして効果的に扱い、質問あたり 2 回のクエリのみで機能します。

実験設定
著者は、Second Guess を 4 つの指示チューニング済み SLM（2B から 8B パラメータの範囲：Mistral-7B、Llama-3.1-8B、IBM Granite-3.3-2B、Qwen3-4B）に対して評価しました。評価対象は、CommonsenseQA、QASC、MMLU-Pro、SuperGPQA の 4 つの MCQA ベンチマークでした。評価には、ベースモデルと低ランク適応（LoRA）を使用してファインチューニングされたモデルの両方が含まれました。

この手法は、以下のいくつかのベースラインと比較されました：

• 元のプロンプト：拡張なしの標準的な MCQA。
• 拡張プロンプト：「わからない」を最初から含める単一パスのアプローチ。
• 自己評価：モデルが自身の回答を検証する 2 段階の戦略。
• エントロピー閾値法：高エントロピーの出力を棄却に変換する事後手法。

主要な結果
評価には、精度、誤り率、複合リスク（誤った回答と、本来正解を持っていたにもかかわらずモデルが棄却した場合の組み合わせ）の 3 つの指標が使用されました。

1. 複合リスクの低減：Second Guess は、すべてのベースモデルとデータセット全体で、10.81% の最高の複合リスク改善を達成しました。これは、同じクエリ数（2 回）を使用する最良のベースライン（自己評価の 7.69%）を上回る結果でした。
2. ファインチューニングへの頑健性：ファインチューニングされたモデルにおいて、Second Guess は8% の複合リスク改善を維持しました。一方、エントロピーベースの手法は、モデルの自信増大が不確実性検出におけるトークンエントロピーの有用性を低下させたため、ファインチューニングされたモデルでは著しく劣化しました。
3. ベース性能との逆相関：論文は、モデルのベース精度と Second Guess によって得られる改善との間に逆相関関係があることを特定しました。ベース精度が低いモデル（例：SuperGPQA における Llama は約 32% の精度）は、25% を超える最も顕著なリスク低減を見せましたが、高性能なモデルはわずかな改善、あるいは改善が見られませんでした。
4. 改善のメカニズム：回答の遷移の分析により、リスク低減は主に「わからない」の明示的な選択ではなく、選択肢の切り替えを検出することに起因することが明らかになりました。不確実なモデルは、「わからない」という選択肢が追加された際、棄却トークンを一貫して選択するのではなく、誤った選択肢間を切り替える傾向がありました。

意義と主張
本論文は、Second Guess が、安全性が重要な文脈や自律的な文脈における SLM の信頼性を向上させるための実用的でアクセスしやすい解決策を提供すると主張しています。その意義は以下の点にあります：

• パラメータ不要：ハイパーパラメータの調整やモデル重みへのアクセスを必要としません。
• 計算効率の良さ：フォワードパスを 2 回のみ要求するため、サンプリングベースの手法がコスト高となるブラックボックス SLM やエッジデバイスでも実行可能です。
• 低性能モデルへの有効性：エラー低減が最も重要な、より小さく能力の低いモデルにおける信頼性のギャップを特にターゲットにしています。

著者は限界にも言及しており、モデルの規模とベース性能が増大するにつれて手法の有効性が低下すること、および評価に Chain-of-Thought（CoT）推論が含まれておらず、これはベースラインの能力を変化させる可能性があることを認めています。しかし、この研究は、回答の切り替えという行動的不安定性が、複雑なアーキテクチャの変更なしに棄却を誘発するために活用できる、堅牢で検出可能な不確実性のシグナルであることを確立しています。