技術的サマリー：LLM を暗黙的補完器として

問題定義

大規模言語モデル（LLM）は、入力コンテキストが不完全、切断、または劣化している状況（例：RAG システムにおける部分的な検索）でますます展開されています。このような情報不足下で動作しているにもかかわらず、LLM は通常、高い明らかな確信を持って単一の回答を生成します。これにより、重要な疑問が生じます：LLM の不確実性推定は、欠落情報の量に適切に反映されているでしょうか？

現在の評価は、しばしば静的な較正（固定入力下での自信と精度の一致）に焦点を当てています。しかし、入力情報が少なくなるにつれて不確実性推定が動的にスケーリングするかどうかについての理解は欠けています。この論文は、適切な予測システムは、欠落情報の割合が増加するにつれて不確実性が増加する特性を示すべきであると主張しており、これはベイズ深層学習と欠損データ理論に基づいた原則です。

手法

理論的枠組み：暗黙的多重補完

著者らは、多重補完（Multiple Imputation: MI） [Rubin, 1987] との類比を用いて、LLM の不確実性の評価を実践化しています。MI において、不確実性は観測されていない変数に由来し、複数の完了済みデータセット間のばらつきによって定量化されます。

• 類比: 不完全なコンテキスト下での LLM からの反復サンプリングは、欠落情報の「暗黙的な完了」を生成することとみなされます。
• 基準: 適切な補完器（したがって適切な LLM）は、欠落情報の量に比例してスケーリングする不確実性を示さなければなりません。コンテキストが除去されれば、生成された回答のばらつき（不確実性）は増加すべきです。

実験設定

• データセット: 読解コンプリヘンション用 SQuAD。コンテキスト段落から抽出された短回答スパンを使用。
• 証拠条件: コンテキストの有無をパラメータ $\alpha \in [0, 1]$ によって変化させる制御された枠組み。コンテキスト $C(\alpha)$ は、元のコンテキスト文字の最初の $100 \cdot \alpha$ パーセントを保持することで構築されます。
  • $\alpha = 1$: 完全なコンテキスト。
  • $\alpha = 0$: コンテキストなし。
• サンプリング: gpt-4o-mini を温度 $T=0.7$ で使用し、各入力 $(q, C)$ に対して $m=10$ の確率的回答を生成。相関を最小化するため、各サンプルは個別の API 呼び出しで取得されます。
• 正規化: 回答は、 minor な語彙的変異（例：冠詞の省略）を処理するために正規化されますが、意味的な一般化は行われません。

不確実性尺度

$m$ 個のサンプリングされた回答の経験分布から、2 つのブラックボックス尺度が推定されます：

1. サンプリングベースの自信（$c$）: 最も頻出する回答の経験的頻度（$c = \max_k p_k$）。これはモードの集中度を測定します。
2. 回答エントロピー（$H$）: 正規化された回答分布のシャノンエントロピー（$H = -\sum p_k \log p_k$）。これは競合する回答間の分散を測定します。
3. 解像度比（$\rho_R(\alpha)$）: コンテキストレベル $\alpha$ によって解決されたベースライン不確実性の割合を推定する診断指標。
   $$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$$
   ここで $H_0$ はコンテキストなしのエントロピーです。$\rho_R = 0$ はコンテキストが不確実性の削減を提供しないことを意味し、$\rho_R = 1$ は不確実性が完全に解決されたことを意味します。

情報依存性指数（IDI）

$\Delta = Acc_1 - Acc_0$ と定義され、この指標は予測精度がコンテキストの存在にどの程度依存するかを定量化します。

主要な貢献

1. 評価枠組み: 部分的な観測性下での LM の不確実性を評価するための原理的な枠組み。情報が増加するにつれて不確実性が増加するという要件に基づいています。
2. MI 類比: 反復的な LLM サンプリングを多重補完に明示的に結びつけ、欠落情報によって引き起こされる予測不確実性のブラックボックス代理としてエントロピーを動機づけます。
3. 診断ツール: コンテキストによって解決されたベースライン不確実性の割合を測定するヒューリスティックである解像度比 $\rho_R(\alpha)$ の導入。これはブラックボックスサンプリングのみから推定可能です。
4. 実証的検証: エントロピーが自信よりも欠落情報による不確実性をより忠実に追跡し、説明分散において顕著な利点（二次 $R^2$ 差が最大 0.057）があることを示す定量的証拠。

結果

モデル行動の分類

400 のコンテキストの分析により、コンテキスト除去下で 3 つの明確な領域が明らかになりました：

1. 記憶型: コンテキストの有無にかかわらず高い精度；エントロピーはほぼゼロ（$H_0 \approx 0$）。モデルはパラメトリック知識に依存しています。
2. 偏り型: コンテキストありでは高い精度ですが、コンテキストなしでは誤った回答で高い精度；エントロピーはほぼゼロ（$H_0 \approx 0$）。コンテキストが欠落している場合、モデルは決定論的に誤っています。
3. 不確実型: コンテキストありでは高い精度ですが、コンテキストなしでは低精度かつ高エントロピー。この領域は、欠落情報によって引き起こされた真の不確実性を反映しています。

• 分布: 「不確実型」領域が最大（43.8%）であり、これはほとんどの質問がコンテキストを必要とし、それが欠落している場合に多様な回答を許容することを示しています。

不確実性尺度のパフォーマンス

• エントロピー対自信: コンテキストが除去される（$\alpha$ が減少する）につれて、精度は単調に低下します。
  • エントロピー（$H$）: コンテキストが除去されるにつれて単調に増加し、精度の低下を密に追跡します。
  • 自信（$c$）: 精度が崩壊しても、はるかに緩やかに低下し、高いままです。コンテキスト感受性サブセットでは、精度が 0.05 に落ちたにもかかわらず、自信は 0.52 のままでした。
• 予測力: 回帰分析により、エントロピーはすべての証拠レベルにおいて自信よりも一貫して精度の分散を多く説明することが示されました。
  • $\alpha = 0.5$（完全サンプル）において、エントロピーは分散の 24.3% を説明し、自信は 18.6%（$\Delta R^2 = 0.057$）でした。
  • このレベルにおいて、エントロピーは自信よりも約 31% 多くの分散を説明しました。
• 較正: 較正プロット（精度対自信）は、コンテキストが除去されるにつれて悪化する大幅な過信を明らかにしました。一方、エントロピーは MI 基準と一貫して振る舞いました。

解像度比

解像度比 $\rho_R(\alpha)$ は、完全なコンテキストが完全サンプルにおけるベースライン不確実性の約 80% を解決することを示しました。コンテキスト感受性サブセットにおいて、$\rho_R(\alpha)$ は精度を単調に予測しましたが、自信は「偏り型」領域によって駆動される非単調なパターンを示しました。

意義と主張

この論文は、不完全なコンテキスト下では、回答エントロピーがサンプリングベースの自信よりも反応性の高いブラックボックス不確実性尺度であると主張しています。

• 理論的整合性: エントロピーは、不確実性が欠落情報に比例してスケーリングすべきであるというベイズの要件に従って振る舞います。自信はこの要件を体系的に満たせず、基礎分布が拡散している場合（適切な補完器が高不確実性をシグナルすべき状態）でも、しばしば高いままです。
• 実用的有用性: 提案された指標（エントロピーと $\rho_R$）は、モデル内部（重み、ロジット）へのアクセスや含意分類器を必要としません。これらは API を介してアクセス可能な任意の LLM に適用可能です。
• LLM 設計への示唆: 著者らは、「偏り型」領域で観察される「過信」は、確率質量をモード応答に集中させる softmax 操作に起因する可能性があると示唆しています。彼らは、softmax を経由するのではなく、暗黙のドナープールからサンプリングする**予測平均マッチング（Predictive Mean Matching: PMM）**が、より適切に較正された不確実性をもたらし、LLM の振る舞いを適切な補完理論と整合させる可能性があると提案しています。

この論文は、多重補完の基準を LLM 設定に持ち込むことが、特定のタスクやモデルに依存しない不確実性評価のための理論に裏打ちされた基準を提供し、統計的欠損データ文献と LLM 不確実性研究の間のチャネルを開くと結論付けています。