Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

技術要約：観測可能な言語モデルの確率に基づく意味論的不確実性の較正

問題提起
言語モデル（LM）は単語やフレーズに対して条件付き確率分布を生成するが、金融、医学、法学などの専門的な意思決定には、意味のある有限な値を持つ状態（例：診断、リスク条件、または運用状態）に対する不確実性の定量化が必要である。ここには決定的な乖離が存在する。すなわち、LMのネイティブな出力は言語的応答の分布であり、プロンプトの表現、順序、および数値形式に敏感である。対照的に、対象となる科学的な状態に関する事後分布は、情報的に等価な言い換えに対して不変であるべきである。既存のアプローチは、印字された数値的な確信度やトークン確率を、較正された状態確率と混同していることが多く、同義のフレーズが異なる確率を受け取ったり、モデルの「流暢さ」が不確実性を隠蔽したりするといった意味論的な不安定性を考慮できていない。本論文はこの逆問題を扱う。すなわち、観測可能でプロンプトに依存する言語的応答の分布から、安定して較正された宣言された状態の事後分布へと写像できるか、という問題である。

手法
本論文は、LMの条件付き言語分布と、有限の状態空間に対する目標事後分布を結ぶ半パラメトリックな統計的架け橋として、「意味マップ（semantic map）」を提案する。このフレームワークは、LMを条件付きデータ生成過程（マルコフ核）として扱い、統計的設計を以下の明確なレイヤーに分離する：

1. 観測可能な統計実験： プロンプト $c$ が与えられたとき、LMは完全な言語的継続 $\Omega$ 上の条件付き応答則 $Q_u(\cdot | c)$ としてモデル化される。プロンプトは、評価者によって制御される明示的な設計変数である。
2. 意味論的粗視化（Semantic Coarsening）： 前規定された測定可能な写像 $\phi_u$ が、同義の言語的継続を意味論的な状態 $X$（および「未表明」カテゴリ $\perp$）へとグループ化する。これにより、状態空間上の押し出し測度（語彙的組成） $p_u$ が誘導される。
3. 較正と逆回復： 宣言された独立した確率モデルから導出された参照事後分布 $\pi^*(y)$ を、語彙的組成 $p_u$ から回復することを、逆問題として定式化する。これには、確率ベクトルをユークリッド空間に写像するための加法対数比（alr）座標を利用し、逆問題理論の適用を可能にする。
4. 理論的保証：
   • 存在と一意性： 固定された意味マップと言語則の下で、語彙的組成は存在し、かつ一意である。
   • 誤差分解： 意味論的不一致（グルーピング誤差）、確率計算誤差、および未表明質量（宣言された分割の外側にある確率）という3つの異なるソースから生じる事後誤差を、定理によって抑え込む。
   • 安定性： プロンプト提示（言い回し、順序）の摂動が、意味論的組成にどのように影響するかを特徴付ける理論的境界を定義し、些末な変動と重大な変化を区別する。
   • 逆回復： 言語チャネルが安定した逆転を可能にするほど十分に情報的であるための条件を、定量的観測モジュラス（異なる事後分布間の分離の下限）を通じて定義する。
   • 逐次的フィルタリング： 測定誤差が逐次的なベイズ更新中にどのように伝播または減衰するかを定量化するフィルタリング定理を用い、初期の測定誤差と累積的な再帰欠陥を区別する。

主な貢献
本論文の主要な貢献は、アドホックなプロンプトエンジニアリングを超えて、テスト可能な統計的推定量として「意味マップ」を定式化したことである。具体的には以下の通りである：

• 宣言された推定量： LMの内部的な「信念」を真理として扱うのではなく、言語分布から参照事後分布を回復するという明確な目標を定義した。
• 半パラメトリックな枠組み： 制約のない言語モデルと低次元の較正モデルを組み合わせることで、LMの内部パラメータをモデル化する必要を避けつつ、言語から状態への写像を厳密に考慮している。
• 不確実性の分解： 誤差のソース（意味論、数値、カバレッジ）を数学的に分解することで、失敗の原因が不適切なグルーピング、不正確な確率計算、あるいは不十分な言語的被覆のいずれにあるかを診断できるようにした。
• 逆問題分析： 逆問題理論を適用し、言語チャネルが安定した逆転を可能にするための条件を確立し、有限設計における観測可能性と一様識別性を区別した。
• 経験的プロトコル： 発見（意味論的グルーピング、プロンプト設計）と確認（ホールドアウトテスト、コンフォーマル・カバレッジ）を分離する厳格な推論プロトコルを確立し、先読みバイアスやデータ依存的な仕様探索を防いでいる。

結果
本手法は、以下の2つの設定で評価された：

1. 専門的な市場テキスト： 言語由来の確率（フレーズのトークン確率から算出）と、数値的に引き出された確率（モデルに数値を印字させる手法）の比較。
   • 知見： 言語由来の確率は、精度の面で（McNemar $p=0.0243$）、および適切なスコアリングルール（Log-lossおよびBrier score）において、数値的に引き出された確率を大幅に上回った。これは、数値出力を強制することが、継続分布に含まれる意味論的情報を歪めていることを示唆している。
2. 制御された事後分布の回復： 正確な参照事後分布を提供する既知のベイズ生成器を用いたシミュレーションを、適合させた2つのモデル（GPT-4.1-miniおよびGPT-4o-mini）でテスト。
   • 回復： 較正された語彙的推定値は、低いイェンセン・シャノン・ダイバージェンス（約0.039および0.037）で正確なホールドアウト事後分布を回復し、公称90%のコンフォーマル・カバレッジ（94%および90%）を達成した。
   • 安定性： 通常のパラフレーズ（情報を保持する書き換え）は、概ね安定した推定値を示した。しかし、証拠の順序変更や関連情報の欠落は、重大な変化を引き起こした。これは、測定が情報セットには敏感であるが、些末な言い回しには頑健であることを裏付けている。
   • 逆条件付け： ブートストラップ分析により、適合されたアフィン較正マップが、サンプリングされた設計上のすべての対数比方向を保持していること（正の特異値）が確認され、有限設計における観測可能性が支持された。
   • エントロピー： 候補単語に対する生のエントロピーは事後エントロピーと相関していなかったが、較正された事後エントロピーは高い相関を示した。これは、単語レベルの不確実性が必ずしも状態レベルの不確実性と等価ではないことを示している。

意義と主張
本論文は、言語モデルの不確実性を、検証不可能な信頼表明から、明示的かつテスト可能な条件下での監査可能な事後推定器へと変換できると主張している。

• 限定的な範囲： 著者らは、本手法がLMが真実を「知っている」ことや、アクセス不可能な内部的信念を持っていることを証明するものではないと明示している。目標となる事後分布は、宣言された証拠生成モデルと意味論的分割に依存するものである。
• 信頼ではなく検証： 本件の貢献は検証のための枠組みである。もし意味マップが失敗する場合（例：低い表明質量、低い逆条件付け、またはコンフォーマル・カバレッジの失敗）、その結果は拒絶または修正されるべきである。成功する場合、その推定値は、棄権、人間によるレビュー、または逐次的更新といった不確実性を考慮した手順を支持する。
• 一般原則： 「意味マップ」の原則は、分類や推奨事項を監査するための一般的なテンプレートとして提示されており、意味論的な意味が単なるプロンプトエンジニアリングの関数ではなく、安定したものであることを保証するものである。
• 限界： 結果は、特定の適合モデル、プロンプト・ファミリー、および状態定義に依存する。これらは、無制限の関数クラスに対する一様な観測可能性や、軌跡レベルのさらなるテストなしでの時間一様な逐次的カバレッジを確立するものではない。また、本手法はドメイン固有の意思決定分析や、リアルタイムのトレーディング性能を保証する代用物ではない。

総括すると、本論文は、安定性のための「プロンプトエンジニアリング」への依存を、言語をノイズを含む測定チャネルとして扱う厳格な統計的枠組みへと置き換え、そのチャネルから意味のある状態確率を回復するための、定量化、境界設定、および検証のためのツールを提供している。