技術要約：大規模言語モデルにおける妥当な事実性制御を伴う推論時コンフォーマル推論

1. 問題提起

大規模言語モデル（LLM）は、中間的な主張のシーケンス（これらは暗黙的な有向非巡回グラフ（DAG）を形成する）を生成する多段階推論をますます採用している。これらの構造において、あるノード（主張）の正当性は、その先祖ノードに構造的に依存している。つまり、上流の主張におけるエラーは、すべての下流の主張を無効にする可能性がある。これは、事実性の不確実性が、単なる独立したノードごとのエラーの蓄積ではなく、構造的なものであるというシナリオを生み出す。

コンフォーマル予測（CP）のような既存の事実性制御アプローチは、通常**事後的（post-hoc）**である。これらはまず完全な推論グラフを生成し、その後にカバレッジ保証を満たすように主張のサブセットを枝刈りしたり選択したりする。このアプローチには、以下の2つの決定的な限界がある：

1. 構造的な不整合： 事後の枝刈りは生成プロセス自体に影響を与えることができないため、修正が行われる前に大量の無効なコンテンツが生成される可能性がある。
2. 非効率性と不安定性： 完全な生成グラフを枝刈りすることは、過度に保守的な出力（完全な断念）や、ハルシネーションに起因するノイズによる不安定な閾値をもたらすことが多い。

本論文が取り組む中心的な問いは、「生成プロセス中に介入しつつ、厳密なカバレッジ保証を維持しながら、事後的な処理ではなく生成中の事実性に関する推論時コンフォーマル制御を設計できるか？」である。

2. 手法：推論時コンフォーマル推論（ITCR）

著者らは、コンフォーマル予測を推論グラフの生成に直接統合するフレームワークである**推論時コンフォーマル推論（Inference-Time Conformal Reasoning: ITCR）**を提案している。

コア構成要素

1. 構造レベルの事実性不確実性関数：

   • ノードレベルのスコアのみに依存するのではなく、ITCRは、先祖を閉じた（ancestor-closed）推論サブグラフとその構成要素であるノードレベルの不確実性信号をスカラーのグラフレベルの事実性不確実性スコアにマッピングする関数 $F_{U_\theta}$ を学習する。
   • この関数は、サブグラフに対するバイナリ監督（真実との一致または不一致）を通じて学習される。この関数の学習は、コンフォーマル校正に依存するカバレッジ保証の理論的な妥当性に影響を与えない。

2. 入れ子状の非適合度スコア（Nested Non-Conformity Score）：

   • 逐次的な生成中の有効な停止を可能にするために、非適合度スコア $S(U)$ は**入れ子状の性質（nested property）**を満たさなければならない。すなわち、サブグラフの拡張に対して単調である必要がある（$S(U_1) \le S(U_2) \le \dots$）。
   • 著者らは、スコアを以下のように定義する：
     $$S(U) = 1 - \sigma(F_{U_\theta}(U, \{f_u(v)\}_{v \in V_U})) + \lambda |V_U|$$
     ここで $\sigma$ はシグモイド関数、 $|V_U|$ はノード数、$\lambda$ はペナルティ項である。
   • サイズペナルティ $\lambda |V_U|$ は単調性を強制し、グラフが拡張するにつれてスコアが増加（または維持）するようにし、校正された閾値の超過を不可逆な停止条件とする。

3. 推論アルゴリズム：

   • ジェネレーターは推論グラフを逐次的に拡張する。
   • 各ステップにおいて、現在のサブグラフの非適合度スコアが計算される。
   • もし $S(U_t) \le \tau_\alpha$ （校正された閾値）であれば、生成を継続する。
   • もし $S(U_t) > \tau_\alpha$ であれば、直ちに生成を停止し、現在の先祖を閉じたサブグラフを最終的な出力として返す。

カバレッジ目標

ITCRは、以下の2つの異なるカバレッジ目標をサポートし、どちらも $1-\alpha$ のレベルで保証される：

• 誤検出なし（No-False Coverage）： 予測されたサブグラフに誤ったノードが一つも含まれないことを保証する（精度重視）。これは偽陽性率を制御する。
• 見落としなし（No-Miss Coverage）： 予測されたサブグラフに正しいノードがすべて含まれることを保証する（再現率重視）。これは、妥当な推論鎖の過度な切り捨てを避けるために、不確実なノードを一定数許容することを可能にする。

3. 主な貢献

1. 推論時への統合： 事後の選択問題から、推論時の生成メカニズムへと事実性制御を移行させたITCRの提案。
2. 理論的保証： 提案された入れ子状の生成手順が、No-FalseおよびNo-Missの両方の目的において、構造化された推論出力に対する有効なコンフォーマルカバレッジ保証を誘発することを証明。
3. 実証的検証： MATH、GSM8K、QAの複数のデータセットおよび複数のLLMバックボーンにおいて、ITCRが妥当なカバレッジを達成し、事後の手法と比較して推論精度を大幅に向上させることを実証。

4. 実験結果

著者らは、LLaMA-3.1-8B、Qwen3-4B、DeepSeek-R1-Distill-Qwen-1.5Bを含むモデルを用いて、MATH、GSM8K、および世界知識QAデータセットでITCRを評価した。

• カバレッジの妥当性： ITCRは、No-FalseおよびNo-Missの両方の目的において、ターゲットレベル（$1-\alpha$）を満たす経験的なカバレッジ率を一貫して達成している。対照的に、ベースライン手法（例：CPL、単純な集計ヒューリスティック）は、しばしばカバレッジ保証を満たすことができない。
• 効率性： ITCRは、カバレッジ制約を満たすすべての手法の中で、最も高い効率（より多くの正しいノードを保持するか、あるいはより少ない正しいノードを削除するか）を達成している。
• ダウンストリーム性能： ダウンストリームの推論タスクにおいて、ITCRは事後に枝刈りされたグラフよりも正確な生成を行う。具体的には、ベンチマーク全体で「修正ゲイン」（正の修正比率マイナス負の修正比率）を平均で 18.77% 向上させている。
• 計算コスト： ITCRは、完全な軌跡を生成してから枝刈りする事後の手法（PostCal）と比較して、トークン消費量と実行時間を削減する。
• 堅牢性： 本手法は、基礎となる不確実性関数のクラス（MLP、ランダムフォレスト、SVM）やプロンプトのバリエーションに対して堅牢である。

5. 意義と主張

本論文は、ITCRが構造化されたLLM推論における事実性を制御するための、統計的に厳密なフレームスワークを提供すると主張している。その意義は以下の点にある：

• ギャップの解消： コンフォーマル予測（CP）によるユーザー指定のカバレッジ保証の柔軟性と、自己回帰的な生成の動的な性質を、見事に統合している。
• 構造的認識： ノードレベルではなくグラフレベルで動作することにより、推論の依存構造を尊重し、上流のエラーが伝播するという事実を考慮に入れている。
• 実用的有用性： この手法は、妥当性を保証するだけでなく、モデルが無効なパスに対して計算資源を浪費することを防ぎ、より効果的な自己修正を可能にすることで、推論の質を向上させる。

著者らは、制限事項についても述べており、具体的には交換可能性の仮定（校正分布とテスト分布が類似している必要があること）への依存、および初期のグラフ構築と事実性検証の正確さへの依存を挙げている。彼らは、今後の課題として、非交換的な設定における局所的な校正や適応的なペナルティについて示唆している。