技術的概要：コンフォーマル・シンキング：計算予算内での推論に対するリスク制御

1. 問題定義

推論型大規模言語モデル（LLM）は、「テスト時スケーリング」を可能にし、トークン予算の増加に伴って性能が向上します。しかし、これは「いつ推論を停止するか」を決定するという実用的な課題を生み出します。既存の適応的推論メカニズムは、通常、モデルが自信を持っていると判断された時点で生成を停止させる単一の上限しきい値（信頼度または不確実性）に依存しています。このアプローチには、2 つの重大な非効率性があります：

1. 過剰推論（Over-thinking）： 正解が既に得られた後もモデルが推論を継続し、計算リソースを浪費する。
2. 困難な事例における推論不足（Under-thinking on hard instances）： 困難または解けない問題において、モデルの信頼度が上限しきい値に達することがなく、システムが最大トークン予算を尽きても成功しない。

さらに、特定のしきい値を設定すること自体が実用的な課題です。しきい値とそれによって生じる誤り率との関係は、しばしば解釈不可能であり、信号に依存し、タスクによって異なります。現在の手法は、多くの場合、手動調整されたカットオフ値やヒューリスティックな掃引に依存しており、実際の誤り率（リスク）に関する理論的保証を欠いています。

著者らは、推論予算の設定問題をハイパーパラメータ調整の課題としてではなく、リスク制御の問題として再定義しました。その目的は、ユーザー指定の許容誤り率（$\epsilon$）内で誤り率を制限しつつ、計算コストを最小化することです。

2. 手法：コンフォーマル・シンキング

提案されるフレームワークコンフォーマル・シンキングは、分布フリーのリスク制御アルゴリズムによって制御される、二重しきい値停止メカニズムを導入します。

2.1 二重しきい値停止ポリシー

単一の上限しきい値の代わりに、この手法は 2 つの異なる種類のリスクを管理するために 2 つのしきい値を採用します：

• 上限しきい値（$\lambda_+$）： 偽陽性リスクを制御します。モデルが正解を見つけたと十分に自信を持った時点で推論を停止します。これにより、既に答えが分かっている解ける事例に対してトークンを浪費することを防ぎます。
• 下限しきい値（$\lambda_-$）： 偽陰性リスクを制御します。モデルの信頼度が十分な速度で増加していない場合、つまり残りの予算内でその事例が解ける可能性が低いと判断された時点で推論を停止します。これにより、絶望的な事例に対してトークンを浪費することを防ぎます。

停止時刻 $\tau$ は以下のように定義されます：
$$\tau = \min \{ t \ge 1 : \tilde{s}_t \ge \lambda_+ \lor \tilde{s}_t \le \lambda_- \}$$
ここで、$\tilde{s}_t$ はステップ $t$ における安定化された不確実性信号（例：信頼度またはエントロピー）です。

2.2 動的下限しきい値

重要な革新点はパラメトリックな下限しきい値です。静的な上限しきい値とは異なり、下限しきい値は推論ステップ（またはトークン使用量）の動的な関数です。これは進捗の「スケジュール」を強制します：モデルは継続するために、信頼度の定期的な増加を示さなければなりません。
下限しきい値はシグモイド関数としてモデル化されます：
$$\lambda_-(t; c, s, l, u) = \sigma(c (\omega_t - sB), l, u)$$
ここで、$\omega_t$ は生成された累積トークン数、$B$ は総予算であり、パラメータ $c, s, l, u$ は信頼度要件の傾き、シフト、および境界を制御します。モデルの信頼度の軌跡がこの動的スケジュールを満たさない場合、推論は事前に停止されます。

2.3 損失関数

このフレームワークは、トレードオフを定量化するための特定の損失関数を定義します：

• 予測損失：
  • $\ell_+$：誤った答えで早期に停止する（偽陽性）ことを測定します。
  • $\ell_-$：後に解けた可能性がある事例で停止する（偽陰性）ことを測定します。これは「先見的」であり、将来の任意のステップ $k \in (t, T]$ に正解が存在するかどうかを確認します。
• 効率損失：
  • $J_+$：答えが初めて正しくなった時点（オラクル停止時刻）以降に浪費されたトークンを測定します。
  • $J_-$：最終的に解けなかった事例で浪費されたトークンを測定します。

2.4 UCB によるリスク制御

有限の検証セットへの過学習なしに、しきい値（$\lambda_+$）と動的パラメータ（$c$）を選択するために、著者らは Upper Confidence Bound (UCB) アルゴリズム（Bates et al., 2021）を用いた分布フリーのリスク制御を採用しています。

1. 較正： 保持された検証セット上で、有限サンプル補正項を含む調整されたリスク推定値を計算します。
2. 選択： ユーザー指定のリスク許容度（$\epsilon$）を高い確率（$1-\delta$）で満たし、かつ推定された効率損失を最小化する信号としきい値のペアを選択します。
3. 2 段階手順： 最適化を簡素化するために、上限しきい値と下限しきい値の選択を分離します。まず偽陽性を制御するために上限しきい値を固定し、次に偽陰性を制御するために下限しきい値のパラメータを選択します。

3. 主要な貢献

1. リスク制御フレームワーク： ユーザー指定のリスク許容度を停止基準に直接マッピングし、不透明なしきい値調整に代わる、適応的推論の停止ルールを設定するための原理的なアプローチ。
2. 二重しきい値メカニズム： 標準的な上限しきい値を補完し、解けない事例での推論を停止させる、新規のパラメトリックな下限しきい値の導入。
3. 損失関数の定義： 推論 LLM の早期停止に特有の、予測誤差（偽陽性/偽陰性）と効率コスト（浪費されたトークン）の両方を捉える損失関数の集合。
4. 実証的検証： このアプローチが高い確率でユーザー指定のリスク目標を達成し、単一しきい値または単純なベースライン手法と比較して計算効率を向上させることの証明。

4. 実験結果

著者らは、Qwen3-8B/30B や DeepSeek-R1-Distill などのモデルを用いて、多様な推論タスク（AIME, DeepScaleR, GPQA-Diamond, MathVision）においてこのフレームワークを評価しました。

• リスク制御の有効性： 実験により、UCB ベースの選択が、実現されたテストリスクを高い確率でユーザー指定の目標 $\epsilon$ 以下に抑えることを確認しました。対照的に、単純な交差検証は、特に下限しきい値によって制御される偽陰性リスクについて、リスク目標を頻繁に違反しました。
• 効率性の向上：
  • 信号のアンサンブル： このフレームワークは、与えられたリスクレベルに対して最も効率的な不確実性信号（例：信頼度、プローブ、EAT）を自動的に選択し、単一信号ベースラインを上回ります。
  • 下限しきい値の影響： 下限しきい値は、特に解けない事例の割合が高いデータセットにおいて、大幅なトークン節約をもたらしました。解けない事例が一般的であるシナリオ（1:1 または 1:3 の比率）では、「上限のみ」のアプローチはトークンを節約できず（最大予算まで実行される）、一方、二重しきい値アプローチは精度 - 計算曲線を著しく左方向にシフトさせました。
• ロバスト性： この手法は分布シフト（例：異なるデータセットの難易度や推論長さ）下でもロバストであり続けましたが、単純な手法は過剰なリスクに苦しみました。

5. 意義と主張

本論文は、コンフォーマル・シンキングが、ヒューリスティックなしきい値調整から解釈可能なリスク管理への必要な転換を提供すると主張しています。任意の信頼度値ではなく、許容される誤り率（リスク許容度）をユーザーが指定できるようにすることで、このフレームワークは適応的推論をより信頼性が高く、展開可能にします。

著者らは、この手法がデコーディングプロセスを再設計したり、完了した軌跡から選択したりするものではなく、進行中の推論に対する事例レベルの停止ルールを提供する点を強調しています。その意義は以下の点にあります：

1. 有限サンプル設定におけるリスク境界の保証。
2. 過剰推論と推論不足の非効率性を同時に解決すること。
3. 厳格な安全性/誤り制約に従いながら、事例の難易度に基づいて計算予算を適応的に割り当てること。

著者らは、リスク関数の単調性に関する仮定や、不確実性信号が明確に定義されている構造化された推論タスク（数学/科学）への現在の制限といった限界を指摘しています。将来的な作業として、エージェントフレームワークや代替のテスト時スケーリング手法への適用が提案されています。