技術的サマリー：予算効率的思考（BET）

問題定義

OpenAI-o1 や DeepSeek-R1 などの大規模推論モデル（LRM）は、拡張された多段階推論を通じて問題解決能力を向上させる。しかし、この能力は持続不可能な推論時コストを伴う。本論文で特定された重要な非効率性は、テスト時計算リソースの誤配分である。既存の効率化手法は通常、以下の 2 つのカテゴリに分類される：

1. 均一圧縮: 推論トレースを全体的に短縮するか、思考の連鎖を圧縮する手法。これらは、難易度が高くても解決可能なクエリにおける生産的な探索を抑制することが多い。
2. 難易度条件付き制御: 認識されたクエリの難易度に基づいて推論の深さを調整する手法。これらは、「難易度が高くても解決可能なクエリ」（より深い推論の恩恵を受ける）と「事実上解決不可能なクエリ」（予算に関わらずモデルに能力が欠如している）を区別できずに失敗することが多い。

核心的な問題は、現在の手法に解決可能性の認識（solvability awareness）が欠如していることである。これらは、モデルの能力を超えたクエリ（徒労の探索）に多大な計算リソースを浪費する一方で、十分な投資があれば解決可能な難問における推論を过早に切断してしまう。課題は、単に認識された難易度ではなく、推論の期待リターンに基づいてテスト時計算リソースを配分することである。

手法：予算効率的思考（BET）

著者は、テスト時計算リソースを不確実性下での計算投資として扱うフレームワークである**予算効率的思考（BET）**を提案する。BET は、以下の 3 つの異なる振る舞いを学習することを目的とする：

1. Short Solve（短縮解決）: 簡単なクエリを簡潔に回答する。
2. Nice Fold（早期断念）: 継続的な推論の期待リターンがほぼゼロである場合（すなわち、現在のポリシーではクエリが解決不可能である場合）、早期に断念する。
3. Hero Call（決断的投資）: より深い推論が回答を変えうる、難易度が高くても解決可能なクエリに対して十分な計算リソースを温存する。

中核コンポーネント

BET は、解決可能性はポリシーに依存するという原則に基づいて動作する。あるクエリは現在のポリシーでは解決不可能でも、より能力の高いポリシーでは解決可能となりうる。したがって、BET は静的な難易度ラベルに依存するのではなく、モデル自身の振る舞いから動的に解決可能性を推定する。

このフレームワークは 2 つの段階で構成される：

1. 行動的コールドスタート（教師あり微調整）

• 目的: 必要な構造化出力形式と行動のレパートリーを備えたポリシーを初期化する。
• プロセス: モデルは、ベースモデルのオフラインプロファイリングから派生したキュレーションされたデータセットで微調整される。クエリは以下のように分割される：
  • Short Solve: 低コストで効率的に解決可能なクエリ。
  • Hero Call: 高コストだが効率的に解決可能なクエリ。
  • Nice Fold: ベースモデルが $K$ 回のロールアウトで正しい解を生成できないクエリ。
• 出力: モデルは、推論トレースを生成する前に、解決可能性推定値（$\hat{s}$）と予算推定値（$\hat{b}$）を含む構造化された <predict> ブロックを出力することを学習する。

2. 投資コスト認識トレーニング（GRPO）

• 目的: 解決または断念の決定を実証的な解決可能性と整合させるようにポリシーを最適化する。
• メカニズム: 著者はグループ相対方策最適化（GRPO）を採用する。各クエリに対して、ポリシーは $K=16$ の独立したロールアウトを生成する。
• グループプロファイル: これらのロールアウトから、オンラインで 2 つの統計量が計算される：
  • グループ成功率（$\hat{s}(x)$）: 正しいロールアウトの割合であり、解決可能性の推定値として機能する。
  • 効率的解コスト（$\hat{c}^*(x)$）: 最短の正しい軌道の平均長さ（例：上位 30%）であり、生産的な推論のコスト上限を表す。
• 複合報酬関数: 報酬 $R(y|x)$ は、以下の 3 つの項で構成される：
  • $R_{VAL}$（断念ゲート付き価値）: 解決不可能なクエリ（$\hat{s}(x) < \epsilon_{abs}$）で断念した場合に正の報酬（$+\delta$）を与え、解決可能なクエリで断念した場合に重いペナルティ（$-\lambda$）を与える。誤った試行にはコストに比例したペナルティが科される。
  • $R_{EFF}$（クエリ適応型効率）: 効率的コスト推定値 $\hat{c}^*(x)$ より短い正しい解に対して報酬を与える。これにより、簡単なクエリでは簡潔さを促しつつ、難易度が高くても解決可能なクエリでは必要な深さを罰しないようにする。
  • $R_{CAL}$（解決可能性較正）: モデルが予測する解決可能性/予算と、実証的なグループプロファイルとの不一致にペナルティを与える。これにより、モデルの推論前推定値が現実に基づいたものになることを保証する。

主要な貢献

1. 解決可能性認識診断: 既存の適応的推論手法は解決可能性を見落としており、能力を超えたクエリへの過剰な計算リソースと、難易度が高くても解決可能なクエリへの過小投資を招いていることを特定。
2. 投資認識トレーニング（BET）: 行動的コールドスタートと複合報酬下での GRPO を組み合わせた 2 段階フレームワーク。ロールアウトから導かれた解決可能性と決定を整合させることで、3 つの目標振る舞い（Short Solve, Nice Fold, Hero Call）を誘発する。
3. 大規模な証拠: BET がトークン使用量を削減しながら精度を維持または向上させ、ドメイン外タスクにも汎化することを示す広範な実験。

実験結果

著者は、3 つのベースモデル（Qwen3-4B、DeepSeek-R1-Distill-7B、および 14B）を用いて、7 つのベンチマーク（4 つのドメイン内数学、3 つのドメイン外）で BET を評価した。

• 効率性と精度: 全てのモデルにおいて、BET は推論トークンを平均して約55% 削減し、全体として性能向上を達成した。
  • Qwen3-4B において、Omni-Math の精度は 73.64% から 74.41% に向上し、トークンは 10,516 から 4,561 に減少した。
  • DeepSeek-R1-Distill-7B において、BET は最良の精度から 0.54 ポイント以内の範囲で、平均トークンコストを最小化した。
• 選択的圧縮: 均一に圧縮するベースラインとは異なり、BET は解決不可能なクエリでのトークンを選択的に削減し（これらのケースで使用量を90% 以上削減）、価値あるクエリでは深さを維持する。
• ゼロショット転移: 数学的推論のみでトレーニングされた BET は、科学的 QA（GPQA-Diamond）、多段階ナラティブ推論（MUSR）、論理的推論（LSAT-AR）へ効果的に転移し、同程度の精度向上を伴って53–59% のトークン削減を達成した。
• パレートフロンティア: BET は、精度と効率性のトレードオフのパレートフロンティア上に位置し、Length-Penalty、DR.SAF、DiffAdapt などのベースラインを上回る。

意義と主張

本論文は、BET が難易度条件付き圧縮から解決可能性認識予算投資への転換を表すと主張する。リターンが不確実な投資として計算リソースを扱うことで、モデルは以下を学習する：

• 期待リターンがゼロのときに早期に停止する（Nice Fold）。これにより徒労の探索を防ぐ。
• クエリが解決可能であり、推論が回答を変える可能性が高い場合のみ深く投資する（Hero Call）。
• 解決策が明快な場合は簡潔にする（Short Solve）。

著者は、「Nice Fold」の振る舞いが本質的な不可能性の主張ではなく、ポリシー依存の断念であることを強調する。これは、現在のモデルと予算の下では、さらなる推論が正しい回答をもたらす可能性が低いことを示す信号である。この能力認識型の不確実性は、カスケードシステムにおいて難問をより強力なモデルへルーティングするために活用でき、システムレベルの効率性を最適化できる。

この研究は、BET が精度とコストのトレードオフを調整可能（例：折損報酬 $\delta$ を通じて）なポリシーファミリーを提供し、問題解決能力を犠牲にすることなくテスト時計算リソースを管理するための原理的なアプローチを提供すると結論付けている。