技術的概要：幾何推論者（TGR）

問題定義

推論時の計算リソースをスケーリングすることは、長い思考連鎖（CoT）経路を通じて大規模言語モデル（LLM）の推論能力を強化する上で効果的であることが証明されている。しかし、既存のアプローチは、計算コストと経路カバレッジの質との間で根本的なトレードオフに直面している。

• トレーニング集約型手法: 強化学習（RL）や選好最適化（例：GRPO、SimKO）は、長期的な制御をモデル重みに均質化する。単一サンプルの精度については効果的であるが、これらの手法は膨大なトレーニング計算リソースを必要とし、経路分布の崩壊（クラプス）を招き、多様性を低下させるリスクがある。
• トレーニングフリーのサンプリング: 標準的なサンプリング戦略（例：Power Sampling、Tree of Thoughts）は、再トレーニングなしで計算リソースとカバレッジを交換する。しかし、追加のサンプルが依然として高い相関性を示すため、追加サンプルによる便益が逓減し、独立した有効な経路の集合を拡大できないという欠点がある。
• メモリ制約: アテンション機構の二次的な複雑さと KV キャッシュのメモリフットプリントが、実用的な展開におけるボトルネックとなっている。厳密なメモリ制約下では、単純な長期的探索は扱いが困難である。

prohibitive なメモリコストやトレーニング費用を伴わずに、制御可能な探索と堅牢なカバレッジを達成するために計算リソースを動的に割り当てる、トレーニングフリーの推論時検索手順が緊急に必要とされている。

手法：幾何推論者（TGR）

幾何推論者（TGR）は、多様体情報に基づく潜在先見探索を実行するトレーニングフリーのフレームワークである。これは、高次元空間で脆くなる硬直的な制約を回避し、潜在多様体上の経路探索として推論を扱う。

中核アーキテクチャ

1. KV リセットを伴うチャンク推論: TGR は推論を固定長のチャンクに分割する。各チャンクの境界において、KV キャッシュのリセットを行い、境界線前の履歴を破棄しつつ、有界な明示的コンテキスト（クエリ＋最近のトークン）からプレフィックスキャッシュを再構築する。これにより、メモリ使用量は総推論範囲に関わらず、チャンク長に対して線形（$O(S)$）に保たれる。
2. 潜在状態アンカー: 学習された状態遷移や外部検証器に依存する代わりに、TGR はチャンク境界における隠れ状態からコンパクトな単位ノルム潜在アンカー（$z_t$）を抽出する。これらのアンカーは状態の要約として機能し、チャンクのリセットを越えて長距離情報を伝達する。
3. 先見探索: 各境界において、TGR は現在の状態の局所近傍から $K$ 個の候補アンカーをサンプリングする（単位球面上の接空間摂動を介して）。次に、次のチャンクを生成する前に、ソフト幾何スコアリング関数を用いてこれらの候補を評価する。

スコアリング目的関数

候補は、3 つの要因をバランスさせる複合スコアを最大化することで順位付けされる：
$$\text{Score}(a; c, z) = V_{\text{fore}}(a; c) - \lambda_b P_{\text{bum}}(a; c) - \lambda_u P_{\text{uni}}(a; z)$$

• 先見価値（$V_{\text{fore}}$）: 浅いロールアウト（$s \ll S$ トークン）を通じて計算される軽量な先見推定値である。これは外部報酬モデルなしで即時的有用性の代理として機能し、候補の対数尤度の一貫性を測定する。
• バンプネスペナルティ（$P_{\text{bum}}$）: 潜在経路における高周波変動（離散二次差分）にペナルティを課す正則化項である。これは、チャンク間の滑らかで一貫性のある遷移を促進する。
• 均一性正則化項（$P_{\text{uni}}$）: 候補が直前のアンカーに過度に集積することを抑制する反発力（ヒンジペナルティ）である。これは多様な探索を促進し、モードクラプスを防止する。

アンカー条件付け

選択されたアンカーは、すべてのトランスフォーマー層において低ランク残差注入を介して凍結されたバックボーン LLM に注入される。これにより、モデルはパラメータの更新やアーキテクチャの変更を必要とせずに、選択された潜在状態に基づいて生成を条件付けることができる。

主要な貢献

1. 多様体情報に基づく潜在先見探索: TGR は、ソフト幾何目的関数を用いてチャンクレベルの潜在アンカーをスコアリングするトレーニングフリーのフレームワークを導入する。これにより、パラメータの更新なしで制御可能な探索と堅牢な経路カバレッジを可能にする。
2. 予算効率の高い堅牢性: このフレームワークは、難易度の高い数学およびコードベンチマークにおいて、堅牢な経路カバレッジ（Pass@k 曲線下面積、AUC によって測定）を大幅に改善する。Qwen3-8B において、TGR は無視できる推論オーバーヘッド（約 1.1–1.3 倍）で最大13 ポイントの AUC 向上を達成する。
3. 硬幾何の限界: 本論文は、硬い幾何フィルタリング（厳密な実現可能性制約）が、測度の集中により高次元潜在空間において受入率の消失に陥ることを実証する。TGR は、拒否サンプリングの prohibitive なコストなしに幾何的バイアスを維持するスケーラブルな代替手段として、ソフト幾何正則化を確立する。

実験結果

TGR は、数学的推論（MATH500、AIME25、OlympiadBench、OmniMath）およびコード生成（HumanEval、BigCodeBench、LiveCodeBench）のベンチマークにおいて、Qwen3-8B モデル上で評価された。

• 性能: TGR-Latent は、トレーニングフリーのサンプリング（Power Sampling）やトレーニング集約型の RL アプローチ（LCoT-GRPO、Delethink）を含むベースラインを常に上回る。最高レベルの AUC スコアを達成し、独立した有効な解決経路を生成する能力が優れていることを示している。
• 効率性: TGR は、RL 調整済みベースラインと同等かそれ以上の性能を達成しながら、総フォワードトークン数を削減する（例：数学タスクにおいて一部の RL ベースラインより 18% 少ないトークン）。
• 多様性: 潜在幾何の分析により、TGR が分散したアンカー分布を維持するのに対し、RL 調整済みベースラインは狭く相関した円錐形に収束する傾向があることが示された。この多様性を維持する上で均一性項は決定的に重要である。
• スケーラビリティ: この手法はモデルスケール（1.7B から 14B）全体にわたって一般化し、総範囲が固定されていれば、チャンク長のばらつきに対しても堅牢である。

意義と主張

本論文は、長期的推論における堅牢なカバレッジは、必ずしも高価なトレーニングを通じて均質化される必要はないと主張する。代わりに、それは構造化された潜在空間探索を通じてオンザフライで誘発され得る。

• 制御とトレーニングの分離: 幾何的ガイダンスを推論時の制御層として外部化することで、TGR は先見価値、一貫性、多様性の間のトレードオフを調整するための調整可能なノブを提供する。これは、経路分布が残留的な柔軟性を保持するモデル（例：SFT のみのモデル）において特に効果的である。
• ソフト制約対ハード制約: この研究は、高次元空間においてソフト幾何ペナルティが、受入率の指数関数的な崩壊を回避しつつ、探索を一貫性があり多様な経路へと誘導する点で、硬い実現可能性フィルタリングよりも優れていることを浮き彫りにする。
• 実用的展開: TGR は、固定またはわずかに増加した計算予算において推論能力を強化する道筋を提供し、新しいモデルのトレーニングが不可能なプログラミング支援などのアプリケーションに適している。

著者は、ロールアウトによる推論レイテンシの増加や、隠れ状態へのアクセスが必要であること（非公開の API には適さない）などの限界を指摘している。しかし、このフレームワークは、効率的でトレーニングフリーの長文脈推論に向けた重要な一歩を表している。