技術的概要：補助粒子パワースampling (APPS)

1. 問題定義

本論文は、大規模言語モデル (LLM) における「学習なし推論」のボトルネックに対処する。ベース LLM はしばしば、正しい多段階解に対して非自明な確率質量を割り当てるが、有限の計算予算下で推論中にこれらのモードを効率的に特定する課題が残る。

既存のアプローチは特定の限界に直面している：

• 局所的な鋭化 (Local Sharpening): 低温サンプリングは局所的に質量を集中させるが、視野が狭く、数ステップ後にのみ顕在化する誤りを修正できない。
• シーケンスレベルのパワースampling: 大域的に鋭化された分布 $p^{(\alpha)}(x) \propto p(x)^\alpha$ ($\alpha > 1$) を標的とするアプローチは理論的には優れているが、近似が困難である。Best-of-N 選択は間接的な代理指標であり、マルコフ連鎖モンテカルロ (MCMC) 法は、繰り返し接尾語を再生成するため、高いウォールクロックオーバーヘッドを伴う。
• スケーラブルな代替手段: 最近の手法は反復的 MCMC を先読みロールアウトに置き換えるが、推論の負担を分岐点へシフトさせ、コンテキストが長くなるにつれて分岐コストが高くなる。

識別された核心的な難点は、プレフィックスの品質がその即時の尤度だけで決定されるわけではないことである。それは、現在の状態から到達可能な残りのパワート付き確率質量を測定する接尾語正規化因子 (suffix normalizer)（将来値）$z_t$ に依存する。$z_t$ を無視すると、局所的には非最適に見えるが下流で高い可能性を秘めるプレフィックスが早期に排除されたり、局所的に鋭いが行き止まりにつながるプレフィックスが過剰に増幅されたりする可能性がある。

2. 手法：補助粒子パワースampling (APPS)

著者は、シーケンシャルモンテカルロ (SMC) の視点の中でパワースampling を再定義し、補助粒子パワースampling (APPS) を導入する。APPS は、学習不要かつ検証器不要のアルゴリズムであり、有界な部分軌道（粒子）の集団を用いてシーケンスレベルのパワーターゲットを近似する。

中核メカニズム

APPS はトークンのブロック単位で動作し、推論プロセスを 2 つの明確なコンポーネントに分離する：

1. 提案補正伝播 (The Backbone):

   • 粒子はブロック単位で進化し、各ステップで、扱いやすい提案分布 $q$ から新しいブロックが提案される。
   • 粒子は、パワート付きモデル尤度と提案尤度の差に基づいて、増分的な対数重みを受け取る：$\Delta \log w = \alpha \log p(b_j | \dots) - \log q(b_j | \dots)$。
   • このバックボーンは、伝播中に将来値推定を必要とすることなく、粒子集団が局所パワファクター $p(b_j)^\alpha$ を追跡することを保証する。

2. 将来値ガイド選択 (The Innovation):

   • 重要な洞察は、次のブロックの真の境界法則が接尾語値 $z_{j+1}$ に依存することである。
   • APPS は、$z_{j+1}$ を近似する選択ポテンシャル $\psi$ を導入する。このポテンシャルはトークン生成中ではなく、リサンプリング境界でのみ注入される。
   • 選択重みは拡張される：$\log \tilde{w} = \log w + \eta \log \psi$。
   • リサンプリングは有限の粒子予算を再配分する：下流での可能性が強い（$\psi$ が高い）プレフィックスは表現を維持し、崩壊した領域は破棄される。

選択ポテンシャルの 2 つの実現

論文は、$\psi$ を推定する 2 つの方法を提案する：

1. ロールアウト選択ポテンシャル: リサンプリング境界において、システムは各アクティブな粒子から短い独立した先読みロールアウト（ホライズン $H$）を開始する。これらの継続のパワート付き品質を集約して $\psi$ を推定する。これはベースモデルから直接導出されるクリティックフリーな推定である。
2. 学習済み選択ポテンシャル: ロールアウトのコストを償却するため、境界におけるモデルの隠れ状態からロールアウトベースの選択信号を予測するように、軽量な MLP ヘッドをオフラインで訓練する。推論時には、このヘッドが明示的なロールアウトに代わり、境界あたりのコストを $O(P \cdot R \cdot H)$ から $O(P)$ に削減する。

動的割り当て

APPS には、境界でアクティブな集団サイズ ($P_j$) を適応させるメカニズムが含まれる。境界が「曖昧」（選択重みにおけるエントロピーが高い）の場合、集団サイズは維持または増大される。集団が崩壊した場合（エントロピーが低い）、予算は削減される。これにより、計算が未解決の分岐に集中し、均等に消費されることを防ぐ。

3. 主要な貢献

• APPS アルゴリズム: 提案補正重み付けと適応的リサンプリングを組み合わせることで、有限予算下でパワード分布を近似するブロック単位粒子アルゴリズム。
• 選択時将来値: ロールアウトまたは学習済みヘッドを介して接尾語正規化因子 $z_t$ の推定値を、厳密にリサンプリングステップで注入する原理的な手法。これにより、安定した局所提案法則を変更することなく、有限の集団質量の再分配を精緻化する。
• 有限予算集団割り当て: リサンプリングが時間経過に伴う計算の流れを支配する推論の視点。これにより、単一の選択法則内で効果性と効率性が結合される。
• 償却済み将来値: ロールアウト信号を蒸留する軽量な学習済みヘッド。これにより、反復的なオンラインシミュレーションなしに高速な将来値ガイドを可能にする。
• 理論的分散低減: 著者は、真の接尾語正規化因子と相関する選択ポテンシャルが、ターゲットと実効提案分布との間の $\chi^2$ 発散を低減し、したがって所定の近似品質に必要な粒子数を削減することを証明する。

4. 実験結果

著者は、3 つの推論ベンチマーク（MATH500、HumanEval、GPQA-diamond）において、3 つの 7B モデルファミリー（Qwen2.5-Math、Qwen2.5、DeepSeek-Math）を使用して APPS を評価した。

• ベースラインとの性能比較: APPS (p-only) は、最近の学習不要パワースampling ベースライン（例：Scalable Power Sampling、MH-MCMC）と競争力があり、特に大きな粒子予算ではそれらを凌駕することが多い。
• 将来値の影響: 明示的な将来値ガイド（ロールアウトまたは学習済みポテンシャルを介して）は、p-only ベースラインに対して一貫して精度を向上させる。
  • ロールアウト APF: MATH500 や GPQA において特に高い精度を実現し、正しさと整合するオンライン将来値推定が極めて有効であることを確認する。
  • 学習済み APF: 安定した、ランタイム効率的な代理指標として機能する。反復ロールアウトの高コストを回避しつつ、ロールアウトの性能（特に HumanEval や GPQA で）を密に追跡することが多い。
• 動的割り当て: APPS が有用であるために厳密に必須ではないが、動的割り当ては、粒子を未解決の分岐に集中させることで、性能を犠牲にすることなくウォールクロック時間を削減し、ランタイムと精度のトレードオフを改善する。
• ポストトレーニングとの比較: 選択された設定において、APPS はモデル重みを変更することなく、ポストトレーニングモデル（例：GRPO）と驚くほど近い性能を達成する。これは、ポストトレーニングに起因するいくつかの改善が、忠実なパワ近似を通じて推論時に回復可能であることを示唆する。

5. 意義と主張

本論文は、ポストトレーニングに起因することが多い推論上の改善の非自明な部分が、推論時におけるより忠実なパワ近似を通じて達成可能であると主張する。安定した局所伝播と大域的将来値選択を分離することで、APPS は透明なスケーリングノブ（粒子数）と予測可能なメモリ使用量を提供する。

著者は、APPS を標準デコーディングとポストトレーニングの間のギャップを埋める手法として位置づける。これは標準デコーディングよりも実質的に正確であり、最近の学習不要ベースラインと競争力があるかそれ以上であり、特定の領域では、再トレーニングのコストや外部検証器モデルの必要性なしに、ポストトレーニングの性能に近づく。この研究は、ベースモデルに正しい解が含まれており、主要な課題はそれらを特定するための有限計算の効率的な割り当てであるという見解を強化する。