技術要約: MarkovScale

問題提起

推論時のスケーリングは、モデルのパラメータを変更せずに大規模言語モデル（LLM）の推論能力を向上させる有望なパラダイムとして台頭していますが、**逐次的なスケーリング（sequential scaling）**手法（例：Chain-of-Thought、Multi-Round Thinking）は、並列的なアプローチと比較して、性能向上が緩やかな傾向にあります。現在の逐次的な手法は、ヒューリスティックで非原理的な戦略に大きく依存しています。その結果、性能の境界に関する閉形式の式を導出することが困難であり、スケーリングが精度向上に寄แก่となる条件と、精度低下（例：「考えすぎ（overthinking）」）を招く条件を正確に理解することも困難です。このような理論的根拠の欠如は、リソース使用の非効率性と、精度とトークン消費量の間の予測不可能なトレードオフをもたらしています。

手法

本論文は、逐次的なスケーリングプロセスを2状態離散時間マルコフ過程としてモデル化する、MarkovScaleという原理的なフレームワークを提案しています。

1. 理論的定式化

• 状態の定義: システムは、反復 $i$ におけるLLMの回答の正誤を、状態 $X_i \in \{C, W\}$（Correct: 正解 または Wrong: 不正解）としてモデル化します。
• 遷移ダイナミクス: プロセスは2つの遷移確率によって制御されます：
  • $a$: 正解から不正解への遷移確率（$C \to W$）。
  • $b$: 不正解から正解への遷移確率（$W \to C$）。
• 収束解析: 初期ゼロショット確率 $p_0$ を組み込むことで、著者らは任意の反復 $i$ における正解確率 $p_i$ の閉形式解を導出しています。この解析により、プロセスは固定点 $L = \frac{b}{a+b}$ に収束することが明らかになります。これは、無制限の逐次的スケーリング下におけるモデル固有の精度限界を表しています。
• 有益なスケーリングの基準: 本論文は、スケーリングが有益であるかどうかを判断するための閉形式の条件（定理 III.1）を確立しています。スケーリングが性能を向上させるのは、初期ゼロショット精度 $p_0$ が、遷移確率とロバストネス・マージン $\sigma$ によって定義される閾値よりも低い場合、かつその場合に限られます：$p_0 < \frac{b}{a+b} + \sigma$。

2. 実装の詳細: MarkovScale

理論的境界に基づき、著者らは2つのバリアントを持つ実用的なシステムを開発しました。

• MarkovScale$^\dagger$ (ゲーティング戦略): 選択的なスケーリング手法であり、初期の回答が既に正しい可能性が高い（閾値を満たす）質問に対しては、逐次的な洗練プロセスを完全にバイパスし、トークンを節約します。
• MarkovScale$^*$ (最適停止): 精度を最大化しつつトークン使用量を最小化するための最適化戦略です。これは、オフラインで学習された事前分布によって初期化され、検証器のスコア（例：プロセス報酬モデル）によって洗練されるベータ分布を用いて、推論中に正解確率を動的に更新する**最大事後確率（MAP）**推定を採用しています。
• MarkovScale$^0$ (学習フリー): オフライン学習を回避し、ヒューリスティックな事前分布と初期推論ラウンドからの統計的推定を用いるバリアントであり、特定のトレーニングのオーバーヘッドなしに多様なモデルに適応可能です。

主な貢献

1. 原理的な定式化: 本論文は、逐次的スケーリングのための初の離散時間2状態マルコフ定式化を導入しました。これにより、スケーリングのダイナミクスを確率的に特徴付け、性能収束の解析的な予測、および理論的な上限、中立、下限の導出が可能になりました。
2. 性能の特性化: 解析により、スケーリングの有効性は、モデル固有の推論能力（遷移確率）と質問の難易度（ゼロショット精度）の相互作用によって決定されることが特定されました。これにより、最適な停止点の早期計算と、スケーリングが有害となる明確な基準の算出が可能になります。
3. 実用的システム (MarkovScale): 著者らは、これらの最適化基準を適用して、理論に基づいた精度と効率性のバランスを実現するフレームワークを実装しました。このシステムには、有害なスケーリングをフィルタリングするためのゲーティングメカニズムと、不要な反復を防止するための最適停止基準が含まれています。

実験結果

本フレームワークは、3つのバックボーンLLM（DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B、およびQwQ-32B）と5つの推論ベンチマーク（MATH-500、GSM8K、AIME 2024/2025、AMC 2023）を用いて評価されました。

• 精度の向上: MarkovScaleは、最新の並列手法（例：Best-of-N、Self-Consistency）および逐次的手法（例：MR-Thinking、Atom of Thoughts）を一貫して上回りました。例えば、DeepSeek-R1-Distill-Llama-8Bにおいて、ベースラインに対して平均**19.7%**の精度向上を達成しました。
• 効率性: この手法は大幅なトークン節約を実現しました。MATH-500において、MarkovScaleは97%の精度を達成しながら、MR-Thinkingベースラインと比較して約70%のトークンを節約しました。
• 堅牢性: システムは、変動するスケーリング予算（$N \in \{8, 16, 32, 64\}$）およびモデルスケール（7Bから32B）にわたって、最先端の性能を維持しました。
• 理論的検証: 実験結果は理論的予測と密接に一致しており、予測された収束精度と実際の精度の間の平均絶対誤差（MAE）は**2.88%**でした。本手法は一貫して理論的な上限に接近しており、性能限界を評価する上でのマルコフ定式化の能力を検証しました。

意義と主張

本論文は、MarkovScaleがLLMにおける最適かつリソース効率の高い推論に向けた重要な一歩であることを主張しています。ヒューリスティックなアプローチから脱却することで、逐次的スケーリングのダイナミクスを理解するための初の理論的基礎を提供しています。このフレームワークは性能を向上させるだけでなく、以下のメカニズムを提供します：

• 大規模な実験を行う前に、モデルの収束挙動を予測する。
• スケーリング戦略が理論的な最適値にどの程度近いかを定量化する。
• スケーリングが有害になることを特定し、停止させることで、「考えすぎ」現象に体系的に対処する。

著者らは、本研究を理論的な統計的基礎と実用的な推論時最適化の架け橋として位置づけており、LLMの推論能力を強化するための汎用的なアプローチを提示しています。