技術要約：潜在的思考ベクトルを用いた推論時の再考（Inference-Time Rethinking with Latent Thought Vectors for Math Reasoning）

1. 問題提起

大規模言語モデル（LLM）における標準的な連鎖思考（Chain-of-Thought: CoT）推論は、単一のフォワードパスを通じて動作するため、モデルは生成される各トークンに対して不可逆的なコミットメントを行います。このアーキテクチャは、宣言的知識（推論計画の内容）と手続き的実行（トークンの構文的な生成）を密結合させてしまいます。その結果、生成過程における初期の誤りがチェックされないまま伝播してしまい、モデルは出力を確定させる前に、自身の推論戦略をバックトラックしたり、批判したり、洗練させたりするための独立したメカニズムを持っていません。

著者らは、効果的な推論には、「何を考えるべきか」（宣言的）と「それをいかに言語化するか」（手続き的）という機能的分離が必要であると主張しています。これは、人間の認知における意味処理（例：ウェルニッケ野）と構文生成（例：ブローカ野）の区別を反映しています。

2. 手法

2.1 潜在的思考ベクトルを備えた生成モデル

提案されたフレームワークは、推論を以下の2つの異なるコンポーネントに分解します：

1. 潜在的思考ベクトル ($z$): 推論戦略の連続的かつ宣言的な表現（「何」を記述するもの）。
2. 手続き的デコーダ: $z$ に条件付けられたトークン列（「いかに」記述するか）を生成する自己回帰型Transformer。

結合モデルは次のように定義されます：
$$p_\theta(x, z) = p_\alpha(z) p_\beta(x|z)$$
ここで、$x$ は基底となるトークン列（質問 + 推論の痕跡）であり、$\theta = (\alpha, \beta)$ はすべてのモデルパラメータを表します。

• 事前モデル ($p_\alpha(z)$): 固定された事前分布を持つ標準的なVAEとは異なり、このモデルは**学習可能な輸送写像（transport map）**を使用します。エンコーダ ($U_\alpha$) が、非構造的なノイズトークン $z_0 \sim \mathcal{N}(0, I)$ を構造化された潜在的思考ベクトル $z$ へと変換します。これにより、その幾何学的構造が有効な推論パターンを反映する、学習された多様体（manifold）が構築されます。
• 思考誘導型ジェネレータ ($p_\beta(x|z)$): $z$ が全レイヤーでクロスアテンションを行うTransformerデコーダです。決定的な特徴として、デコーダは短いコンテキストウィンドウ ($w=64$) を使用します。このアーキテクチャ上のボトルネックにより、モデルは長距離の依存関係を $z$ を通じてルーティングすることを強制され、結果として潜在ベクトルが冗長な局所的コンテキストではなく、グローバルなシーケンスレベルの構造をエンコードすることを強いています。

2.2 学習：二重レート最適化

学習には、インスタンスごとの高速な適応と、グローバルな低速学習を分離する二重レート・スキームを採用しています。

• 高速なローカル更新: 各学習シーケンスに対して、ノイズトークン $z_0$ に関する変分事後パラメータ $(\mu, \sigma^2)$ は、高い学習率を用いた勾配降下法（Adam）によって直接最適化されます。推論ネットワークの学習は行わず、各インスタンスは独自の最適化された潜在表現を保持します。
• 低速なグローバル更新: モデルパラメータ $\theta$（エンコーダおよびデコーダの重み）は、標準的な低い学習率で更新されます。

このアプローチは、事後分布の崩壊（posterior collapse）を回避し、モデルが一般的なスキーマ（$\theta$）を蓄積しつつ、潜在変数によるインスタンスごとの精度を維持することを可能にします。

2.3 推論時の再考（Inference-Time Rethinking）

テスト時、モデルは推論戦略を洗練させるためのギブス・スタイルの反復手順を採用します。質問 $x_q$ が与えられたとき、目標は、生成と内省を交互に行うことで、周辺分布 $p_\theta(x_r|x_q)$ を近似することです。

1. 生成: 現在の潜在的思考 $z^{(t-1)}$ に条件付けられた、候補となる推論の痕跡 $x_r^{(t)}$ をサンプリングします。
   $$x_r^{(t)} \sim p_\beta(x_r | U_\alpha(z_0^{(t-1)}), x_q)$$
2. 内省: 生成された痕跡の尤度を最大化するように、潜在ノイズベクトル $z_0$ を最適化します（これは、変分事後分布と真の事後分布の間のKLダイバージェンスを最小化することと同義です）。
   $$z_0^{(t)} = \arg \min_{z_0} D_{KL}(q(z_0|x_r^{(t)}, x_q) \parallel p_\theta(z_0|x_r^{(t)}, x_q))$$

このループにより、モデルは「再考」することが可能になります。生成された痕跡におけるエラーが洗練された潜在ベクトルへとフィードバックされ、それが次のイテレーションにおいて修正された痕跡を導きます。このプロセスは、変分下界（ELBO）に対する**座標上昇法（coordinate-ascent optimization）**として理論的に裏付けられており、結合事後分布の近似を単調に改善することを保証します。

3. 主な貢献

1. 生成フレームワーク: 宣言的コンテンツ（潜在ベクトル）と手続き的生成を分離した新しいアーキテクチャを提供し、小さなモデルが巨大なモノリシックなアーキテクチャを凌駕することを可能にした。
2. 推論時の再考: テスト時に潜在的思考を反復的に洗練させるギブス・スタイルの手順を導入し、追加の学習データやモデルの再パラメータ化を必要とせずに自己修正を実現した。
3. 実証的検証: 推論時の計算量（inference-time computation）が、パラメータ数とは独立した極めて効果的なスケーリング軸であることを示した。

4. 実験結果

著者らは、GSM8K-Augデータセット（385K例）を用いて、0.2Bパラメータのモデルをスクラッチから学習させ、3つのベンチマーク（GSM8K（インドメイン）、SVAMP（アウトオブドメインの表面的な変化）、MultiArith（多段階推論））で評価しました。

• パフォーマンス: 30回の再考イテレーションを行ったRethink-30モデルは、以下の成績を収めました：
  • GSM8Kにおいて 31.54%（3BのCoT-SFTモデルの22.70%および2BのMARCoSの24.11%を上回る）。
  • SVAMPにおいて 51.50%（2BのMARCoSの27.77%に対し）。
  • MultiArithにおいて 68.00%（2BのMARCoSの42.33%に対し）。
• 効率性: たった1回のパス（Rethink-1）であっても、10〜15倍のパラメータ数を持つほぼ全てのベースラインを上回りました。
• 汎用性: 潜在ベクトルが表面的なトークンの変動を抽象化できる能力により、アウトオブドメインのベンチマークにおいても高い堅牢性を示しました。

5. 意義と主張

本論文は、効果的な数学的推論は、膨大なパラメータ数のみからではなく、洗練された推論時の計算から創発し得ると主張しています。

• 直交するスケーリング: これらの結果は、「長く考える（反復的な洗練に計算量を投じる）」ことが、モデルサイズの増大を補完する強力なスケーリング軸であることを示唆しています。
• 認知的整合性: 宣言的な計画と手続き的な実行を分離することで、モデルは人間の認知メカニズムを模倣し、決定を下す前に思考を検査し、修正することを可能にします。
• プロキシとしての尤度: 著者らは、近年のエキスパートによるデモンストレーションで訓練された場合、尤度のランドスケープが自然に妥当な論理パスを優先すると仮定しています。したがって、生成された痕跡の尤度を最大化するように潜在ベクトルを最適化することは、モデルを正しい推論戦略へと導くことに効果的です。

著者らは限界についても言及しており、特に尤度を正解のプロキシとして用いることは、訓練データが高品質であることを前提としているため、ノイズの多い環境ではこの相関が弱まる可能性があり、将来的には外部の検証信号が必要になる可能性があるとしています。