技術要約：Latent Thought Flow (LTF)

問題提起

大規模言語モデル（LLM）は、複雑なタスクを解決するために、思考の連鎖（Chain-of-Thought; CoT）のような中間的な推論プロセスにますます依存するようになっています。しかし、明示的なCoTは言語空間のボトルネックに直面しています。すなわち、あらゆる中間的な思考が離散的なトークンへとデコードされなければならず、それが膨大な推論オーバーヘッドを招き、内部計算を潜在的に冗長なテキスト形式へと制約してしまうのです。これにより、精度と効率性の間に本質的なトレードオフが生じています。

潜在的推論（連続的な隠れ状態空間内での計算実行）は、このボトルネックに対する解決策を提供しますが、既存の手法は主に決定論的なパスを学習するか、固定された予算の下で報酬最大化を最適化することに主眼を置いています。これらのアプローチには、正確性と計算コストの両方において変動する推論軌道に対して、確率質量を割り当てるための原理的なメカニカズムが欠けています。その結果、明示的な根拠（rationale）の冗長性を引き継いでしまったり、少数の高報酬モードへと崩壊したりして、精度と効率性のバランスを取ることに失敗することがよくあります。

手法：Latent Thought Flow (LTF)

著者らは、推論をLLMの潜在空間における可変長かつ連続的な軌道としてモデル化するフレームワークであるLatent Thought Flow (LTF)を提案します。LTFは、回答の質と計算コストのバランスを取る報酬誘導型事後分布に一致するようにサンプラーを訓練します。

コア・コンポーネント

1. 可変長潜在軌道 (Variable-Length Latent Trajectories):
   決定論的なトークンの代わりに、LTFは軌道 $\tau = (z_{1:T}, \perp)$ をサンプリングします。ここで、$z_t$ は連続的な潜在思考状態であり、$\perp$ は適応的な停止決定です。モデルは、最終的な回答を生成する前に、内部で「どの程度」推論すべきかを学習します。この軌道は、潜在推論ヘッドによってパラメータ化されたガウス・ポリシー $q_\phi$ からサンプリングされます。

2. 報酬比例ターゲット分布 (Reward-Proportional Target Distribution):
   LTFは、回答の質 ($V_{x,y}$) と計算コスト ($C(\tau)$、通常は軌道の長さ) を組み合わせた効用関数 $R_{x,y}(\tau)$ を定義します。目標は、軌道の確率が報酬に比例するようなサンプラーを学習することです：
   $$p^*(\tau | x, y) \propto R_{x,y}(\tau)$$
   これにより、モデルは簡潔かつ正確なパスに確率質量を集中させ、冗長または誤ったパスを抑制することを促進します。

3. 連続型 GFlowNet オブジェクト (Continuous GFlowNet Objective):
   この分布を学習するために、LTFは連続型 GFlowNetを実装します。強化学習（RL）が期待報酬を最大化しようとする（しばしばモード崩壊を招く）のに対し、GFlowNetは、終端サンプルが報酬に比例するような確率的ポリシーを学習し、多様で高効用な解を保持します。

   • 課題: 潜在思考は連続的であるため、離散的なトークンレベルのバランス方程式を適用することができません。
   • 解決策: LTFは、任意のステップで停止し、回答をデコードして報酬を受け取ることを可能にすることで、Subtrajectory Balanceを連続空間に適応させます。これにより、すべてのプレフィックス状態に対して解析的にフローを計算します。

4. エントロピー加重 Subtrajectory Balance (EW-SubTB):
   疎な回答監督（sparse answer supervision）に対処し、探索を導くために、LTFはエントロピーを考慮した加重メカニズムを導入しています。これは、潜在的なサブ軌道の微分エントロピーに基づいて、Subtrajectory Balance の残差を再重み付けするものです。これにより、報酬比例のターゲット分布を変更することなく、情報拡散が豊かな高エントロピー領域に対してより強力な監督を適用することを可能にします。

5. 参照事前分布レギュラライザ (Reference-Prior Regularizer):
   連続潜在空間におけるランダムな探索が、意味のない状態へと漂流するのを防ぐため、LTFは教師生成された推論トレース（利用可能な場合）から導出された参照事前分布を使用します。これにより、初期の探索を意味のある潜在領域に固定し、その後のGFlowNetによる報酬が、精度と効率性の両方に向けられるようサンプラーを再形成します。

主な貢献

• 推論を「フロー」として定式化: 本論文は、潜在的推論を、決定論的なパスの最適化ではなく、可変長の連続的な軌道に関する分布一致問題として再定義しました。
• LLMのための連続型 GFlowNet: 高次元の連続潜在空間を持つLLMに対してGFlowNet理論を拡張し、正確かつ効率的な多様な推論パスの保持を可能にしました。
• 新規な学習目的関数: エントロピー加重 Subtrajectory Balanceと参照事前分布レギュラライザの導入により、連続潜在空間における疎な監督と不安定な探索という特有の課題に対処しました。
• 適応的計算: このフレームワークにより、モデルが計算予算を動的に割り当てることが可能になり、簡単な問題には短い軌道を、難しい問題には長い軌道を割り当てることができます。

実験結果

実験は、数学的推論（GSM8K-Aug, ASDiv-Aug, DU, MATH）および転移学習タスクにおいて、複数のLLMバックボーン（LLaMA-3.2 1B/3B, LLaMA-3.1 8B, DeepSeek-R1 Distill-Qwen 1.5B）を用いて実施されました。

• 明示的CoTとの比較: LTFは、明示的なCoT手法と比較して、精度を維持または向上させつつ、推論の長さ（デコーディングのオーバーヘッド）を大幅に削減しています。
• 潜在的推論のベースラインとの比較: 強力な潜在的推論のベースラインである CoLaR および ReGuLaR と比較して：
  • ファインチューニング: LTFは平均精度を 12.9% 向上させると同時に、推論の長さを 34.5% 短縮しました。
  • 転移学習: LTFは平均精度を 6.0% 向上させ、推論の長さを 19.9% 短縮しました。
  • 具体的な利得: LLaMA-3.2 1Bを用いたGSM8K-Augにおいて、LTFは精度を34.58% (ReGuilaR) から37.09%に向上させ、推論ステップ数を3.69から3.34に削減しました。
• 極限圧縮: 極限圧縮設定（例：MATHデータセット）においても、LTFは一貫してベースラインを上回り、タスクに関連する意味情報を保持する優れた能力を示しました。
• アブレーション研究: アブレーション研究により、エントロピー加重 Subtrajectory Balanceが、長さの増加を最小限に抑えつつ精度を向上させることが確認されました。また、GFлоNetベースの目的関数が、標準的なRL目的関数（GRPOなど）よりも優れた精度と効率のトレードオフを提供することが示されました。

意義と主張

本論文は、LTFがLLMの推論における新しい精度–効率のフロンティアを確立すると主張しています。推論を連続的な潜在空間へと移行し、報酬比例のサンプリングフレームワークを用いることで、LTFは明示的な推論の言語的ボトルネックを克服します。

著者らは、既存の潜在的推論手法における分布的視点の欠如が、それらの非効率性の中心であると論じています。LTFは、軌道に対して確率を割り当てるための原理的な方法を提供し、モデルが正確性とコストを動的にバランス取ることを可能にします。この研究は、意味のある中間的な計算が必ずしも言語的な言葉として表現される必要はないことを示しており、リソース制約のある推論シナリオに向けたスケーラブルな道筋を提示しています。

限界: 著者らは、現在の実験がテキストタスク（単語や記号）に焦点を当てていることを指摘しており、このフレームワークを他のモダリティ（視覚、音声）へ拡張することは今後の課題であるとしています。また、理論的な一般化もさらなる探求が必要な領域として挙げられています。