技術サマリー：Latent Thoughts Tuning (LT-Tuning)

1. 問題提起

明示的なChain-of-Thought (CoT) 推論は、大規模言語モデル（LLM）の能力を大幅に向上させてきましたが、推論プロセスを離散的な語彙空間へと強制してしまうという側面があります。この制約により、モデルが冗長なテキストを生成することなく「二度考える」能力が制限され、高い計算コストと推論レイテンシが発生します。

推論を連続的な潜在空間へと移行させる最近の試み（Coconut、Soft-Thinkingなど）は、明示的なテキスト生成から内部的な思考を切り離すことを目的としています。しかし、これらの既存のパラダイムは、以下の2つの根本的な課題に直面しています。

1. 特徴量の崩壊（Feature Collapse）と分布の不一致: 生の隠れ状態（hidden states）をそのまま入力埋め込みとして再利用する手法（Coconutなど）は、出力の文脈化された空間と入力埋め込みのマニフォールドとの間の分布の乖離に苦しみます。これにより、特に未結合（untied）の入出力埋め込みを持つ大規模モデルにおいて、異なるサンプルからの潜在トークンが同一の点に収束してしまう「特徴量の崩壊」が引き起こされます。
2. 静的な推論コスト: ほとんどの潜在推論手法は、潜在ステップの数に固定のスケジュールを採用しており、推論問題の難易度の変化に適応できません。その結果、些細なステップに対して計算資源を浪費したり、複雑なタスクに対して推論の深さが不足したりすることになります。
3. アライメントの問題: 外部のアシスタントモデルを使用して潜在トークンを生成する手法は、アシスタントの出力空間と推論モデルの埋め込み空間との間の表現のアライメント不全に直面することがよくあります。

2. 手法：LT-Tuning

著者らは、アーキテクチャの変更や外部アシスタントを必要とせず、堅牢で適応的な潜在推論を可能にするポストトレーニング・フレームワークである Latent Thoughts Tuning (LT-Tuning) を提案します。このフレームワークは、段階的な3ステージのカリキュラム学習パイプラインを通じて動作します。

ステージ1：明示的推論のウォームアップ

ベースモデルは、Chain-of-Thoughtデータを用いた標準的な教師あり微調整（SFT）を受けます。これにより、潜在メカニズムを導入する前に、複雑な問題をステップバイステップの推論へと分解するための基礎を確立し、モデルが必要な論理的能力を備えていることを保証します。

ステージ2：動的な潜在トークン生成

静的な推論スケジュールの非効率性を解決するために、モデルは予測の確信度に基づいて、いつ潜在推論を開始するかを動的に決定するように訓練されます。

• 確信度駆動型の挿入: 学習中、モデルの予測確信度が閾値 $\tau$ を下回る位置に <thinking> プレースホルダーがマークされます。
• 潜在の初期化: これらの <thinking> トークンの入力埋め込みは、特定のレイヤー $I$ からの隠れ状態 ($h_{t-1}$) を用いて初期化されます。これにより、潜在推論が不確実なステップに対してのみ予約され、些細なトークンに対してモデルが偽のパターンを学習することを防ぎます。

ステージ3：コンテキスト予測融合（Context-Prediction Fusion）

生の隠れ状態を使用することに起因する分布の不一致と特徴量の崩壊の問題を解決するため、このステージでは コンテキスト予測融合 メカニズムを導入します。潜在トークンの埋め込み ($z_t$) は、隠れ状態のみ、あるいは純粋な確率ベクトルのみに依存するのではなく、以下の2つのソースを融合して構築されます。

1. 文脈的履歴: 前のステップからの隠れ状態 $h_{t-1, I}$。
2. 予測的意味ガイダンス: モデルの語彙分布（Top-$p$ フィルタリングおよび温度スケーリング済み）から導出された確率重み付き埋め込み ($e_{pred}$)。

融合は以下のように定義されます：
$$e_{fusion} = \alpha \cdot h_{t-1, I} + (1 - \alpha) \cdot e_{pred}$$
ここで、$\alpha$ はバランス係数です。この融合は、出力空間と入力埋め込みのマニフォールドの間のギャップを埋め、潜在トークレットが文脈的履歴を保持しながら、モデルの学習済み入力空間と互換性を維持することを保証します。

未結合の入出力埋め込みを持つモデル（Llama-3.1-8Bなど）に対しては、表現のギャップをさらに埋めるために軽量なアダプターが追加されます。

3. 主な貢献

1. 統合された潜在推論フレームワーク: LT-Tuningは、外部アシスタントなしで、適応的かつ安定した連続的な推論を可能にします。これは、確信度駆動型の動的切り替え、コンテキスト予測融合、および段階的なカリキュラムを統合することで、潜在空間の最適化を安定させます。
2. 特徴量の崩壊の緩和: 文脈的隠れ状態と予測的意味ガイダンスを融合することにより、生の隠れ状態の再帰を使用した場合に大規模モデルで見られる致命的な失敗モードである「特徴量の崩壊」を効果的に軽減します。
3. 動的なリソース配分: 確信度駆動型のメカニズムにより、モデルは問題の難易度に基づいて潜在的な計算努力をスケールさせることができ、静的な割り当てと比較して効率性が向上します。

4. 実験結果

著者らは、1Bから8Bパラメータのモデルスケール（Llama-3.2およびLlama-3.1ファミリー）にわたる数学的推論ベンチマーク（GSM8K-NL, ASDiv-Aug, MultiArith, SVAMP）でLT-Tuningを評価しました。

• 性能向上: LT-Tuningは、すべてのスケールにおいて既存のベースライン（Coconut, Soft-Thinking, SoftCoT, SemCoT）を一貫して上回りました。最強の従来手法に対して平均で最大 4.3% の改善を達成しました。
• スケーリング挙動: 特徴量の崩壊により8Bモデルで大幅に性能が低下したCoconutとは異なり、LT-Tuningは堅牢なスケーリングを示し、8Bモデルで 68.8% の平均精度を達成しました。
• アブレーション研究:
  • 融合メカニズム（ステージ3）を除去すると、8Bモデルで深刻な性能低下（-23.5%）が発生し、未結合の埋め込みを持つ大規模モデルにとって融合が極めて重要であることを裏付けました。
  • 動的割り当て（ステージ2）を除去すると性能が低下し、確信度駆動型の挿入の必要性が検証されました。
  • 融合なしで構築された不適切な潜在トークンは、潜在推論を行わない場合よりも悪くなる可能性があることが示されました。
• 効率性: LT-Tuningは、精度を向上させつつ、生成されるテキストトークンの平均数を 24.1% 削減し、効果的な推論圧縮を実現しました。
• 汎用性: 本フレームワークは、非数学的タスク（GPQA-Diamond）および異なるモデルファミリー（Qwen2.5）においても一貫した利点を示し、幅広い適用可能性を示しました。

5. 意義と主張

本論文は、LT-Tuningが 効率的、堅牢、かつスケーラブルな潜在的認知 の基礎を確立すると主張しています。LLMが歴史的な文脈と予測的な構造の両方を用いて「考える」ことを可能にすることで、この手法は離散的なトークン生成の限界と、生の潜在再帰の不安定さを克服します。

著者らは、彼らのアプローチが以下の点において重要であることを強調しています：

• 計算コストの削減: 推論を潜在トークンに圧縮することで、推論レイテンシとトークン生成のオーバーヘッドを低減します。
• 堅牢性の向上: 大規模モデルにおける潜在推論のスケール化を阻んできた特徴量の崩壊問題を解決します。
• 解釈性の提供: <thinking> トークンの動的な挿入は、モデルの不確実性の位置を明示的にマークし、モデルの挙動を理解するための信号を提供します。

結論として、コンテキストと予測を融合によって橋渡しすることが、特に未結合の埋め込みを伴うモデルの進化において、安定した潜在推論に不可欠であるとしています。今後の展望として、融合された潜在パスをさらに洗練させるために、プロセスベースの監督（process-based supervision）や強化学習を統合することを提案しています。