論文要約：THINKING DEEPER, NOT LONGER: DEPTH-RECURRENT TRANSFORMERS FOR COMPOSITIONAL GENERALIZATION

本論文は、標準的なトランスフォーマーが持つ「固定された計算深度」の限界を克服し、変数深度の推論タスク（多段グラフ探索やネストされた論理など）に対する汎化能力を向上させるための新しいアーキテクチャ、「Depth-Recurrent Transformer（深さ再帰型トランスフォーマー）」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細にまとめます。

---

1. 背景と問題定義

大規模言語モデル（LLM）は多くのタスクで卓越した性能を示していますが、その推論能力はアーキテクチャの制約に根本的に縛られています。

• 既存の手法（Horizontal CoT）の限界:

  • 現在の Chain-of-Thought (CoT) プロンプティングは、推論ステップを「トークンの生成」として水平方向に展開します（Horizontal Recurrence）。
  • コンテキストウィンドウの消費: 各推論ステップがトークンを消費するため、推論深度が増すと利用可能なコンテキストが急速に枯渇します。
  • 固定された計算深度: トランスフォーマーのレイヤー数は固定されているため、入力タスクの難易度に関わらず、各トークン位置での処理深度は一定です。複雑な再帰的評価が必要な問題に対しても、単純なパターンマッチングと同じレイヤー数しか適用されません。
  • 誤差の蓄積: 中間推論が自然言語で生成されるため、各トークンの予測誤差が累積し、ハルシネーションや論理的なミスを招きやすくなります。

• 提案するパラダイム（Vertical CoT）:

  • トークンを生成して水平に延ばすのではなく、潜在空間（Latent Space）内で共有重みのトランスフォーマーブロックを反復適用することで「深く思考する（Thinking Deeper）」アプローチを提案します。
  • これにより、計算深度をパラメータ数やコンテキスト長から切り離し、推論時に再帰ステップ数を増やすことで、追加のトークン生成やコンテキスト消費なしに計算リソースを投入可能にします。

2. 手法：Depth-Recurrent Transformer

本アーキテクチャは、タスク固有の知覚インターフェースと、タスクに依存しない反復的な推論コア（Invariant Reasoning Core）で構成されます。推論ステップ数 $T$ は推論時に柔軟にスケーリング可能です。

深さ再帰（20 ステップ以上）を安定して実行するための 3 つの主要なメカニズムが導入されています。

3.1 主要メカニズム

1. サイレント・シンキング（Silent Thinking Objective）

   • 仕組み: 再帰の各ステップではなく、最終ステップのみでクロスエントロピー損失を計算します。
   • 目的: 中間ステップに対する補助損失を排除することで、モデルが各ステップの正解を「ヒューリスティックな近道」で満たそうとするのを防ぎ、真の多段階推論パスの構築を強制します。

2. LayerScale 初期化

   • 仕組み: アテンションとフィードフォワードサブレイヤーの後に、学習可能なチャネルごとのスケーリングベクトル $\Gamma$ を適用し、初期値を $10^{-4}$ に設定します。
   • 目的: 訓練初期において、ランダムに初期化された重みが脆弱な論理表現（特にブール状態など）を破壊するノイズとして作用するのを防ぎます。初期段階では恒等写像（Identity Mapping）として振る舞わせ、学習が進むにつれて推論能力を徐々に活性化させます。

3. 恒等バイアス再帰（Identity-Biased Recurrence）

   • 仕組み: GRU 型のゲート機構を使用し、ゲートのバイアス $b_z$ を $-2.0$に初期化します（$\sigma(-2.0) \approx 0.12$）。
   • 効果: 前の隠れ状態を約 88% 保持し、新しい候補状態を 12% だけ取り入れるように設計されています。これにより、深い時間的展開（20 ステップ以上）における信号の減衰を防ぎ、勾配が安定して伝播する「勾配の高速道路（Gradient Highway）」を物理的に保証します。

3.2 タスク固有の知覚インターフェース

推論コアは不変ですが、入力データを初期状態 $H^{(0)}$ にエンコードするインターフェースはタスクに応じて変化します。

• トポロジカルマスキング: グラフ構造など、厳密な隣接関係が必要なタスク用。アテンションに隣接行列に基づくマスクを適用し、物理的な制約を強制します。
• 相対的位置エンコーディング（RoPE）: ネストされた論理式など、階層構造が相対距離に依存するタスク用。
• 標準シーケンスアテンション: 構造的なヒントがない非構造化テキスト用。推論コアが自律的に潜在的な経路を発見する必要があります。

3. 実験結果

3 つの異なる構造的帰納バイアスを持つタスクで評価を行いました。

3.1 計算フロンティア（Computational Frontier）の発見

すべてのタスクで、推論ステップ数とタスク複雑度の対角線上に明確な「計算フロンティア」が観測されました。

• 定義: 推論ステップ数がタスクの必要深度に達するまで性能は確率的なレベル（ランダム）に留まりますが、ステップ数が閾値を超えると急激にほぼ完璧な精度に遷移します。

3.2 各タスクの詳細

1. グラフ到達可能性（Graph Reachability）

   • 特徴: 厳密な隣接マスクを使用。
   • 結果: 1 ステップ＝1 ホップという物理的制約が厳格に守られます。トレーニング分布（1-5 ホップ）を超えた OOD（8 ホップ）でも完全な汎化を示しましたが、ステップ数が不足すると急激に精度が低下しました。
   • 知見: 中間損失（Intermediate Supervision）を与えると、モデルはグラフの密度などの統計的ヒューリスティックを学習し、真のメッセージパッシングを放棄して OOD 性能が崩壊することが示されました（サイレント・シンキングの重要性の証明）。

2. ネストされたブール論理（Nested Boolean Logic）

   • 特徴: 相対的位置エンコーディングを使用。
   • 結果: 計算フロンティアはグラフタスクより緩やかで、トレーニング分布（深さ 1-8）を超えて深さ 14 まで 90% 以上の精度を維持するロバストな OOD 汎化を示しました。ステップ数を増やしすぎても（24 ステップ）精度は低下せず、安定しています。

3. 非構造化テキストの関係性合成（Relational Composition in Unstructured Text）

   • 特徴: 構造的なヒント（隣接マスクや意味的な順序）を排除した自然言語タスク。
   • 結果: 推論コアが自律的にポインタ・チェイシング（pointer-chasing）の経路を発見し、トレーニング分布（深さ 2-5）を超えた深さ 6-7 での OOD 汎化に成功しました。ステップ数を増やすことで精度が向上し、構造的なバイアスがない状況でも深層推論が可能であることを示しました。

4. 主要な貢献

1. 新しいアーキテクチャの提案: サイレント・シンキング、LayerScale、恒等バイアス再帰を組み合わせた、20 以上のステップで安定した深さ再帰型トランスフォーマー（100 万パラメータ未満）を提案。
2. 強力な OOD 汎化: 3 つの異なる帰納バイアスを持つタスクにおいて、トレーニング分布よりも厳密に長い推論深度へのロバストな外挿（Extrapolation）を実現。
3. 計算フロンティアの解明: 推論ステップ数とタスク複雑度の関係における性能遷移の現象を特定し、タスク固有の知覚インターフェースが汎化の質（「正確だが脆い」vs「近似だがロバスト」）をどのように形成するかを分析。
4. 中間監督の有害性の示唆: 推論タスクにおいて中間ステップへの監督が、モデルにヒューリスティックな近道を学習させ、分布外での真のアルゴリズム的推論能力を破壊することを実証。

5. 意義と結論

本論文は、LLM の推論能力を向上させるための新たなパラダイム「Vertical Chain-of-Thought」を提示しました。トークンを生成して「長く（Longer）」考えるのではなく、潜在空間で反復して「深く（Deeper）」考えることで、コンテキストウィンドウを消費することなく計算リソースを柔軟に配分できます。

• 理論的意義: 固定深度のトランスフォーマーが持つ $TC^0$ 回路複雑性の限界を、再帰による動的な深度増加によって回避できることを示唆しています。
• 実用的意義: 複雑な論理推論、計画、アルゴリズム的実行など、変数深度を必要とするタスクに対して、コンテキスト制約なしにスケーラブルな推論を可能にする基盤技術となります。

今後の課題として、より大規模なモデルへの適用や、事前学習済み LLM への統合が挙げられており、次世代の言語モデルの基盤コンポーネントとしての可能性が示されています。