技術的サマリー：言語と推論のためのアトラクタモデル

問題定義

現代の言語モデリングの時代は、単一の計算パスを通じてトークンを生成するフィードフォワード・トランスフォーマーが支配しています。このアーキテクチャは成功を収めていますが、根本的な疑問を提起します：各トークンは単一の計算の産物であるべきでしょうか、それともモデルは出力を決定する前に潜在予測を洗練させることができるべきでしょうか？

「潜在思考」や反復的洗練への既存のアプローチ（ループ型トランスフォーマーや再帰的アーキテクチャなど）は、以下の重大な障壁に直面しています：

1. トレーニングの不安定性: 再帰的ネットワークは、不安定なトレーニングダイナミクスに悩まされることが多く、慎重な安定化技術が必要です。
2. メモリと計算コスト: 標準的なループ型モデルは、固定されたステップ数（$T$）に対して再帰を展開します。これにより、トレーニングメモリが $T$ に比例して線形に増加し、推論の深さがトレーニングの深さに縛られます。推論にトレーニングよりも多くのループが必要な場合、パフォーマンスはしばしば劣化します。
3. スケーリングの問題: 専門的な微小な再帰的推論器は、「少ない方が多い（less is more）」という現象を示し、モデルサイズを増大させるとパフォーマンスが崩壊します。逆に、大規模な再帰的モデルは禁止的に高価となり、そのサイズの10倍のフィードフォワードモデルに匹敵する計算資源を消費します。

核心的な課題は、大規模言語モデリングと小規模データ推論タスクの両方において、安定性、メモリ効率、スケーラビリティを維持しつつ、反復的洗練（再帰）をサポートするアーキテクチャを設計することです。

手法：アトラクタモデル

著者は、有限の再帰ステップの展開ではなく、出力埋め込み空間における固定点問題として潜在洗練を扱う汎用アーキテクチャであるアトラクタモデルを導入します。このアーキテクチャは、2つの主要モジュールで構成されます：

1. バックボーンモジュール: 入力埋め込みを初期出力埋め込み提案 $\tilde{y}_0 = T_{\theta_b}(E(x))$ にマッピングする非再帰的ネットワーク（通常はトランスフォーマー）。ゼロやノイズから再帰を初期化する標準的なループ型モデルとは異なり、アトラクタモデルは、入力に依存した整合性のある予測で洗練プロセスを「ウォームスタート」します。
2. アトラクタモジュール: 初期提案を洗練する、重み共有された別個の再帰的ネットワーク $T_{\theta_a}$ です。固定されたステップ数を実行する代わりに、アトラクタモジュールは以下の固定点 $\tilde{y}^*$ を解きます：
   $$\tilde{y}^* = T_{\theta_a}(\tilde{y}^*, \tilde{y}_0)$$
   これは、残差関数 $A_{\theta_a}(\tilde{y}, \tilde{y}_0) = T_{\theta_a}(\tilde{y}, \tilde{y}_0) - \tilde{y} = 0$ の根を見つけることとして定式化されます。

主要な技術的メカニズム:

• 暗黙的微分: トレーニングでは、固定点ソルバーを通じた微分のために陰関数定理を利用します。勾配は $\frac{\partial L}{\partial \theta} = u^\top \frac{\partial T_{\theta_a}}{\partial \theta}$ として計算され、ここで $u = (I - J_{\tilde{y}}^\top)^{-1} v$ です。
• 1ステップ近似: トレーニング効率を維持するために、著者はバックワードパスに対して1ステップ近似（$u \approx v$）を採用し、完全な暗黙的微分に必要な高価な線形ソルブを回避します。これにより、ソルバーの反復回数に関係なくトレーニングメモリは一定に保たれます。
• 適応的収束: 洗練ステップの数は固定されず、収束許容誤差 $\epsilon$（例：$\| \Delta \tilde{y} \| < \epsilon$）または最大反復予算によって適応的に決定されます。これにより、モデルは解が安定化したら洗練を停止できます。
• 持続的注入: 初期提案 $\tilde{y}_0$ は、固定点が入力に依存し、提案に依存しない状態に崩壊しないことを保証するために、各洗練ステップで（加算または連結を通じて）アトラクタモジュールに持続的に注入されます。

主要な貢献

1. 安定した定数メモリのトレーニング: ループを展開するのではなく平衡状態を解くことで、アトラクタモデルはトレーニング中のメモリ使用量を洗練ステップの数に対して一定に保ちます。これにより、実効的な深さとメモリコストが分離されます。
2. 平衡状態の内部化: トレーニング中に観察される新しい現象で、バックボーンモジュールが最終的な平衡状態 $\tilde{y}^*$ にすでに近い初期提案 $\tilde{y}_0$ を生成することを学習します。その結果、推論時には反復ソルバーがますます不要になります。モデルは実質的に洗練プロセスをその初期予測に「自己蒸留」します。
3. 二重レジームのパフォーマンス: このアーキテクチャは、2つの明確なレジームで強力なパフォーマンスを示します：
   • 大規模言語モデリング: パラメータ数一致のトランスフォーマーや安定したループ型ベースライン（Parcae など）を上回るパープレキシティと下流タスクの精度を達成し、かつトレーニング計算量を削減します。
   • 微小モデルによる困難な推論: 非常に少ないパラメータ数（27M）と限られたデータで、Sudoku-Extreme や Maze-Hard などの困難なアルゴリズムタスクにおいて最先端の結果を達成します。ここでは、最先端の LLM および専門的な再帰的モデルの両方が失敗するか崩壊します。

実験結果

大規模言語モデリング

FineWeb-Edu 上で、1.4 億、3.7 億、7.7 億パラメータのスケールで評価されました：

• パレート改善: アトラクタモデルは、パラメータ数一致のトランスフォーマーとループ型モデル Parcae よりも低いパープレキシティと高い下流タスク精度を達成し、トレーニング FLOPs を 25〜31% 削減しました。
• スケーリング効率: 7.7 億パラメータのアトラクタモデルは、2 倍のトークンでトレーニングされた 13 億パラメータの標準トランスフォーマーを上回ります。
• メモリ効率: ループ数が増加してもピークトレーニングメモリは一定のままですが、Parcae のメモリは線形に増加します。

困難な推論タスク

Sudoku-Extreme と Maze-Hard 上で、約 1,000 のトレーニング例で評価されました：

• 微小モデルの優位性: 27M パラメータのアトラクタモデルは、Sudoku-Extreme で91.4%、Maze-Hard で**93.1%**の精度を達成しました。
• ベースラインの失敗: このレジームでは、標準トランスフォーマー、最先端モデル（DeepSeek R1、Claude 3.7、o3-mini）、および専門的な再帰的モデル（TRM）は完全に失敗（0% 精度）するか、スケールアップ時に崩壊します。
• スケーリング挙動: サイズが増大すると劣化する再帰的推論器とは異なり、アトラクタモデルはパラメータ数が 7M から 27M に増加するにつれて改善します。

平衡状態の内部化

• 推論効率: 推論時、バックボーンの初期提案がすでに固定点の近くにあるため、モデルはピークパフォーマンスに達するためにソルバー反復を 0 回または 1 回（$T=0$ または $T=1$）しか必要としないことがよくあります。
• 収束: トレーニング中に必要なソルバー反復回数は急速に最小値まで低下します。これは、トレーニングが進むにつれて反復回数が増加することが多い深層平衡モデル（DEQ）とは対照的です。

意義と主張

本論文は、アトラクタモデルが再帰をモデルが内部化して学習できる計算に変換することで、反復的洗練をスケーラブルにするであると主張しています。洗練を出力埋め込み空間における固定点問題として枠組み化し、意味のある提案で初期化することで、このアーキテクチャは従来のループ型モデルの安定性とメモリのボトルネックを克服します。

著者は、このアプローチが以下を可能にすると強調しています：

• 適応的深さ: 計算は固定されたハイパーパラメータではなく、収束の必要性に基づいて割り当てられます。
• トレーニング効率: 明示的な展開と比較して、定数メモリと削減された FLOPs。
• 頑健性: 「平衡状態の内部化」現象により、反復的推論の恩恵はトレーニング中に捕捉され、推論中の逐次計算コストは発生しません。

この研究は、再帰は必ずしも負債である必要はないことを示唆しています。アトラクタ問題として定式化されれば、それはパラメータ制約のあるレジームにおいても、言語モデリングと複雑な推論の両方に対する安定かつ効率的なメカニズムとなり得ます。