技術要約：リザーバー・アテンション・ネットワーク (RAN)

問題提起

標準的なトランスフォーマー・アーキテクチャは、フォワードパス間で状態を持たない（stateless）性質を持つ。すなわち、コンテキスト・ウィンドウ内の位置のみに依存しており、呼び出し間で進化する内生的な変数は存在しない。本研究では、事前学習済みトランスフォーマーの中間層のアテンションに、固定されたランダム初期化リザーバー（エコー・ステート・ネットワークの概念におけるもの）を注入することで、バックボーンの再学習なしに、独立したフォワードパス間で利用可能な持続的状態をモデルに付与できるかどうかを調査する。核心となる研究課題は、このようなメカニズムが、パス間で状態を運ぶことで、ステートレスなモデルには構造的に不可能なタスクを可能にできるか、そしてどのような注入およびダイナミクス・レジームにおいて、その状態がノイズではなく利用可能な信号となるかである。

手法

リザーバー・アテンション・ネットワーク（RAN）アーキテクチャは、固定されたランダムな再帰的基質を事前学習済みトランスフォーマーに移植するものである。

• アーキテクチャ: サイズ $N$ のリザーバー（固定ランダム重み $W_r, W_{in}$ およびリーク率 $a$ を持つ）を、中間深度のレイヤー $L_k$ に注入する。
• メカニズム: リザーバーは、固定ランダム投影 $W_{in}$ を介してレイヤーのアテンション出力を読み取り、状態 $r(t)$ を更新し、学習済みの読み出し部 $W_{out}$ を介して、内容アドレス指定可能なキー/バリュー（KV）プレフィックス擬似トークンとして状態を書き戻す。
• 学習: バックボーンのトランスフォーマーは凍結される。$W_{out}$ と、上層レイヤーに対する軽量なLoRAアダプターのみが学習対象となる。リザーバー自体は学習されず、固定されたランダムな状態のままである。
• 実験範囲: GPT-2 (124M, 355M) および Qwen2.5 (0.5B, 1.5B) を用いて、単一のコンシューマGPU上で実験を行った。実験に使用されたタスクは、複雑なエージェント的推論を示すためではなく、特定のメカニズム（例：秘密単語の想起、沈黙ポリシー）を分離するための最小限のプローブである。

主な貢献と結果

1. 注入設計が決定要因である

本研究は、リザーバー状態の注入方法が、運ばれる状態が利用可能であるかどうかを決定することを示している。

• 加法的注入の失敗: リザーバー状態を残差ストリームに加算的に書き込むと、モデルは再帰的状態を無視するように学習してしまう。コンテキストを跨いだ想起率はチャンスレベル（0.17）にとどまり、状態リセットのベースラインと区別がつかない。
• 内容アドレス指定（KV-プレフィックス）の成功: リザーバー状態を、上層レイヤーが注意を向けるためのKVプレフィックス擬似トークンとして再注入することで、GPT-2-smallにおいて100%のクロスコンテキスト想起（制御群の0.17に対し1.00）を実現した。これは、モデルにその状態へ注意を向けるメカニズムが与えられれば、リザーバー状態が利用可能な情報を運べることを証明している。

2. リザーバーのダイナミクスとスケーリング

• カオスの縁（Edge-of-Chaos）レジーム: リザーバーは、エッジ・オブ・カオスのレジーム（スペクトル半径 $\rho \approx 1$）で効果的に機能する。しかし、実際のトランスフォーマーの活性化関数はユニットスケールのリザーバーを過剰駆動させ、飽和を引き起こす。
• 入力スケーリング: 飽和を避けるためには、トランスフォーマーからリザーバーへの入力スケーリングを、ユニットスケールの約4分の1から10分の1程度に調整する必要がある。
• 1.5Bへのスケーリング: 以前観察された「GPT-2-small限定」という境界は、リザーバーのサイズ不足と入力スケーリングの不一致によるアーティファクトであった。リザーバーを2048ノードに拡大し、入力スケーリングを一致させる（Qwen-1.5Bに対して0.1）ことで、クロスパスの想起率はQwenファミリー全体で0.83–1.00に回復した。
• モデル固有性: 成功は単純なパラメータ数に依存するものではない。GPT-2-medium (355M) は7段階のスケーリング・スイープ全体で失敗したが、Qwen-0.5BはQwen-1.5B (0.1) とは異なるスケーリング (0.5) で成功した。モデルに適合させた入力スケーリングは必要条件であるが十分条件ではない。バックボーンがプレフィックスを読み取る方法を学習できる能力は、モデル固有である。

3. 容量と限界

• 容量の天井: リザーバーは数十個のアイテムという容量の天井を示す。約6個の秘密単語については完璧な想起を示すが、24個で約0.42に低下し、48個でチャンスレベルまで落ちる。
• N-シード選択: 本研究では、現在の学習予算において、未学習の指標（例：参加比率）を用いて「より優れた」固定リザーバーシードを選択することは効果的ではないことが判明した。結果は、リザーバー自体の質よりも、学習ノイズと初期化の分散に支配されている。

4. ステートフル vs ステートレスな挙動（バッテリーテスト）

時間的/エージェント的指標と、記号的内容の想起を分離する8つのタスクによる「バッテリー」は、決定的な分岐を明らかにした：

• 時間的/エージェント的指標: 「沈黙（silence）」、「タイミング（timed）」、「自己開始（self-initiation）」といった指標は、ステートレスなアブレーション（現在のパスの特徴量のみに対するLoRAアダプター）によっても一致した。これらの挙動は、運ばれたリザーバー状態には依存していなかった。
• 内容の想起: 特定のトークンの想起（記号的内容の想起）こそが、真のステートフル性のテストである。これは大規模化において当初は失敗したが、特定の条件下においてのみ、バッテリー内で保持されることが示された。具体的には、ステートレスなショートカットへのアダプター容量（小さなLoRAランク）を拒否し、学習率を減衰させることである。これらを行わない場合、オプティマイザはステートレスなショートカットを見つけ出し、リザーバー駆動の解は崩壊する。

5. 安全性とモニタリングへの示唆

本論文は、固定リザーバーが低コストで安定したモニタリング面を提供することを提案している：

• 中断可能性（Interruptibility）: リザーバーを持つパー・ティック（per-tick）エージェントは、「STOP」信号をゼロレイテンシで登録し、ターン制のエージェントとは異なり、フェーディングメモリを介して数パスにわたってそれを保持する。
• 監視可能性（Monitorability）: 線形読み出しを用いることで、スパースオートエンコーダを使用することなく、内部プロセス変数（例：経過時間）を高精度（$R^2 \approx 0.995$）でリザーバー状態から復元できる。このマッピングは、リザーバーの重みが固定されているため、緩やかな微調整によるドリフトに対しても耐性を持つ。

意義と主張

本論文は、小規模なスケールにおける実現可能性およびダイナミクスの研究として自らの貢献を明確に定義しており、汎用人工知能や複雑なエージェント的推論の主張は避けている。

• 核心的な発見: 主要な貢献は、注入設計の発見である。すなわち、固定された未学習のリザーバーが、内容アドレス指定可能なKV-プレフィックス・トークンとして注入される限り、事前学習済みトランスフォーマーにおいて利用可能なクロスパスの状態を運べるということである。
• ネガティブな結果としての境界設定: 本論文は、GPT-2-mediumの失敗や、バッテリーにおける時間的指標のステートレス性といった制御されたネガティブな結果を強調することで、貢献の範囲を限定している。
• 理論的立場: 著者らは、クロスパスの状態が複雑性理論的な議論（TC0/FO(M)の境界を押し上げる議論）によって動機付けられていると述べているが、このリフトを証明したとは主張していない。本研究は、有限精度のリザーバーをオープンな理論的問題として扱っている。
• 今後の展望: 「常に生存しているエージェント（always-alive agent）」のビジョンは、計算資源に制限された将来の研究として扱われている。現在の研究は、未学習の再帰的ダイナミクスが状態を運ぶのに十分であるかどうかを分離して示しており、学習された再帰性は、補完的かつより高コストな方向性として残されている。

要約すると、本論文は、リザーバーをどのように注入するかが使い勝手の決定要因であることを示し、より大きなモデルのためのダイナミクス（スケーリング、入力スケーリング）を特徴付け、マルチタスク設定において状態的な内容想起を保持するためのレシピを提供すると同時に、容量やモデル固有の転移性に関する重大な制限も認めている。