技術要約: Proteus: 長文脈シーケンスモデリングのためのインクリメンタルなメモリ活性化

問題提起

アテンションベースのTransformerにおける二次関数的な計算コストは、コンテキストを固定サイズの状態に圧縮するメモリベースのモデル（例：現代的なRNN）への研究を促進してきました。しかし、既存のメモリモデルは通常、シーケンス全体を通じて静的なメモリ容量を露出させています。この設計は、主に2つの失敗モードを引き起こします：

1. 早期の過小圧縮（Early Under-Compression）: シーケンスの初期段階では、メモリ状態がほぼ空の状態の時にトークンが到着します。容量をめぐる競争がないため、初期のトークンは圧縮を強制されることなく、メモリの自由度の不釣り合いなほど大きな割合を占有してしまい、結果として状態を「汚染」してしまいます。
2. 後期の干渉（Later Interference）: シーケンスが進むにつれ、後続のトークンは残された容量の中に押し込まれなければなりません。これにより、新しい情報が以前に保存されたコンテンツを上書きしたり、干渉したりすることを強いることになり、モデルによる後半のコンテキスト保持能力を低下させます。

著者らは、静的な容量は最適ではないと主張しています。なぜなら、「適切な」容量はシーケンスの開始時と終了時で異なるからです。初期の入力には圧縮を強制するためのボトルネックが必要であり、一方で後期の入力には、以前に保存された内容との干渉を避けるための新鮮な容量が必要です。

手法: インクリメンタルなメモリ活性化

本論文は、メモリの有効容量をコンテキスト長に依存した関数としてスケジューリングする、**インクリメンタルなメモリ活性化（Incremental Memory Activation）**という新しいパラダイムを提案しています。このパラダイムは、以下の2つの補完的なメカニズムを通じて失敗モードに対処します：

• 早期ボトルネック: シーケンスの開始時にアクティブなメモリのサブセットを制限することで、モデルは初期のコンテキストを単に記憶するのではなく、要約（圧縮）することを強制されます。
• 新鮮な容量: コンテキストが増大するにつれ、以前にロックされていたメモリブロックが段階的にアンロックされます。これにより、新しい情報ののための新鮮な自由度が提供され、初期に保存された内容との干渉が軽減されます。

Proteus メカニズム

著者らは、このパラダイムを Proteus において実装しています。これは、追加のパラメータコストなしで、広範な結合的メモリ（associative-memory）アーキテクチャ（線形RNNやMLPベースのメモリを持つモデルを含む）に適用可能な、軽量なブロック単位のゲーティング・スキームです。

コア・コンポーネント:

1. ブロック分割: メモリパラメータ（例：行列 $M \in \mathbb{R}^{d_k \times d_v}$）を、$E$ 個の等サイズの連続するブロックに分割します。
2. 決定論的スケジュール: 単純な一様スケジュールにより、ステップ $t$ におけるアクティブなブロック数 $k(t)$ を決定します。
   • トークンは、初期セグメント $[1, \Delta]$ において、メモリの最初の $1/E$ とのみ相互作用します。
   • $t$ が増加するにつれて、全メモリが利用可能になるまで追加のブロックがアンロックされます。
3. ゲート操作:
   • 書き込み (Write): 更新ルール（例：勾配降下法）は、現在のアクティブなブロックに対してのみ適用されます。ロックされたブロックは固定されたままとなり、更新を受け取りません。
   • 読み取り (Read): 検索操作は、アクティブなサブセットからのみ読み取ります。
   • 数学的定式化: メモリ状態 $M_{t-1}$ と活性化マスク $g_t$ に対して、更新は以下の通りです：
     $$M_t = M_{t-1} - \theta_t (g_t \odot \nabla \tilde{L}(M^{(g)}_{t-1}; k_t, v_t))$$
     ここで、$M^{(g)}_{t-1}$ はアクティブなサブセットであり、$\odot$ は要素ごとの積を表します。

モデルパラメータへの拡張（入れ子状の学習）:
MLPブロックを結合的メモリと見なす「入れ子状の学習（Nested Learning）」の視点（Behrouz et al., 2025d）を活用し、Proteus はこのスケジューリング原則をモデルのパラメータ自体にも拡張します。Hope-Attention のようなアーキテクチャでは、MLPブロックのパラメータの更新が同じスケジュールによってゲート制御され、これにより、初期のトレーニングサンプルが後続のサンプルが到着する前に全パラメータ空間に過学習してしまうことを防ぎます。

主な貢献

1. インクリメンタルなメモリ活性化パラダイム: コンテキストの流れに沿って実効的なモデル容量を制御する新しいアプローチであり、初期の圧縮を促し、後期の書き換え/干渉を減少させます。
2. Proteus メカニズム: メモリの読み取り/書き込み、および Nested Learning を通じた MLP パラメータの両方にインクリメンタルな活性化を適用する、汎用的でドロップイン可能なブロック単位のゲーティング・スキームです。追加のパラメータやメモリ・オーバーヘッドを必要としません。
3. 実証的検証: Proteus が、複数のベンチマークにおいて、最先端モデル（SWLA, Comba, Titans, Hope-Attention）の性能を一貫して向上させることを示しました。

実験結果

著者らは、760M および 1.3B パラメータスケールにおいて、50B および 100B トークンで評価された4つのモデルファミリー（Hope-Attention, SWLA, Comba, Titans）を用いて Proteus を評価しました。

• 言語モデリングと常識推論: Proteus は、Wikitext におけるパープレキシティを一貫して低下させ、LAMBADA におけるゼロショット精度を向上させました。これらの利得はすべてのバックボーンで観察され、Titans+Proteus が最高の総合性能（例：1.3B において平均精度 58.00）を達成しました。
• Needle-in-a-Haystack (NIAH): 改善は、より長いコンテキスト長（16K）およびより困難なバリアント（例：UUID 検索）において最も顕著でした。例えば、Proteus は 16K における Titans の S-NIAH-3 の性能を 21.4% から 29.8% に向上させました。ベースモデルがすでに飽和している短いコンテキストにおいては、Proteus は中立的でした。
• 長文脈の検索と理解: SWDE、SQuAD、FDA などのタスクにおいて、Proteus は堅牢性と長さの補外（extrapolation）能力を向上させました。これは、特に以前のモデルが急激な精度低下に陥っていたケース（Comba, Titans）で顕著でした。LongBench ベンチマークにおいても、Proteus は評価された3つのバックボーンすべてにおいて平均スコアを向上させました。

重要な観察事項: パフォーマンスの向上は一般にコンテキスト長とともにスケールしており、このメカニズムが長文脈の保持と補外を特に対象としていることを裏付けています。

意義と主張

本論文は、静的なメモリは長文脈シーケンスモデリングにおいて最適ではないと主張しています。メモリ容量を静的なリソースとして扱うことで、モデルは初期の圧縮と後期の保持のバランスを取ることに失敗します。

Proteus の意義はそのシンプルさと広範な適用可能性にあります：

• これは、基礎となるメモリアーキテクチャ、更新ルール、または内部目的を変更しない、単純なスケジューリングツールです。
• 線形RNNから複雑なメモリ増強ネットワークまで、多様なモデルを改善できるアーキテクチャに依存しないものです。
• モデルのサイズやメモリの複雑さを増大させる代わりに、実効的な容量をスケジューリングすることが、長文脈の性能を向上させるための基本的なレバーであることを示しています。

著者らは、現在のスケジュールは固定された手設計のものであること、および MLP ブロックへの拡張は概念実証であることに触れ、謙虚な姿勢を保っています。彼らは、将来の研究として、学習可能でデータ依存の活性化ポリシーの探索や、増大するメモリアーキテクチャとインクリメンタルな活性化の組み合わせなどが挙げられます。