技術要約：Little by Little: Incremental Mixture of Rank-1 Associative Memory Experts による継続学習

1. 問題提起

継続学習（Continual Learning, CL）は、モデルが破滅的忘却を起こすことなく、新しいタスクの知識を逐次的に獲得することを目的としている。低ランク適応（LoRA）のようなパラメータ効率の良い微調整（PEFT）手法は、大規模事前学習モデル（PTM）の適応において一般的であるが、標準的なLoRAは高密度な更新を行うため、必然的に以前のタスクの表現空間を乱し、干渉と忘却を引き起こす。

最近のアプローチでは、Lo、既存のエキスパートを凍結して新しいものを追加することで、タスク間の干渉を分離するMixture-of-Experts（MoE）フレームワークを用いたLoRAアダプタ（MoE-LoRA）が採用されている。しかし、本論文は、これらの既存のMoE-LoRA手法が**粗い粒度（coarse granularity）**で動作していることを指摘している。マルチランクLoRAアダプタを単一の分割不可能なエキスパート単位として扱うことで、以下の3つの重大な問題が生じる：

1. 干渉（Interference）： 粗いエキスパートは低専門性の情報をエンコードするため、特定の入力に対して無関係な部分空間を活性化させてしまう。
2. 冗長性（Redundancy）： 新しいエキスパートは、古いエキスパートから特定の「原子（atoms）」としての知識を選択的に再利用することができず、結果として容量利用が非効率になり、ブロック全体を再学習する必要が生じる。
3. ルーティング／検索の崩壊（Routing/Retrieval Collapse）： 粗いエキスパートの数が増えるにつれ、外部ルーターが拡張し続けるプールを確実にインデックス化することが困難になり、ルーティングの曖昧さ、ドリフト、そして最終的な旧エキスパートの性能崩壊を招く。

2. 手法：MoRAM

著者らは、MoRAM (Mixture of Rank-1 Associative Memory) を提案する。これは、学習を、原子的なランク1単位からなるパラメトリックなメモリシステムの逐次的な拡張として再定義するフレームワークである。

コアとなる概念的転換

重み行列 $W$ が線形連想メモリ（Kohonen, 1972）として機能するという視点に基づき、MoRAMは重み行列をモノリシックなブロックとしてではなく、$m$ 個の原子的なキー・値ペア $\{(k_i, v_i)\}$ の集合として扱う。

• キー・値定式化： ランク-$r$ の更新は、$r$ 個の原子的なランク1ペアに分解される。各ペアは、キー ($A_{:,i}$) と 値 ($B_{:,i}$) で構成される。
• 内容アドレス指定による検索（Content-Addressable Retrieval）： 外部ルーターがデータの送り先を学習する代わりに、入力 $x$ は固有の関連性スコア $s_i = A_{:,i}x$ を通じて、関連するメモリ原子を自動的にトリガーする。出力は、これらのスコアに基づく値の加重和となる。

主要コンポーネント

1. 細粒度なランク1エキスパート：
   タスクごとにフルランクのアダプタを追加する代わりに、MoRAMはタスクごとに $r$ 個の新しい原子的なランク1ペアを導入する。これらの原子は、細粒度なMoEエキスパートとして機能する。モデルは、以前の原子を凍結し、新しい原子を逐次的に追加していく（"little by little"）。

2. 自己活性化メカニズム（Self-Activation Mechanism）：
   MoRAMは、訓練可能な外部のルーターネットワークの必要性を排除する。

• 関連性スコアリング： 入力 $x$ に対する $i$ 番目のメモリ原子の関連性は、入力と原子のキーベクトル ($A_{:,i}$) のドット積によって直接計算される。
• 正規化： 安定性のために、スコアはメモリアンサンブル全体にわたって $\ell_2$ 正規化される。
• 利点： これにより、補助的なルーターネットワークの学習に伴う最適化の不安定性と忘却が解消される。

3. スパースなルーティングと特化：
   干渉と計算オーバーヘッドを防ぐため、MoRAMはスパースな選択戦略を採用する：

• Top-$k$ マスキング： 与えられた入力に対して、活性化スコアが最も高い $k$ 個の原子のみが保持される。
• 温度スケーリング： 分布を鋭鋭化させるために、ソフトマックスに温度ハイパーパラメータ $\tau_{MoRAM}$ が適用され、最も関連性の高い「スペシャリスト」の原子に勾配を集中させ、その適応を加速させる。
• 閾値ベースのプルーニング： 推論時には、ノイズと計算コストをさらに削減するために、活性化スコアが閾値 $\delta$ を下回る原子がプルーニングされる。

4. 逐次的拡張（Incremental Expansion）：
   新しいタスクごとに、モデルは一連の新しいランク1ペアを導入し、以前のすべての原子を凍結し、自己活性化メカニズムが旧メモリと新メモリの和集合全体にわたってルーティングできるようにする。これにより、モデルは共有された意味（例：「青い空」）を再利用しながら、タスク固有の概念（例：「飛行機」）のために新しい原子を特化させることが可能になる。

3. 主な貢献

1. MoRAMフレームワーク： 学習をランク1の連想単位によるパラメトリックメモリの拡張とし、推論をテスト時のメモリ検索とする新しいCLフレームワーク。これにより、干渉を最小限に抑えた細粒度な知識の再利用が可能になる。
2. 自己活性化スパースルーティング： 更新をランク1のメモリ原子に分解することで、モデルは自然に細粒度なMoEを形成する。提案された自己活性化メカニズムは外部ルーターを排除し、ルーティングの崩壊を回避する、コンテンツベースのスパースな検索を可能にする。
3. 実証的な優位性： ビジョン言語（CLIP）および大規模言語モデル（LLM）のベンチマークにおける広範な評価により、MoRAMが最先端の手法を大幅に上回り、優れた可塑性と安定性のトレードオフを実現し、事前学習された汎化能力を維持していることが示された。

4. 実験結果

MoRAMは、X-TAIL（CLIP用）、TRACE（LLM用）、および標準的な言語分類タスクを含む複数のベンチマークで評価されている。

• ビジョン言語（CLIP）： X-TAILベンチマークにおいて、MoRAMは「Average」および「Last」の精度指標で最先端の性能を達成し、MoE-Adapter、CoDyRA、RAIL-Primalなどの手法を上回った。外部のドメインIDや特徴量バンクを必要とせずに、表現を効果的に強化している。
• 大規模言語モデル（LLM）： LLaMAおよびGemmaモデルを用いたTRACEベンチマークにおいて、MoRAMはSeqLoRA、O-LoRA、TreeLoRAと比較して、大幅に低いBackward Transfer (BWT) スコア（忘却が少ないことを示す）と共に、堅牢な性能を示した。
• 汎化 vs 忘却： コード生成の微調整（CodeAlpaca）において、標準的な密なLoRA更新は、意味的に遠いトピック（例：世界宗教）の性能を低下させる。MoRAMは、新しい知識を独立したランク1の原子に隔離することで、ドメイン内のコード性能を向上させつつ、ドメイン外の汎化性能を維持する。
• 効率性： MoRAMは、標準的なランク32のLoRAが必要とするアクティブパラメータの約3分の1のパラメータ量で、優れた性能を達成している。また、既存のPEFT手法と同等の低いGPUメモリ使用量と推論レイテンシを維持している。

5. 重要性と主張

本論文は、高性能な継続学習には、複雑な外部ルーターや硬直した構造的拡張は必要ないと考えている。むしろ、低ランクの原子的メモリの精密な、コンテンツアドレス指定による検索へのパラダイムシフトを提唱している。

• 破滅的忘却の軽減： 更新を絡み合ったブロックではなく、独立したメモリ原子として扱うことで、MoRAMは無関係な概念の上書きを防ぐ。
• スケーラビリティ： 自己活性化されたスパースな混合メカニズムにより、モデルは粗い粒度のMoE-LoRAを悩ませるルーティングの曖昧さを伴うことなく、多くのタスクへとスケールできる。
• 効率性： この手法は計算量とメモリ要件を削減し、リソース制約のある環境での大規模モデルの継続的な適応を可能にする。

著者らは、MoRAMがメモリ拡張への「little by little（少しずつ）」のアプローチを提供し、可塑性と安定性を効果的にバランスさせながら、事前学習された汎用知識を維持すると結論付けている。今後の課題として、データ分布に基づいた適応的な温度設定の探索や、より幅広いPTMへの適用可能性が示唆されている。