技術要約: Mamba-CL

問題定義

継続学習（Continual Learning, CL）は、AIモデルが以前に獲得した知識を忘れることなく、時間の経過とともに一連のタスクを学習できるようにすることを目指しており、安定性と可塑性のジレンマに対処するものである。状態空間モデル（SSM）、特にMambaアーキテクチャは、コンピュータビジョンやシーケンスモデリングにおいて顕著な成功を収めているが、これらをCLに適用することには特有の課題がある。直交部分空間投影などの既存のCL手法は、主に畳み込みニューラルネットワーク（CNN）やVision Transformer（ViT）向けに開発されてきた。Mambaにこれらの手法を直接適用することは、その高次な再帰的状態空間構造と非線形な離散化メカニズムのために困難である。具体的には、選択的SSMにおける忘却は、過去のタスクの入力によって活性化される状態更新および出力生成プロセスの変化として理解できる。核心となる問題は、いかにして、以前のタスクに対する出力を数学的に一貫性を保つことを保証しながら、新しいタスクに対して事前学習済みMamba基盤モデルを微調整するかである。

手法

著者らは、忘却を軽減するために零空間（null space）内で選択的SSMを最適化するフレームワークであるM가Mamba-CLを提案している。この手法は、他のコンポーネントを凍結したまま、事前学習済みMambaバックボーン（具体的にはDe-focus Mamba）内のコアとなるSSMブロックを微調整することに焦点を当てている。

理論的導出

Mamba-CLの核となるのは、SSMブロックのパラメータに関する4つの十分な一貫性条件の導出である。目標は、新しいタスクを学習した後でも、以前のタスクの入力（$X_t$）に対するSSMの出力が変化しないようにすることである。入力不変なパラメータ$A$と、入力に依存するパラメータ$B, C, \delta$（離散化ステップ）を含むSSMのフォワードプロセスを分析することにより、著者らは一貫性の要件をパラメータ更新（$\Delta$）に対する制約へと分解している：

1. 離散化ステップ（$\delta$）および入力投影（$W_\delta$）： 更新$\Delta W_\delta$は、入力特徴空間$X_t$に対して直交しなければならない（$X_t \Delta W_\delta = 0$）。
2. 状態遷移（$A$）： 更新$\Delta A$は、離散化ステップパラメータ$\delta_t$に対して直交しなければならない（$\delta_t \Delta A = 0$）。
3. 入力注入（$W_B$）： 更新$\Delta W_B$は、離散化ステップと入力特徴の積に対して直交しなければならない（$\delta_t X_t \Delta W_B = 0$）。
4. 出力読み出し（$W_C$）： 更新$\Delta W_C$は、入力特徴空間$X_t$に対して直交しなければならない（$X_t \Delta W_C = 0$）。

これらの条件は、旧タスクの入力によって活性化される状態更新および出力生成プロセスが保持されることを保証する。

最適化戦略

これらの制約を効率的に実装するために、Mamba-CLは**零空間投影（null-space projection）**を採用している：

• 投影行列： 著者らは、過去のタスクから得られた特徴空間（$X_t, \delta_t, \delta_t X_t$）の非中心化共分散行列を計算する。特異値分解（SVD）を用いて、新しいタスクの勾配をこれらの特徴部分空間の零空間へと投影する投影行列（$H_1, H_2, H_3$）を導出する。
• バランス因子： 直交制約を緩和するために、ハイパーパラメータ$\eta \in [0, 1]$を導入する。これにより、安定性（旧知識の保持）と可塑性（新タスクの学習）のトレードオフが可能になる。$\eta=1$のときは厳密な零空間投影が適用され、値が小さくなるほど可塑性が許容される。
• 実装： 学習中、SSMパラメータ（$A, W_B, W_C, W_\delta$）および後続のリニア投影層の勾配は、パラメータ更新ステップの前にこれらの行列を用いて投影される。

主な貢献

1. 出力保存の観点： 本論文は、選択的SSMの継続的な適応を、選択的スキャンメカニズムと直交部分空間制約を結びつけることで、出力保存の観点から定式化している。
2. 理論的導出： 著者らは、Mambaモデル内のSSMブロックに関する4つの十分な一貫性条件を理論的に導出し、その再帰的構造と非線形な離散化の複雑さに対処している。
3. 零空間近似： これらの条件に基づき、勾配の直交投影を効率的に実装するための零空間ベースの近似が導入されており、これにより、過去のタスクサンプルを保存することなく（exemplar-free）、大規模なMamba基盤モデルの継続的な適応が可能になる。
4. 実証的検証： 広範な実験により、複数のベンチマークにおける本手法の有効性が示されている。

実験結果

著者らは、4つのクラス増分（class-incremental）ベンチマークでMamba-CLを評価した：

• データセット： 10分割および20分割のImageNet-R、10分割のCIFAR-100、および10分割のDomainNet。
• ベースライン： 本手法を、既存の最先端CL手法（L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASEなど）および直交投影を用いないMambaベースライン（Mamba-Seq）と比較した。
• 性能：
  • Mamba-CLは既存の手法と比較して優れた性能を達成した。10分割のImageNet-Rにおいて、精度81.67%、**忘却率4.07%**に達し、次に優れた手法（CL-LoRAの精度78.48%）を大幅に上回った。
  • Mamba-Seqベースラインと比較して大幅な改善を示し、ベンチマーク全体で精度を18%〜45%向上させ、忘却を24%〜61%減少させた。
  • 長期シーケンスCLシナリオ（50および100タスク）においても堅牢性を示し、他手法に対してリードを維持した。
  • アブレーション研究により、離散化ステップ（$\delta$）の投影が抗忘却において最も重要なコンポーネントであることが確認された。
  • このアプローチは、異なるMambaのバリアント（MambaVision, Vim, VMamba）や、さらには「スクラッチからの学習」シナリオでも検証され、その汎用性が確認された。

意義と主張

本論文は、Mamba-CLが、以前に獲得した知識への干渉を軽減しながら、大規模な基盤モデルのコアとなる選択的SSMモジュールを継続的に適応させるための効果的な方法を提供すると主張している。エピソード的なメタ学習、タスク固有のバックボーン拡張、またはエグゼンプラー（事例）の保持を必要とする従来のアプローチとは異なり、Mamba-CLはエグゼンプラーフリーの設定で動作し、推論時の追加操作も行わない。

著者らは、彼らの手法が単なる既存の投影技術の直接的な適用ではなく、SSMの特定の数学的構造への必要な適応であることを強調している。Mambaモデルの時間不変パラメータに対する特定の整合性条件を導出することで、継続学習の理論的要件と、状態空間モデルの実装との間のギャップを埋めている。結果は、入力依存の離散化、状態遷移、入力注入、および出力読み出しのプロセスを、零空間投影を通じて明示的に保護することが、Mambaベースのアーキテクチャにおいて強力な継続学習性能を達成するために極めて重要であることを示唆している。