Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Mamba-FSCILの技術要約：選択的状態空間モデルによる動的適応を用いた少ショット・クラス増分学習

問題提起
少ショット・クラス増分学習（FSCIL）は、限られた事例から新しいクラスを継続的に学習しつつ、以前に学習したベースクラスの知識を保持することを目的としている。既存のアプローチは、安定性と可塑性のトレードオフに関する決定的なジレンマに直面している。静的な適応手法は、すべてのセッションで共有される固定容量のプロジェクターを採用しているが、新しいクラスのためにこれらの共有重みを更新すると、ベース知識をエンコードしているパラメータが上書きされ、壊滅的忘却を招くことが多い。対照的に、セッションごとに新しいパラメータを割り当てる動的適応手法は、安定性を維持するためにアーキテクチャを拡張するが、これはモデルの増大を無制限に引き起こし、計算コストを増大させ、スケーラビリティを制限する。核心となる課題は、パラメータの増分なしに、新しいクラスへの動的な適応を実現し、かつ古い知識を保存することである。

手法
著者らは、入力依存の動的計算を固定容量のアーキテクチャ内で実現するために、選択的状態空間モデル（SSM）、特にMambaを活用したフレームワークであるMamba-FSCILを提案する。モデルサイズを拡張する代わりに、本手法は入力内容に基づいてコアパラメータ（$B_i, C_i, \Delta_i$）をオンザフライで生成するMambaの能力を利用する。フレームワークは、主に以下の3つのコンポーネントで構成される。

1. 二重選択的SSMプロジェクター:
   安定性と可塑性を構造的に分離するため、プロジェクターを2つの並列ブランチに分割する。

   • ベース選択的SSMブランチ ($g_{base}$): このブランチは「安定性のアンカー」として機能する。これはベースセッションでのみ学習され、その後凍結される。従来の静的な凍結モジュールとは異なり、$g_{base}$は計算的には動的なままである。つまり、凍結されていても入力条件付きのパラメータを生成し続け、基礎となるベースクラスの表現を保持する、コンテキスト依存の安定した変換を提供する。
   • インクリメンタル選択的SSMブランチ ($g_{inc}$): このブランチは「可塑性のエンブラー」として機能する。これは、すべてのインクリメンタルセッションで再利用される、単一の固定容量Mambaモジュールである。Mambaの入力依存メカニズムを利用して、新しいクラスに必要とされる残留特徴量のシフトを捉える。入力コンテキストに基づいて異なる動的パラメータを生成することで、$g_{inc}$は新しいブランチを追加することなく新しいクラスに適応する。

2. クラス感受性選択的スキャンメカニズム:
   $g_{inc}$の動的適応が単なるコンテンツ依存ではなく、クラス感受性であることを確実にするため、著者らは2つの正則化損失を導入している。

   • 抑制損失 ($\mathcal{L}_{supp}$): この損失は、ベースクラスの入力に対するゲーティングストリーム（$Z_{inc}$）の活性化強度を最小化する。ベースクラスに対するインクリメンタルブランチの寄与を抑制することで、凍結された安定性アンカーへの干渉を防ぐ。逆に、新しいクラスの入力に対しては大きなノルムを促進し、適応を容易にする。
   • 分離損失 ($\mathcal{L}_{sep}$): この損失は、ベースクラスと新規クラスに対して生成された平均的な状態空間パラメータ（$B, C, \Delta$）間の絶対コサイン類似度を最小化する。これにより、モデルが新しい概念に対して明確な変換経路を形成することを促し、表現の重複を減らし、可塑性を高める。

3. 最適化戦略:
   フレームワークは、固定されたSimplex Equiangular Tight Frame (ETF) 分類器を利用する。ベースセッションでは、バックボーン、アイデンティティブランチ、および$g_{base}$が共同で最適化される。インクリメンタルセッションでは、バックボーンと$g_{base}$は凍結され、Dot Regression (DR) 損失、抑制損失、および分離損失を組み合わせて$g_{inc}$のみが最適化される。システムは、以前のセッションの生の画像を保存またはリプレイすることなく、クラス平均プロトタイプによるコンパクトな特徴レベルのメモリに依存して動作する。

主な貢献

• Mamba-FSCILフレームワーク: Mambaの入力依存の動的計算をFSCILに適用し、固定容量モデル内でのクラス感受性適応を実現した最初のフレームワークである。
• 二重選択的SSMプロジェクター: 凍結された計算動的なベースブランチと再利用可能なインクリメンタルブランチを介して、ベースクラスと新規クラスの処理を分離する構造的イノベーションであり、パラメータ拡張なしに安定性と可塑性のバランスをとる。
• クラス感受性選択的スキャンメカニズム: 抑制損失と分離損失を用いた新しい正則化戦略により、インクリメンタルブランチの動的パラメータ生成を明示的にガイドし、ベースクラスと新規クラスに対して明確な処理パターンを確保する。
• 最先端の性能: 広範な実験により、Mamba-FSCILがminiImageNet、CIFAR-100、CUB-200において既存の静的および動的方法を凌駕することが示されている。

実験結果
論文では、3つのベンチマークデータセットにおける広範な評価を報告している。

• miniImageNet: ResNet-12バックボーンを使用し、Mamba-FSCILは平均精度（AVG）69.74%、最終セッション精度59.29%を達成し、従来の最先端手法（NC-FSCIL）をそれぞれ1.92ポイントおよび0.98ポイント上回った。
• CIFAR-100: ResNet-12を用い、本手法はAVG 68.19%、最終精度57.52%を達成し、NC-FICLおよびFeSSSSを大幅に上回った。
• CUB-200: この微細な分類データセットにおいて、Mamba-FSCILはAVG 68.11%、最終精度61.52%を達成した。Transformerバックボーン（例：Swin-T, ViT-B/16）を使用した場合も、一貫して最高水準または非常に競争力のある性能を示し、特にDSNのような拡張型手法と比較して性能低下（PD）を顕著に抑制した。
• アブレーション研究: 実験により、二重ブランチ設計とクラス感受性損失が極めて重要であることが確認された。フルモデルは、静的プロジェクター、単一のSSMブランチ、または正則化を欠くバリアントよりも優れた性能を示した。活性化マップとt-SNE可視化による定性的分析は、ベースクラスの安定した表現を維持しながら、新しいクラスに動的に適応するモデルの能力を裏付けている。

意義
本論文は、Mamba-FSCILが、パラメータ共有パラダイムとパラメータ拡張パラダイムの両方に対する実用的かつスケーラブルな代替案を提供すると主張している。入力依存の動的計算を利用することで、モデルアーキテクチャを継続的に拡張するという計算オーバーヘッドなしに、安定性と可塑性のジレンマを解決する。本研究は、選択的状態空間モデルが、確立された知識の完全性を維持しながら、新しいデータに対して明確でクラス感受性のある処理パターンを生成することにより、少ショットの増分設定における壊滅的忘却を効果的に軽減できることを示している。