技術的サマリー：必要なものだけを手にする：継続的学習における暗黙の忘却正則化器としてのランク最小化

問題定義

継続的学習（CL）は、可塑性（新たな知識を獲得する能力）と安定性（既存の知識を保持する能力）の間の根本的な緊張関係に直面しています。事前学習済みモデル（PTM）の文脈において、既存のアプローチは一般的に 2 つの領域に分類されます：

1. モデル補完：PTM を凍結し、外部モジュール（アダプターやプロンプトなど）を追加するか、直交部分空間を維持します。これらは安定していますが、バックボーンの能力を真に向上させるものではなく、タスク固有のルーティングや推論時のセレクターを必要とすることが多いです。
2. 参照制約学習：PTM の重みを直接更新しますが、保存されたデータ（リプレイバッファ）やメモリを用いて更新を制約します。これは高いトレーニングコストを伴い、過去のデータを保存する必要があり、しばしば破滅的忘却の被害に遭います。

この論文が取り組む中心的な課題は以下の通りです：過去のデータ、タスク識別子、外部モジュールに依存することなく、既存の能力を維持しつつ新たな知識を取り込むために、どのように事前学習済みバックボーンを継続的に更新できるか？

手法：CoDyRA

著者は、パラメータ更新の有効ランクを、可塑性と安定性のバランスを取るための主要な設計ノブとして扱う、容量制御型アプローチである**継続的動的ランク選択型 LoRA（CoDyRA）**を提案します。

核心的な洞察

1. 制御ノブとしてのランク：CLIP における実証的分析を通じて、著者は LoRA のランクが可塑性と安定性のトレードオフを直接支配することを示しています。高いランクは新しいタスクの学習（可塑性）を促進しますが、忘却を増大させます。一方、低いランクは忘却を抑制（安定性）しますが、適応を制限します。モジュールやタスクによって異なる「絶妙な地点」が中程度のランクに存在します。
2. 理論的 bound：本論文は、参照分布における忘却 $F(\theta_t)$ が、更新 $\Delta W$ のフロベニウスノルムを含む項によって上から抑えられることを示す忘却 bound を導出しました。重要なのは、$\|\Delta W\|_F \leq \sqrt{\rho} \|B\|_2 \|A\|_2$ であり、ここで $\rho$ は有効ランクである点です。これは、有効ランク $\rho$ を低減させることが、特定の参照データ分布に関わらず忘却を正則化する効果を持つことを確立しています。

アルゴリズム設計

CoDyRA は、ランク最小化を LoRA のトレーニングプロセスに直接統合します：

• アーキテクチャ：LoRA アダプターを、ビジョンエンコーダとテキストエンコーダの両方のすべての Attention モジュールと MLP モジュールに挿入します。
• 動的ランク選択：固定されたランク $r$ の代わりに、更新をランク 1 成分の重み付き和として定式化します：
  $$\Delta W = \sum_{i=1}^r w_i B_{:,i} A_{i,:}$$
  ここで、$w_i$ は学習可能な重要度重みです。
• 正則化目的関数：トレーニング目的関数は、現在のタスクの教師あり損失（$L_{sup}$）と、重要度重みに対する $\ell_1$ 正則化項を組み合わせます：
  $$L_{train} = L_{sup} + \lambda \sum_{m} \|w_m\|_1$$
  この $\ell_1$ ペナルティは、重要度重み $w$ における疎性を促進します。$w_i$ がゼロに近づくにつれて、対応するランク 1 成分が実質的に剪定され、有効ランク $\rho$ が低減します。
• 最適化：微分不可能な $\ell_1$ ノルムは、ソフトしきい値処理を用いた近接勾配法によって処理されます。しきい値 $\kappa$ は、ゼロから $\kappa_{max}$ までスケジュール通りに増加し、疎性を強制する前に最初は密な更新を可能にします。

主要なメカニズム

アクティブなランクを最小化することにより、CoDyRA は暗黙の忘却正則化器として機能します。これは、モデルに現在のタスクに必要な最小限の容量のみを保持させることで、パラメータのシフトを小さな部分空間に制限し、PTM に符号化された一般的能力や過去のタスクからの知識との干渉を防ぎます。

主要な貢献

1. ランクによる容量制御：本論文は、パラメータ更新の有効ランクを、モデルレベルの容量（パラメータ数）とは区別される、可塑性と安定性のトレードオフに対する直接的で制御可能なレバーとして特定しました。
2. 理論的つながり：有効ランクと忘却を結びつける形式的な bound を提供し、ランク最小化が更新の大きさや次元範囲を制約することで、過去のデータへのアクセスなしに既存の知識を保護することを証明しました。
3. CoDyRA フレームワーク：ランク最小化と LoRA 更新を共同でトレーニングする手法を提案し、リプレイバッファ、タスク ID、外部モジュールなしで、新しいタスクの学習と事前学習済み能力の保持の間に強力なバランスを達成しました。
4. 実証的検証：CLIP（MTIL、X-TAIL）および LLM（TRACE）における広範な実験により、CoDyRA が精度と忘却の両方の指標において、最先端の手法を上回るか、あるいは競合することを示しました。

実験結果

本手法は以下の対象で評価されました：

• CLIP：マルチドメインタスクインクリメンタル学習（MTIL）およびクロスドメインタスク非依存インクリメンタル学習（X-TAIL）。
• LLM：LLaMA および Gemma モデルを使用した TRACE ベンチマーク。

主要な知見：

• 優れた可塑性と安定性のバランス：CoDyRA は、ほとんどの設定で、最も高い「Transfer」精度（未見のタスクに対する事前学習済みゼロショット能力の保持）と「Last」精度（ストリーム後の全タスクのパフォーマンス）を達成しました。例えば、MTIL において、CoDyRA はゼロショット参照ベースライン（70.1 vs. 69.4）を上回りましたが、他の手法はそれより下回るか、それによって制限されていました。
• 最小限の忘却：CoDyRA は、最も低い後方転送（BWT）スコアを達成しました（CLIP 上で 1.87%、固定ランク LoRA では 5% 超、直交手法では 8% 超）。これは、破滅的忘却が大幅に抑制されたことを示しています。
• 効率性：モデル補完手法とは異なり、CoDyRA は更新をバックボーンにマージするため、推論オーバーヘッドは発生せず、保存された過去のデータやタスク識別子を必要としません。また、多くのベースラインよりも少ない学習可能パラメータを使用します。
• 建設的なシフト：累積パラメータシフトの分析により、CoDyRA の更新は時間とともに準線形に増加するのに対し、固定ランク LoRA はほぼ線形に増加することが示されました。さらに、蓄積されたシフトは建設的であり、保持されたデータセットにおけるゼロショット性能をわずかに向上させ、劣化させるのではなく、むしろ改善することが判明しました。

意義と主張

本論文は、継続的学習の領域においてランク最小化が普遍的な忘却正則化器として機能すると主張しています。更新の有効ランクを制御することで、CoDyRA は単一の更新ベースの基準の下で、一般的な事前学習済み能力と過去のタスクの知識の両方を保護します。

著者は、このアプローチが以下のものを不要にすることを強調しています：

• リプレイバッファまたは保存された参照データ。
• 推論時のタスク識別またはルーティングメカニズム。
• 推論コストを増大させる外部補助モジュール。

この研究は、「必要なものだけを手にする（最小限のランク）」ことが、事前学習済みモデルを継続的に更新するための原理的な方法であることを示唆しており、ビジョンおよび言語モデル全体で理論的根拠と実証的有効性の両方を備えた、安定性と可塑性のジレンマに対する堅牢な解決策を提供しています。