FGGM: Fisher-Guided Gradient Masking for Continual Learning

技術要約：Fisher誘導型勾配マスキング (FGGM) による継続学習

1. 問題提起

本論文は、大規模言語モデル（LLM）の**継続学習（Continual Learning, CL）における破滅的忘却（catastrophic forgetting）**に対処するものである。LLMが新しいタスクのストリームに適応していく際、以前に学習したタスクに不可欠なパラメータを唐突に上書きしてしまい、既知の知識を失う傾向がある。

既存の緩和戦略には、以下のような重大な限界がある：

• **リプレイベースの手法（Replay-based methods）**は、過去のデータを保存または生成する必要があり、プライバシーとスケーラビリティの懸念が生じる。
• パラメータ凍結手法（Parameter-freezing methods）（例：LoRA、Prompt Tuning）は、ベースとなるパラメータを凍結することが多く、ダウンストリームタスクの性能を制限する可能性がある。
• **EWCのような正則化ベースの手法（Regularization-based methods）**は過去のデータに依存しており、一方でOGD（Orthogonal Gradient Descent）のような手法は、LLMのフルファインチューニングにおいて膨大なメモリコストを強いる。
• MIGUは、最近のリプレイフリー手法であるが、経験的な出力の大きさに基づいてパラメータを選択しており、パラメータの重要性を推定するための理論的根拠に欠けている。

2. 手法：FGGMフレームワーク

著者らは、**Fisher誘導型勾配マスキング（Fisher-Guided Gradient Masking, FGGM）**を提案する。これは、過去のデータへのアクセスを必要とせず、**対角フィッシャー情報（diagonal Fisher Information）**を用いてパラメータを戦略的に選択することで、破滅的忘墨を軽減するフレームワークである。このフレームワークは2つのフェーズで動作する：

A. フィッシャー誘導型マスクの初期化
新しいタスク $T_t$ に対して、FGGMは新しいタスクのデータを用いてフィッシャー情報行列（FIM）の対角要素を推定する。対角FIMの要素 $\hat{F}^{(t)}_i$ は、対数尤度の二乗勾配を測定することで、パラメータ $\theta_i$ の重要性を定量化する：
$$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$$
層によって異なるパラメータ重要性の非定常な分布を扱うため、FGGMは**適応的閾値処理（adaptive thresholding）**を採用する。経験的なフィッシャー値の $(1-\alpha)$ パーセンタイルを超えるパラメータを保持（値1）、それ以外をマスク（値0）とするバイナリマスク $M^{(t)}$ が生成される。

B. 入力次元集約（IA）によるマスク正規化
主要な革新は、ニューラルネットワークのアーキテクチャに基づいたマスクの正規化である。重み行列 $W \in \mathbb{R}^{D_{out} \times D_{in}}$ を持つ全結合層の場合、フィッシャースコアは各出力ニューロンに対して入力次元方向に集約される：
$$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$$
この戦略は、出力ニューロンを原子的な計算単位としてその機能的完全性を維持する。論文では、入力方向への集約（IA）は、出力方向への集約（OA）よりも優れていると論じられている。なぜなら、IAは特徴固有の感度信号の分散を防ぎ、明確なタスク境界を維持するが、OAはタスクの区別を曖昧にし、忘却を増大させる可能性があるからである。

C. 勾配投影（Gradient Projection）
バックプロパゲーション中、生の勾配 $g^{(t)}$ はバイナリマスク $M^{(t)}$ と要素ごとに乗算される：
$$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$$
これにより、更新はフィッシャー情報によって特定された重要なパラメータのみに限定され、パラメータ空間の非クリティカルな領域を効果的に凍結する。

3. 主な貢献

1. 新規フレームワーク： 経験的な大きさの観察ではなく、理論的根拠に基づいたフィッシャー情報を用いる、LLMの継続学習のためのリプレイフリー手法であるFGGMの導入。
2. 理論的な重要性推定： フィッシャー情報を通じてパラメータとタスクの関連性を直接測定するメカニズムを提供し、可塑性（plasticity）（新しい能力の獲得）と安定性（stability）（既存知識の保持）のバランスを実現する動的な勾配ゲーティングを可能にした。
3. アーキテクチャ正規化： フィードフォワード層の機能構造にマスク生成を適合させるための、入力次元集約（IA）の提案。これにより、堅牢なパラメータ選択を保証する。
4. 実証的検証： 標準的なベンチマークにおいて、モデルの適応性を損なうことなく、MIGUを含む最先端のベースラインをFGGMが凌駕することを実証した。

4. 実験結果

実験は、Qwen2モデル（1.5Bおよび7Bスケール）を用い、TRACEベンチマーク（一般的な能力および多様なダウンストリームタスクをカバー）およびコード生成タスク（HumanEval/BBH）に対して行われた。

• 一般的能力（安定性）： 総合的なGeneral指標（MMLU, BBH, TyDiQAなど）において、FGGMは55.75を達成し、MIGU（55.21）を上回り、SFT（50.89）やLoRA（49.48）を大幅に上回った。特筆すべきは、FGGMが過去のデータにアクセスしていないにもかかわらず、General指標においてリプレイベースの手法（REP, EWC）を上回ったことであり、これは本アプローチのプライバシーとスケーラビリティの利点を強調している。
• TRACE全体性能（可塑性）： FGGMはTRACE-OPで46.00を達成し、新しいタスクを学習しながら一般的な能力を保持するという点で、MIGU（44.08）に対して4.4%の相対的改善、SFT（49.22）に対して9.6%の相対的改善を示した。
• コード生成： HumanEvalベンチマークの実験において、FGGMはすべての評価指標においてSFTおよびMIGUよりも一貫して高い精度を達成し、同時にBBHベンチマークにおける忘却の減少も示した。
• スケーリング： モデルサイズが1.5Bから7Bに増加するにつれて、FGGMとMIGUの性能差が拡大しており、FGGMの優れたスケーラビリティを示唆している。
• アブレーション研究：
  • 次元集約： 入力次元集約（w/o IA）を削除すると、General性能が55.75から54.85に低下した。出力次元集約（OA）を適用すると、より深刻な低下（53.16）を招き、タスク固有の感度を保持するためのIAの必要性が確認された。
  • マスキング率（$\alpha$）： $\alpha$ が小さいほど（更新が多いほど）可塑性（TRACE-OP）は向上するが、安定性（General）は低下するというトレードオフが観察された。MIGUとの公平な比較のため、著者らは $\alpha=0.7$ に設定した。

5. 意義と主張

本論文は、パラメータの重要性推定に対して数学的に根拠のあるアプローチを提供することにより、LLMの継続学習に対する効果的な解決策を確立したと主張している。MIGUのような大きさに基づく手法とは異なり、FGGMはフィッシャー情報を用いて、タスクの損失に対するパラメータの寄与を定量化する。

著者らは、FGGMが過去のデータなしに安定性と可塑性の動的な平衡を達成することを強調している。これは、リプレイベースの手法におけるプライバシーとスケーラビリティのボトルネックに対処するものである。結果は、原理に基づいた勾配マスキング戦略が、特に過去のデータが利用できない、あるいは制限されているシナリオにおいて、LLMの性能を維持するための汎用的かつ効果的なツールであることを示唆している。結論として、FGGMは、過去のタスクデータにアクセスしない手法の中で、安定性における最先端のアプローチであると述べている。