技術的概要：継続的学習のための疎直交パラメータ調整（SoTU）

問題定義

継続的学習（CL）は、モデルが「破滅的忘却」に陥ることなく、一連のタスクから学習することを目的としています。ここで破滅的忘却とは、新しいタスクを学習することが以前に獲得した知識を上書きしてしまう現象を指します。古典的な CL 戦略（リハーサル、正則化、動的拡張）は開発されてきましたが、これらは往々にしてゼロから訓練されたモデルに依存しています。最近では、大規模データセット（例：ImageNet-21K）で訓練されたビジョントランスフォーマー（ViT）などの事前学習モデル（PTM）の強力な汎化能力を活用する、PTM ベースの手法が登場しています。しかし、既存の PTM ベースの CL 手法は、一般的に以下の課題に直面しています：

1. 複雑な構造設計：多くのアプローチは、実世界での応用において実装が困難な、複雑なアダプターモジュール、プロンプトプール、またはアンサンブル戦略を必要とします。
2. 破滅的忘却：事前学習重みを凍結しているにもかかわらず、これらの手法は、特に大きなドメインギャップを持つタスク（例：ImageNet-R、ImageNet-A）において、多様な下流タスクにわたる性能維持に苦しむことが多いです。
3. 分類器への依存：多くの手法は、最適な性能を達成するために、複雑な分類器設計やメモリ集約的な例示（エクセンプル）の保存に依存しています。

著者らは、複数の微調整済みタスクからのパラメータをマージすることが忘却を緩和できるかどうかを調査し、特にこれらのパラメータ更新における疎性と直交性の役割を探求しています。

手法：SoTU（疎直交パラメータ調整）

提案された SoTU 手法は、複数のドメインからの知識を、直交的なデルタパラメータの融合に変換する「プラグアンドプレイ」アプローチです。これは 3 つの明確な段階で動作します：

1. 微調整段階

タスクストリーム $\{D_1, ..., D_T\}$ 内の各入力タスク $k$ に対して、この手法は事前学習済み ViT（$\theta_{pre}$）を用いて特徴抽出器を初期化します。その後、タスク固有の特徴（$\theta_{ft}^k$）と分類ヘッド（$W^k$）を学習するためにモデルを微調整します。重要なのは、分類ヘッド $W^k$ は特徴表現の学習を補助するためにのみ使用され、その後は破棄される点です。これは最終的なマージプロセスには参加しません。

2. デルタマスキング段階

この手法は、タスク $k$ に対して学習された知識を表すデルタパラメータ（$\Delta \theta^k = \theta_{ft}^k - \theta_{pre}$）を計算します。疎性と直交性を誘発するために、これらデルタはベルヌーイ分布から生成された二値マスク行列 $m$ を用いてランダムにマスクされます：
$$\Delta \hat{\theta}^k = \Delta \theta^k \odot m$$
ここで $m \sim \text{Bernoulli}(p)$ です。著者らは、高い疎性を確保するために、マスク確率 $p = 0.9$（パラメータの 10% のみを保持）を実験的に設定しました。このステップは決定的に重要です：著者らは、高い疎性がタスク間のパラメータ衝突を減少させ、結果としてデルタ更新を実質的に直交させることを仮説としています。

3. デルタマージ段階

個別のモデルを維持したり複雑なアンサンブルを使用したりする代わりに、SoTU はすべての観測済みタスクからの疎なデルタを単一の統合モデルにマージします：
$$\theta^k = \theta_{pre} + \sum_{i=1}^{k} \Delta \hat{\theta}^i$$
このマージされたモデルは、すべてのタスクに対する特徴抽出器として機能します。分類については、この手法は混合特徴を線形に分離可能な空間に変換する非線形ランダム射影メカニズム（RanPAC に類似）を採用し、その後、最近傍クラス平均（NCM）分類器を使用します。注目すべきは、この手法が CL プロセスに固有の複雑な分類器設計を必要とせずに、最適な特徴表現を達成する点です。

主要な貢献

論文は、4 つの主要な貢献を概説しています：

1. 高疎性マージの発見：著者らは、複数の高疎性デルタパラメータをマージすることが、個々の微調整済みモデルと比較して下流タスクで競争力のある、あるいは優れた性能を達成できることを発見しました。これは破滅的忘却に対抗するための有望な方向性を提供します。
2. 直交性の洞察：彼らは、このマージ戦略の有効性が、複数のタスクにわたるパラメータの直交性に由来することを示しました。高い疎性はパラメータの競合（衝突）を最小化し、タスク固有の知識が共存することを可能にします。
3. SoTU フレームワーク：複雑な分類器設計を必要とせず、ストリーミングデータに対して最適な特徴表現を達成する新規の CL 手法が提案されました。これはプラグアンドプレイのソリューションとして機能します。
4. 実験的検証：6 つのベンチマークにおける広範な実験により、SoTU が既存の最先端（SoTA）手法を上回ることを示しました。特に、特徴表現と大きなドメインギャップを持つデータセットにおいて顕著でした。

実験結果

著者らは、SoTU を CIFAR100、ImageNet-R、ImageNet-A、CUB200、VTAB、Cars196 の 6 つのベンチマークで評価しました。各データセットは 5 つまたは 10 のタスクに分割されました。この手法は、リハーサル手法（iCaRL、DER）、プロンプトベース手法（L2P、DualPrompt）、表現ベース手法（SimpleCIL、ADAM、RanPAC）、モデル混合手法（ESN、HiDe-Prompt）を含む 12 のベースラインと比較されました。

主要な知見：

• 優れた性能：SoTU は、すべてのデータセットで最高平均精度（$\bar{A}$）と最終精度（$A_T$）を達成しました。例えば、困難な Cars196 データセットにおいて、SoTU は以前の SoTA（RanPAC）に対して最終精度を +3.7% 向上させました。
• ドメインギャップに対する頑健性：この手法は、ImageNet から大きなドメインギャップを持つデータセット（ImageNet-R、ImageNet-A、Cars196）において顕著な優位性を示しました。他の PTM ベースの手法が苦労した領域です。
• 特徴空間の有効性：タスク固有の分類器を使用せず、純粋に特徴表現（NCM を使用）で評価された場合、SoTU は RanPAC を大幅に上回り、頑健で忘却しない特徴を学習する能力を実証しました。
• 疎性分析：マスク率を変化させた実験により、以下のことが明らかになりました：
  • 高い疎性（80〜90% マスク）は競争力のある性能を維持します。
  • 低い疎性は深刻なパラメータ衝突と性能の低下をもたらします。
  • 過度の疎性（90% 超のマスク）は、必要なタスク固有の知識を除去します。
  • 最適なデルタ疎性比率は、およそ $1/T$（$T$ はタスク数）であるように見えます。
• アテンション可視化：アテンションマップの可視化は、高疎性デルタをマージすることが個々のタスクのアテンションパターンを保持することを確認しました。一方、マスクなしでマージすると、パラメータ衝突により深刻な歪みが生じます。

意義と主張

この論文は、SoTU が事前学習パラメータの疎直交特性を活用することで、破滅的忘却問題に対するシンプルかつ効果的な解決策を提供すると主張しています。

• シンプルさ：複雑なプロンプトプールや動的なアーキテクチャ拡張を必要とする手法とは異なり、SoTU は単純なマスキングとマージメカニズムに依存しています。
• プラグアンドプレイ：この手法は複雑な分類器設計を必要としないため、さまざまな実世界のストリーミングシナリオに適応可能です。
• 理論的基盤：著者らは、デルタパラメータのランダムなマスキングがアテンションマップの構造を保持し、モデルがパラメータの大幅な削減にもかかわらず対応するタスクで良好に機能することを示唆する理論的分析を提供しています。

著者らは、疎な直交デルタパラメータをマージすることが、継続的学習のための強力なメカニズムであり、逐次学習の課題をパラメータ直交性の管理という問題へと変換すると結論付けています。彼らは、今後の研究においてこのアプローチを自然言語生成などの他のドメインに拡張する意向です。