Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

技術的サマリー：継続的学習におけるモデルマージのためのストレージ依存性の回避による開始点の再生

1. 問題定義

継続的学習（CL）は、モデルが破滅的な忘却なしに逐次的に新しい知識を獲得することを目的としています。モデルマージは、専門的な専門知識を統合されたマルチタスクモデルに組み込むためのトレーニング不要なパラダイムとして登場しましたが、既存の手法は、CL の厳格なメモリ制約と深刻な対立に直面しています。現在のマージ技術のほとんど（Model Stock、TIES、MagMax など）は、マージフェーズ中にすべての過去のタスクベクトルと初期モデルへのアクセスを必要とします。これは機能的に、過去の専門家全体のアンサンブルを保存することに相当し、歴史的データやモデルの保持を禁止する CL の原則に違反しています。

著者らは、現在の専門家と直ちにマージされたモデルのみが利用可能であるという厳格な CL 制約の下では、既存の手法が最大 6% に及ぶ破滅的な性能低下を被ることを実証しました。診断実験を通じて、この失敗の 3 つの根本原因が特定されました：

1. 最適でない局所収束: 既存の手法はグローバルな整合性を優先するため、マージされたモデルは個々のタスクの最適バレーから遠く離れた高損失領域に位置し、タスク固有の誤差が蓄積されます。
2. 構造的意味表現の破壊: 線形マージは層間の繊細な機能的依存関係を破壊し、特にタスク固有の意味がエンコードされている深い層において、顕著な意味のドリフトを引き起こします。
3. 最適化の可塑性の喪失: マージされたモデルは、勾配の角度偏差が最小化される「方向的な硬化」を示すことがよくあります。これは、モデルが損失地形の病理的に平坦な領域に閉じ込められていることを示しており、勾配の消失と後続のタスクへの適応能力の欠如をもたらします。

2. 手法：軌道正則化マージ（TRM）

これらの限界を歴史的データの保存なしに解決するため、著者らは軌道正則化マージ（TRM）を提案します。このフレームワークは、マージフェーズを拡張された軌道部分空間内における誘導された最適化問題として再定式化します。

拡張部分空間の構築:
現在のタスクベクトル（$\tau_t$）と過去のタスクベクトル（$\tau_{t-1}$）の 1 次元線形スパン内でのみ解を検索する代わりに、TRM はこれらのベクトルのスパンに直交する摂動ベクトル $P$ を導入します。この拡張は、ストレージ制約により失われた情報を補完し、検索が非凸パラメータ空間のより弾力的な領域を探求することを可能にします。マージされたタスクベクトルは以下のように定式化されます：
$$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$$
ここで、$\alpha$ と $\beta$ はそれぞれ補間係数と拡張係数です。

多目的監督信号:
最適な係数 $\{\alpha, \beta\}$ を特定するために、TRM は 3 つの相乗的な制約から構成される統合された目的関数を最適化します：

1. タスク整合性（$L_{align}$）: 現在のタスクにおける経験的リスク（交差エントロピー損失）を最小化します。これにより、マージされたモデルが最新の専門知識に固定され、高精度な局所バレーからの転位が防止されます。
2. 予測の一貫性（$L_{pre}$）: マージされたモデルの隠れ表現と、現在のファインチューニング済みモデルおよび過去の統合モデルの機能的重心との間の層ごとの L2 距離を最小化します。タスク固有の意味が存在するより深い層を優先する漸進的重み付けスキームが適用され、構造的意味のドリフトを防止します。
3. 勾配応答性（$L_{res}$）: 現在のタスクにおける勾配のノルムを最大化します。逐次的なタスク間には低レベルの機能的重なりが存在するという観察に基づき、現在のタスクにおける勾配ノルムを最大化することで、モデルの運動応答性を再活性化し、平坦な領域に閉じ込められることなく、将来のタスクに対する可塑性を維持します。

総損失は $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}$ と定義されます。さらに、検索中の局所最適解への早期収束を防ぐために、初期化には過去モデルと現在モデルからのパラメータの確率的なクロスオーバーが含まれます。

3. 主要な貢献

本論文は、4 つの主要な貢献を概説しています：

• 限界の特定: 既存のモデルマージ手法は CL の原則を完全に遵守しておらず、知識の保存が許可されない場合に顕著な性能低下を被ることを浮き彫りにしています。
• 理論的解析: このギャップの原因（局所最適性の喪失、意味ドリフト、可塑性の喪失）を分析し、マージを直交拡張された軌道部分空間内における最適点探索問題として再定式化しています。
• 新規フレームワーク: 3 つの制約（タスク整合性、予測の一貫性、勾配応答性）に導かれた TRM を提案し、保存されたモデルやデータ再生に依存することなく、歴史的安定性と将来の可塑性を調和させます。
• 実証的検証: 厳格な CL 制約下で複数のベンチマークにおいて最先端の性能を実証しています。

4. 実験結果

著者らは、CIFAR100、ImageNet-R、Stanford Cars の 3 つのデータセットで TRM を評価しました。クラス増分学習（CIL）を用い、タスク数（5、10、20）を変化させています。バックボーンには CLIP ViT-B/16 が使用されました。

• 性能: TRM はほとんどの設定で最先端の結果を達成しました。ImageNet-R において、5、10、20 のタスクにおいて、以前の SOTA 手法を 1.4% から 3.4% 上回りました。CIFAR100 においては、5 タスクで 3.1%、10 タスクで 1.5% 改善しました。
• アブレーション研究: 3 つの制約のいずれかを除去すると性能が低下し、安定性（整合性/一貫性）と可塑性（応答性）が相互に強化し合っていることが確認されました。
• スケーラビリティ: 大規模な ImageNet1K（100 タスク）および異なるバックボーン（ViT-L/14、LAION 事前学習済み ViT-B/16）での実験は、手法の堅牢性とスケーラビリティを確認しました。
• 効率性: TRM は一部のベースラインと比較してトレーニング時間がわずかに増加します（例：ImageNet-R で 33 分対 30 分）が、最小限のオーバーヘッドで顕著な性能向上を達成しています。
• 最適化の安定性: ヘッシアンスペクトルノルムの分析により、TRM は中程度で安定した損失地形の曲率を維持し、悪い汎化に関連する病理的な鋭さを回避していることが示されました。

5. 意義と主張

本論文は、TRM がモデルマージの理論的利点と継続的学習の実践的制約の間のギャップを成功裏に埋めたと主張しています。歴史的タスクベクトルの保存やデータ再生の必要性を回避することで、TRM は専門的な専門知識を統合するためのスケーラブルでプライバシーを保護するソリューションを提供します。著者らは、この手法が、マージされたモデルが過去の知識を保持する安定した状態と、新しい最適化に備える可塑性のある状態の両方から開始されるように、次のトレーニングフェーズの「開始点」を再生することにより、連続データストリームにおける破滅的な忘却を効果的に緩和すると述べています。この研究は、単純な線形補間ヒューリスティックを超えて、拡張された部分空間内での制約付き最適化としてマージを再定式化することが、CL にとって有望な道筋であることを示唆しています。