技術要約: Task-Differentiated Atomic Skill Expansion and Routing (TASER)

1. 問題提起

大規模言語モデル（LLM）における継続学習（CL）は、従来、逐次的なタスクが意味的に関連しているか、あるいは構造的に類似しているという仮定の下で研究されてきました。しかし、実際の運用環境では、タスクが推論パターン、入出力形式、および認知的な次元（例：数学的推論から法的要約への移行）において大幅に異なる、高度に不均質なタスクストリームに直面することが多々あります。

このような設定において、既存の手法は主に2つの課題に直面します：

1. 破滅的忘却（Catastrophic Forgetting）: タスク間の極端な乖離により、新しいドメインのための更新が、以前に学習された表現を激しく破壊してしまいます。
2. 非効率な容量割り当て（Inefficient Capacity Allocation）: 固定容量のモデルは新たなスキルを収容できず、一方で無差別な拡張は冗長性と干渉を招くリスクがあります。特定のタスクに対してどれだけの新しいパラメータ（スキル）が必要かを、事前に決定することは困難です。なぜなら、タスクは共有された能力と専門化された能力の両方を必要とするからです。

現在のベンチマークは、高い意味的重複や同一の出力モダリティを持つタスクシーケンスに依存しており、この複雑さを捉えきれていないことが多くあります。

2. 手法: TASERフレームワーク

著者らは、パラメータの安定性を維持しながら容量の成長を動的に管理するように設計された、モジュール型のCLフレームワークである**Task-differentiated Atomic Skill Expansion and Routing (TASER)**を提案しています。TASERは、モデルの容量を「アトミックスキル」（LoRAのようなパラメータ効率の高いアダプタを通じて実装される、再利用可能な機能モジュール）の増大するライブラリとして構成しており、以下の3つの調整されたコンポーネントで構成されています。

A. アトミックスキルの逐次的学習（適応的容量拡張）

すべてのタスクに対して固定のランクを使用する代わりに、TASERは、タスクの乖離度とモデルの不確実性に基づいて、各入力タスク $T_k$ に対して必要な新しいアトミックスキルの数を動的に決定します。

• タスク部分空間プロービング（Task Subspace Probing）: 新しいタスクが好む更新方向を明らかにするために、一時的な過剰パラメータ化された「プローブ」アダプタを短期間訓練します。
• 新規部分空間の抽出（Novel Subspace Extraction）: プローブの更新方向を、歴史的なスキルの部分空間（過去のアダプタから構築されたもの）の直交補空間に投影し、残留する新しい方向を分離します。
• 適応的容量サイズ決定（Adaptive Capacity Sizing）: 残差行列に対して特異値分解（SVD）を実行します。新しいアダプタのランク（$r_{new}$）は、目標とするスペクトルエネルギーの割合（$\theta_{energy}$）をカバーするために必要な最小限の特異値の数によって決定されます。これにより、既存のスキルによってスパン（展開）されていない方向を新しいタスクが必要とする場合にのみ、容量が拡張されることが保証されます。

B. 直交性を強化したスキル検出

新しく追加される容量が意味的に明確に区別され、独立して再利用可能であることを確実にするため、TASERは新しいスキルの訓練中に明示的な直交制約を課します。

• タスク間直交性（Inter-Task Orthogonality）: ペナルティ項（$L_{inter}$）により、新しいスキルのダウンプロジェクション行列と歴史的なスキル空間との相関を最小化し、表現の重複を防ぎます。
• タスク内直交性（Intra-Task Orthogonality）: ペナルティ項（$L_{intra}$）により、新しいスキルの行列内の行方向の直交性と単位ノルムを強制し、ランク崩壊を防ぎ、新しい容量が複数の異なる方向をスパンすることを保証します。

C. スキル・ダイナミック・ルーティング

すべての入力に対してすべてのスキルを活性化させることによる計算効率の低下と干渉を避けるため、TASERは軽量なタスク条件付きゲーティングメカニズムを採用しています。

• 疎な組成（Sparse Composition）: ルーター（ボトルネックを持つ2層MLP）が入力活性化を受け取り、ゲーティングベクトル $\alpha(x)$ を出力します。
• 選択（Selection）: このベクトルは、ライブラリ内の特定のアトミックスキルの寄与を選択的に増幅または抑制します。
• 疎性（Sparsity）: ルーターの出力に $L_1$ ペナルティを適用することで、与えられた入力に対して最小限の関連スキルのみが活性化されるよう促し、効率的なクロスタスクの再利用を促進します。

3. 主な貢献

1. HeteroCLBench: 著者らは、高度に不均質な継続学習のために特別に設計された新しいベンチマークを導入しました。これは、19の機能的に多様なタスクを、9つの認知的なマクロ次元（例：数学的推論、コード生成、感情的知性）および24の微細なサブカテゴリにマッピングしたものです。このベンチマークは、スキルの分離と可塑性を厳格にテストするために、ランダム化されたタスク順序を用いた標準化された逐次的プロトコルを使用しています。
2. TASERフレームワーク: 適応的なアトミックスキルの拡張、スキルの分離、およびダイナミック・ルーティングを共同で行う新しいCL手法です。これは、フルリトレーニングを必要とせずに、容量割り当ての「量」と「対象」の問題に対処します。
3. 実証的検証: Llama-3-8B-Instruct および Qwen-2.5 バックボーンを用いた広範な実験により、TASERが新しい HeteroCLBench および既存の LNT ベンチマークの両方において、強力なベースライン（EWC, Replay, I-LoRA, MoE-LoRA, CL-MoE を含む）を上回ることを示しました。

4. 実験結果

実験は Llama-3-8B-Instruct と Qwen-2.5 バックボーンを使用して行われました。

• HeteroCLBench における性能: TASER は 平均性能（AP）63.31 を達成し、すべての継続学習ベースラインを上回り、マルチタスク学習（MTL）の上限である 65.70 に迫りました。
• 忘却の軽減: TASER は最高の 後方転送（BWT）の -0.94 を達成しました。これは、逐次的ファインチューニング（-13.54）や CL-MoE（-15.13）のような他のモジュール型ベースラインと比較して、大幅な改善です。これは、優れた安定性と破滅的忘却の減少を示しています。
• アブレーション研究: 3つのコアコンポーネント（逐次的学習、直交性検出、またはダイナミック・ルーティング）のいずれかを削除すると、一貫した性能低下が見られました。特に、ダイナミック・ルーティングを削除した場合、最も深刻な低下（AP が 18.49 低下）が発生し、タスク干渉を管理する上でのその決定的な役割が浮き彫りになりました。
• 堅牢性: 本フレームワークは、異なるモデルアーキテクチャ（Llama-3 および Qwen-2.5）および異なる容量予算（$r_{max}$）にわたって一貫した性能を示し、そのSVDベースのルーティングメカニズムの安定性を検証しました。
• 動的割り当て: ランク割り当ての可視化により、TASER が構造的に要求の高いタスク（例：クロスリンガル翻訳）には高いランクを割り当て、既存のセマンティック・プライア（意味的事前知識）を再利用できるタスク（例：分類）には低いランクを正しく割り当てていることが示され、容量の冗長性を防ぐ能力が確認されました。

5. 意義と主張

本論文は、高度なタスクの不均質性下での継続学習には、パラメータの保存とともに、適応的かつモジュール的な容量成長が必要であり、それが生物学的な神経可塑性を模倣していると主張しています。

• パラダイムの転換: 本研究は、CLの焦点を、単に類似したドメインでの知識保持から、明確に異なるタスクへの特化と、異質なドメイン間での共有能力の再利用を同時に実現することへとシフトさせます。
• ベンチマークの必要性: 著者らは、既存のベンチマークには、現実的な生涯学習シナリオを評価するために必要な構造化されたタクソノミー（分類体系）と認知的多様性が欠けていると主張しています。HeteroCLBench は、9つの認知次元と19の多様なタスクをカバーすることで、このギャップを埋めます。
• スケーラビリティ: TASER は、タスクの複雑さと転移性が変動する複雑な実世界のストリームに適応するためのスケーラブルなソリューションを提供し、固定容量の制約や過度なパラメータ膨張なしに、可塑性（新しいスキルの学習）と安定性（古いスキルの保持）のトレードオフをバランスよく管理します。