技術的概要：CRAFT – 継続的学習のための忘却認識型介入ベース適応

1. 問題定義

大規模言語モデル（LLM）は、ファインチューニングを通じて新しいタスクに適応させられる際、破滅的忘却に悩まされます。これは、標準的なファインチューニングが既存の知識を符号化する同じパラメータを更新するためであり、新しいタスクの学習（可塑性）と既存タスクの保持（安定性）との間に本質的なトレードオフが生じるからです。既存の解決策—正則化（例：EWC）、リプレイ機構、LoRAプールなどのアーキテクチャ制約—は、対立の根源であるパラメータ空間内で動作します。これらの手法は、しばしば学習されたゲーティング機構（それ自体が忘却の影響を受けやすい）や、変化する共有知識を捉えられない固定参照を必要とします。

本論文は、継続的学習をパラメータ間の競合の問題としてではなく、表現レベルの介入の組織化と制御として再定義すべきであると提唱しています。バックボーン重みを凍結し、低ランク部分空間内で隠れ表現を編集することで、重みレベルの干渉の源を除去します。しかし、表現ベースの学習には課題が残っています：類似タスク間で容量を共有しつつ、無関係なタスク間の競合を強制しない方法、学習されたゲートなしでタスクをルーティングする方法、そして効率性を制限することなく適応中の忘却を制御する方法です。

2. 手法：CRAFT

CRAFT（Continual Representation-Anchored Fine-Tuning）は、モデル重みを変更することなく、表現空間全体でルーティング、適応、マージを実行するフレームワークです。これは、特定のトークン位置における隠れ状態 $h^{(l)}$ を低ランク介入関数 $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$ を用いて編集するLoReFT（Low-rank Linear Subspace ReFT）を活用します。

このフレームワークは、単一のカルバック・ライブラー（KL）ダイバージェンス信号によって駆動される 3 つの統合された段階で動作します。

A. 介入アーキテクチャ

CRAFT は、残差ストリーム内の 2 つのプロンプトストリームに介入を分割します：

1. f-stream：最初の $t_{pos}$ トークン（プレフィックス）に適用され、指示を符号化します。
2. l-stream：最後の $t_{pos}$ トークン（サフィックス）に適用され、出力がコミットされます。
   類似タスクグループ $S_k$ 内のタスクは共通の介入状態 $\phi_{S_k}$ を共有し、異なるグループのタスクは隔離されたままになります。

B. 決定論的ルーティング（学習されたゲートなし）

学習可能なルーターの代わりに、CRAFT は出力分布のダイバージェンスを用いてタスクを割り当てます：

1. ウォームアップ：新しいタスク $\tau_t$ は、共有ランダムシードから $S_{wu}$ ステップの短いウォームアップを受け、仮の介入 $\tilde{\phi}^{(t)}$ を生成します。
2. 距離計算：出力分布 $\pi_{\tilde{\phi}^{(t)}}$ を、正規化された対称 KL 距離を用いて既存のグループ $S_k$ の保存された分布と比較します：
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   ここで、$D_K$ は新しいタスクとベースラインとの距離、$D_{G_k}$ はグループとベースラインとの距離、$D_{KG_k}$ はタスクとグループとの距離です。
3. 割り当て：$d(t, k) \le \delta$ の場合、タスクはグループ $S_k$ に参加します。そうでない場合、新しいグループがシードされます。これには学習可能なルーティングパラメータやタスク識別子を必要としません。

C. KL 正則化適応とマージ

グループ $S_k$ に割り当てられた後：

1. アンカリング：グループの現在の状態 $\phi_{S_k}$ がアンカー $\phi_{anchor}$ として凍結されます。
2. トレーニング：タスクの介入 $\phi^{(t)}$ は、以下の損失関数を用いて新しいタスクに対してトレーニングされます：
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   KL 項は、以下の役割を果たす統合された信号として機能します：
   • 正則化：グループの既存知識からの逸脱を防ぐためにトレーニングを正則化します。
   • 忘却の予測：経験則（Shenfeld et al., 2025）に基づき、高い KL ダイバージェンスは忘却と相関します。初期エポックの平均 KL が閾値 $\eta$ を超える場合、タスクは新しいグループへ追放されます。
3. マージ：収束後、トレーニング済みの $\phi^{(t)}$ が共有状態 $\phi_{S_k}$ を上書きします。

3. 主要な貢献

1. 介入レベルの継続的学習：CRAFT は、モデル重みを変更することなく、表現空間全体でルーティング、適応、マージを同時に実行する最初のフレームワークです。
2. 学習されたゲートなしの決定論的ルーティング：短いウォームアップと出力分布 KL 距離を用いてタスクを割り当てることで、学習可能なルーティングパラメータの必要性を排除し、ルーターを忘却に対して頑健にします。
3. 統合された忘却制御：トレーニングの逸脱を規制し、忘却を予測し、新しい知識の統合を管理する単一の KL ベース信号を導入し、ばらばらのヒューリスティックを置き換えます。
4. 経験的検証：このアプローチは、3 つの異なる LLM（Llama-3.2-1B、Gemma-2B、Llama-2-7B）および多様なベンチマーク（TRACE、Math-LLM、O-LoRA 系列）全体で検証されました。

4. 実験結果

CRAFT は、SeqLoRA、GEM、EWC、L2P、DualPrompt、HiDeLoRA、O-LoRA、TreeLoRA、および SAPT や TASL などの最近の手法を含む強力なベースラインに対して評価されました。

• 性能向上：CRAFT は、最先端の最良の手法と比較して、Llama-3.2-1B において最大**8.03%**の全体性能（OP）を向上させました。
• 忘却の削減：後方転送（BWT）の忘却率を最大**6.49%**削減しました。Llama-3.2-1B における 15 タスクストリームにおいて、CRAFT は BWT **2.60%**を達成し、TreeLoRA の 6.41% や O-LoRA の 10.99% と比較して優れていました。
• パラメータ効率：CRAFT は、強力な LoRA ベースのベースラインと比較して、学習可能な介入パラメータを3.75 倍少なく使用します。例えば、15 タスクの Llama-3.2-1B において、CRAFT は標準 LoRA の 15.73M に対してわずか4.20Mのパラメータしか必要としませんでした。
• 頑健性：この手法は、異なるタスク順序に対して頑健であり、広いプラトー内でのルーティング閾値 $\delta$ やウォームアップ長さ $S_{wu}$ の変動に対して感度が低いです。
• クロスグループ不変性：理論的および経験的分析により、あるクラスターでタスクをトレーニングしても、最適化スコープが特定のグループの介入のみを触れるため、他のクラスターのタスクの推論出力に影響を与えないことが確認されました。

5. 意義と主張

本論文は、出力空間のダイバージェンスに導かれた表現空間における適応の制御が、継続的学習に対するスケーラブルで原理的なアプローチを提供すると主張しています。

• トレードオフの再定義：重み更新を除去することで、CRAFT は安定性 - 可塑性のトレードオフを、パラメータ空間の綱引きから、表現編集の組織化の問題へとシフトさせます。
• 原理的な忘却制御：KL ダイバージェンスを統合信号として使用することで、代理指標に依存するのではなく、忘却を直接測定・制御することが可能になります。
• スケーラビリティ：このフレームワークは、タスクの総数（$T$）ではなく、発見されたタスクグループの数（$K$）にスケーリングするため、長いタストリームに対してより効率的な解決策を提供します。
• 限界：著者らは、対称 KL 距離が飽和する可能性があるため、ルーティング機構が天井に近いタスクや、同一データセットの 2 つの半分など、ほぼ重複するが順次提示されるタストリームに対して困難を抱える可能性を認めています。これらのケースに対処するため、将来の研究では既存のクラスターからウォームアップをシードすることが提案されています。

本質的に、CRAFT は、破滅的忘却を、基盤となるベース重みを制約または変更することなく、構造化された表現編集を通じてモデル出力のレベルで効果的に制御できることを実証しています。