技術的概要：ProCL – プログラムメモリを介した大規模言語モデルの継続的ファインチューニング

1. 問題定義

大規模言語モデル（LLM）は、既習得の知識を忘却することなく、小規模データセットを用いて新しいタスクに逐次的に適応する必要がある「継続的学習（CL）」のシナリオにおいて、重大な課題に直面しています。これは「安定性 – 可塑性のジレンマ」として知られています。

パラメータ効率型ファインチューニング（PEFT）、特に低ランク適応（LoRA）は、限られた計算資源下での LLM 適応の標準となっていますが、従来の逐次的 LoRA 更新は継続的な設定において困難を伴います。標準的なアプローチは、低ランク部分空間を均質な更新領域として扱います。その結果、逐次的なファインチューニングはタスク間の干渉を引き起こし、「破滅的忘却」と保持率の低下を招きます。既存の手法は、これを以下のように軽減しようと試みています：

• アダプターモジュールアーキテクチャ： タスク固有のモジュールやゲーティング機構を追加する（例：LoraHub、MOLE）。これらは分離において効果的ですが、アーキテクチャの複雑さ、メモリフットプリント、推論遅延を増大させ、長いタスク列に対しては非現実的です。
• 正則化ベースの手法： 直交性や部分空間制約を課す（例：O-LoRA、DEAL）。これらは干渉を軽減しますが、モデルの実効的な可塑性を制限し、後続のタスクにおける新しい情報の学習能力を阻害することが多いです。

さらに、既存の継続的 LoRA 戦略は、新しい知識が低ランク空間内でどのように書き込まれ、分割され、または統合されるかを制御する原理的なメカニズムを欠いており、勾配干渉に対して脆弱なままです。

2. 手法：ProCL

著者は、神経科学における「相補的学習システム（CLS）」に着想を得たフレームワーク「ProCL（Program Memory Continual LoRA）」を提案します。CLS は、脳が迅速なエピソード的索引のために高速学習システム（海馬）を、分散表現の漸進的統合のために低速学習システム（大脳皮質）を使用すると仮定しています。

ProCL は、この生物学的原理を構造化された LoRA 適応メカニズムに変換します：

2.1 プログラムメモリ構造

単一のアダプター LoRA ではなく、ProCL は低ランクアダプター重み行列 $W$ を $N$ 個の異なる「プログラム（またはメモリスロット）」に分割します。

• 分割： $W$ は $N$ 個の部分行列 $W^{(1)}, \dots, W^{(N)}$ に分割され、各 $W^{(n)}$ は専門的なメモリスロットとして機能します。
• 実行抽象化： これは同一のアダプターテンソル上での実行時抽象化であり、外部パラメータを追加することなく既存の LoRA 実装と完全な互換性を保ちます。

2.2 入力条件付きプログラム選択

トレーニング中、モデルは入力に基づいてこれらのプログラムを動的に取得・構成します：

1. フィンガープリンティング： 入力 $x$ は平均プーリングを介して要約ベクトル $z$ に圧縮され、軽量エンコーダーを通過してタスククエリ $Q$ を生成します。
2. アテンションルーティング： マルチヘッドアテンション機構が、$Q$ を $N$ 個のプログラムに関連付けられた学習可能なキーと比較します。これにより、ソフトルーティング重み $\alpha$ が生成されます。
3. 構成： 最終的な実行アダプター $\hat{W}(x)$ は、選択されたプログラムのソフト構成となります：
   $$\hat{W} = \sum_{n=1}^{N} \bar{\alpha}_n \cdot \sigma(s_n) \cdot W^{(n)}$$
   これにより、類似の入力は共有アダプター領域を再利用し、無関係な入力はパラメータ空間の異なる部分へルーティングされ、更新が局所化され、タスク間勾配干渉が軽減されます。

2.3 安定 – 適応的重み構成

実行アダプターは、動的にルーティングされたプログラムと、元のアダプターの凍結コピー（$W_{orig}$）を組み合わせることで形成されます：
$$W_{exec} = \gamma W_{orig} + \hat{W}(x)$$

• $W_{orig}$： 以前に学習された知識を表す安定した基準を提供し、破壊的な更新を防ぎます。
• $\gamma$： 安定した基準と新しい適応の寄与をバランスさせる学習可能なスケーリングパラメータです。
• 勾配フロー： 勾配はプログラム $\hat{W}$ みを通過し、$W_{orig}$ はバックプロパゲーション中に凍結されたままです。

2.4 統合

安定した保持と推論効率を確保するために、ProCL は永続的重み $W$ を定期的に更新する「統合ステップ」を採用します：
$$W \leftarrow (1 - \lambda)W + \lambda W_{exec}$$
このステップは、入力依存の適応を永続的重みに蒸留し、高速エピソード的メモリから低速分散メモリへの情報転送という生物学的プロセスを模倣します。

2.5 効率的な推論

推論時には、ルーティング機構は破棄されます。モデルは統合されたアダプター $W$ を直接使用します。複雑なプログラム選択と構成はトレーニング時のみ発生するため、標準的な LoRA と比較して「ゼロの追加推論コスト」を達成します。

3. 主要な貢献

• プログラムメモリフレームワーク： LoRA アダプターを「プログラムスロット」として構造化する新しい方法を導入し、入力条件付きアテンションを介して動的に取得することで、迅速かつ局所的な適応を可能にします。
• 安定性 – 可塑性のメカニズム： 安定した基準（$W_{orig}$）を動的プログラムから分離し、統合ステップを使用することで、ProCL は古い知識の保持と新しい知識の獲得のバランスを明示的に取ります。
• 理論的保証： 著者は、ルーティングの専門化の下で、タスク間勾配相互作用が有界でありゼロに近づくことを示す理論的分析（注記 1）を提供し、干渉の軽減を形式的に正当化しています。
• ゼロ推論オーバーヘッド： モジュール型またはゲーティングベースのアプローチとは異なり、ProCL は学習された知識をすべて単一の静的アダプターに統合して展開するため、推論時に追加の遅延やメモリコストを発生させません。

4. 実験結果

著者は、複数の LLM バックボーン（Llama-3、Qwen3、Flan-T5）とタスク（質問応答とテキスト分類）を用いて、多様なベンチマークで ProCL を評価しました。

• 質問応答（QA）： 逐次的 QA ベンチマーク（BoolQ $\to$ SQuAD $\to$ AdversarialQA）において、ProCL は全モデルで最高平均精度（69.1%）を達成し、DEAL（66.2%）や Seq-LoRA（61.2%）などの強力なベースラインを上回りました。重要なのは、ProCL が「最も低い破滅的忘却」を示し、他の手法が 20～45 ポイントの低下を被ったのに対し、以前のタスク（例：BoolQ）での性能低下が最小限に抑えられたことです。
• テキスト分類（TC）： 3、4、15 タスクの設定において、ProCL は平均精度（AA）と ROUGE-1 指標で一貫して最良または 2 番目に良い結果を達成しました。特に長いタスク列（15 タスク）において顕著な強みを示し、DEAL より約 0.9～1.3% 改善しました。
• 効率性： トレーニングにはルーティングが含まれますが、ProCL はトレーニング中に DEAL より1.7～2.0 倍高速に動作し、ルーティング機構を完全に除去することで推論時に6～8 倍の高速化を達成します。
• アブレーション研究： 安定した基準（$W_{orig}$）または統合ステップを除去すると、性能が著しく低下し、安定性と可塑性のバランスにとって両方のコンポーネントが必要であることが確認されました。

5. 意義と主張

本論文は、ProCL が LoRA パラメータ化内での効率的かつ堅牢な継続的学習のための「原理的なメカニズム」を提供すると主張しています。プログラムレベルのメモリで低ランク空間を構造化することで、ProCL は、アーキテクチャの複雑さを増大させるか、可塑性を低下させるかのいずれかの既存手法の限界に対処します。

著者は、ProCL が以下の点で優れていると主張しています：

1. 破滅的忘却の軽減： 最先端の継続的 LoRA 戦略と比較して、以前に学習されたタスクにおける性能低下を大幅に軽減します。
2. 展開効率の維持： 追加の推論オーバーヘッドを導入することなくこれらの成果を達成し、実世界での展開に適しています。
3. 効果的なスケーラビリティ： 30 億から 80 億パラメータまで、異なるモデルサイズやアーキテクチャ全体で堅牢性を示します。

論文は、プログラムメモリと統合を通じて適応を組織化することが、LLM のスケーラブルな継続的適応に向けた有望な方向性であると結論付けていますが、非常に類似したタスクにおけるルーティングの崩壊や、タスクの多様性が増すにつれて生じる固定容量の制約に関する限界も認めています。