技術的サマリー：MoRe：逐次データに対する原理的継続的表現学習のためのモジュラー表現

1. 問題定義

本論文は、モデルが逐次的に新しいデータに適応する際の継続的学習（CL）、特に破滅的忘却の課題に取り組んでいる。著者らは、既存の CL 手法（教師あり・教師なしの両方）が、何を保持し何を更新するかを決定するために、パラメータ制約、リプレイ、蒸留、またはアーキテクチャ的隔離などのヒューリスティックな戦略に大きく依存していると主張する。これらのアプローチはしばしば、「何を更新するか」という決定を、タスクレベルまたはパラメータレベルの問題ではなく、表現レベルの問題として扱っていない。

特定された核心的な問題は、タスクが、既存の知識を乱すことなく選択的に更新可能な、明確かつ構造化された表現を必要とする点にある。しかし、現在の手法は、表現のどの部分を再利用し、どの部分を置換するかを決定するための、データの内在的構造に根ざした原理的な基準を欠いている。本論文は、逐次データにおいて、時間遅延依存関係が、データの内在的組織を解明する自然なシグナルを提供し、基本的な表現がどのように特定の表現を生み出すかを明らかにすると仮定している。

2. 手法：MoRe フレームワーク

著者らは、原理的な継続的表現学習のためのフレームワークであるMoRe（モジュラー表現）を提案する。タスクごとに個別のネットワークを割り当てるなど、アーキテクチャレベルでモジュラリティを割り当てる手法とは異なり、MoRe は表現内部においてモジュラリティを特定する。

2.1 生成モデルと仮定

MoRe は、潜在変数 $Z_t$ が $d$ 層（$Z^1_t, \dots, Z^d_t$）に組織化された階層的プロセスによってデータが生成されると仮定する：

• 階層性： 上位層は物理的諸原理など、基本的でドメインに依存しない知識を符号化し、下位層は専門的でドメイン固有の情報を捉える。
• 一方向の時間遅延依存関係： 層間効果は、基本的な層から特定の層へ、時間遅延を伴って一方向に流れる（例：$Z^i_t$ は $Z^j_{t-\tau}$ に依存し、ここで $j < i$）。瞬間的な層間依存関係は禁止される。
• 層内依存関係： 同じ層内の依存関係は制限されない。

2.2 理論的保証（識別可能性）

中心的な貢献は、この特定の生成構造が潜在プロセスの識別可能性を可能にすることを証明した点にある：

• 定理 1（潜在変数の識別可能性）： 滑らかな密度と十分な変動性の条件下では、瞬間的な関係により、潜在変数は層を跨いで混合されるのではなく、同じ層内でのみ混合されうる。
• 定理 2（階層順序の識別可能性）： 一方向の時間遅延を伴う層間効果は、許容される層の置換を制限する。階層は「互換性のある順序」（真の時間遅延効果を逆転させない順序）まで識別可能である。
• 系 1： これらを組み合わせることで、完全な潜在プロセスは、層内の不確定性と互換性のある階層順序まで識別可能となる。これにより、モジュールはヒューリスティックな構成物から、再利用と拡張に関する原理的な決定を可能にする、明確に定義された対象へと変換される。

2.3 適応アルゴリズム

MoRe は、新しいデータセット $D_k$ に対して、2 段階の適応手順を採用する：

1. 適合と評価（推論のみ）：

   • 新しいデータは、以前のエンコーダ $f_{k-1}$ を用いて既存の座標系に射影される。
   • 自己整合性スコアリング： 各既存モジュールは、その仮定された生成構造（時間的自己相関と、他のモジュールの残差からの条件付き独立性）が新しいデータで保持されているかどうかに基づいてスコアリング（$a_j$）される。
   • 残差分析： 観測空間における再構成残差を分析し、既存の基底に直交する候補となる新しい座標（$V_{new}$）を特定し、欠落した構造を表面化させる。

2. 選択的更新：

   • ゲーティング機構： 各モジュール（既存と候補の新しいもの）は、ハードコンクリートゲート（$g_j$）と関連付けられる。自己整合性スコア $a_j$ はゲートの事前分布を初期化する（高い $a_j$ $\rightarrow$ 正のロジット；低い $a_j$ $\rightarrow$ 負のロジット）。
   • アライメント： 学習可能なアライメント行列 $T$（単位行列に初期化）により、完全な再学習なしに再利用されるモジュールに対して微小な座標調整が可能となる。
   • 目的関数： 損失関数は、データ適合性（変数変換尤度）、アライメント正則化項（$\|T - I\|_F^2$）、ゲート（$L_0$）および新しい遷移ブロック（$J_{new}$）のスパース性ペナルティを組み合わせる。
   • コミットメント： 学習の終了時にゲートを二値化する。$g_j=0$ のモジュールは非アクティブ化される（ただしライブラリ内に保持される）が、$g_j=1$ の新しいモジュールは追加される。

3. 主要な貢献

1. MoRe フレームワーク： 表現を、タスク境界ではなくデータ生成プロセスを反映する、基本的および特定のモジュールの階層に分解する手法。
2. 識別可能性の保証： 層間時間遅延依存関係の下で、階層的モジュール構造が識別可能であることを示す理論的証明。これにより、どのモジュールを再利用または拡張するかを決定するための原理的な基盤が提供される。
3. 適応手順： 新しいデータを既存のモジュールを通じて解釈し、整合性でスコアリングし、学習可能なゲートを用いて選択的にアライメント、保持、または拡張する 2 段階アルゴリズム。
4. 実証的検証： 合成ベンチマークおよび実世界の大型言語モデル（LLM）活性化データにおける実証により、解釈可能な階層構造と、改善された可塑性 - 安定性のトレードオフを示す。

4. 実験結果

4.1 合成ベンチマーク

• 識別可能性（S-RQ1）： MoRe は、線形および非線形の両方の設定において、異なる次元（最大 128）および深度（最大 4 層）にわたって潜在因子を正常に回復し、高い平均相関係数（MCC > 0.9）を達成した。
• 可塑性 - 安定性（S-RQ2）： 新しい因子または欠落した因子を含む遷移シナリオにおいて、MoRe はほぼゼロまたは負の忘却（古い因子の回復の改善）を達成しつつ、微調整と同等の可塑性を維持した。アブレーション研究により、アライメント行列 $T$ が古い表現を保護する上で決定的であることが確認された。
• 因子割り当て（S-RQ3）： MoRe は、因子を再利用または新しいモジュールへ正しくルーティングした。「困難な」選択的ケース（古い因子と新しい因子が部分的に重複する場合）では、ゲートの精度は 0.5 に低下したが、これは本質的な曖昧さを反映しており、正しく機能するためには古いゲートと新しいゲートの両方にスパース性ペナルティが必要であった。

4.2 実世界の LLM 活性化

• 階層的出現（RW-RQ1）： Pythia-1.4B および Gemma-2-9B の ArXiv、AMPS、Wikipedia などのデータセットからの活性化に適用した結果、MoRe は「広範から特定へ」の構造を解明した。
  • 概念集中： AMPS データセット（数学カリキュラム）において、下位層（$L_0$）は上位層よりも高い概念集中（難易度レベルへの特異性）を示し、カリキュラムの階層と整合していた。
  • 層間リンク： 抽出された B 行列のリンクは、AMPS において算術などの基本的な概念から線形代数などの特定の概念への遷移を、ArXiv において抽象数学から応用ドメインへの遷移を示した。
• ラベル効率（RW-RQ2）： 凍結された MoRe 表現上で訓練された線形プローブは、少数ショット設定において PCA ベースラインを上回った。例えば、MoRe は、単一層からの 64 次元とラベル付きデータの半分のみを使用して、256 次元の PCA と同等の性能を達成した。

5. 意義と主張

本論文は、継続的学習の中心的な課題は表現的であると主張する。適応プロセスをデータの識別可能な構造（特に、時間遅延を伴う層間依存関係）に根ざすことで、MoRe は、ヒューリスティックなタスクベースまたはパラメータベースの隔離に対する原理的な代替案を提供する。

• 原理的基盤： このフレームワークは、継続的適応はタスクラベルによってではなく、データの内在的組織によって駆動されるべきであり、基本的な構築ブロックの再利用を可能にしつつ、特定のコンポーネントを拡張できると示唆している。
• 解釈可能性： 学習された階層は解釈可能であり、実世界のデータセットにおける人間定義の階層との整合性によって実証されるように、一般的な原理から特定の応用への移行を反映している。
• 効率性： この手法は、一度学習された豊かな表現が、ラベル効率の高い下流適応を可能にし、新しいタスクの表現を構成するためにわずか数サンプルのみを必要とすることを示している。

著者らは、現在の実装が線形インスタンス化を使用しており、理論的仮定（一方向の遅延、スパース性）が実際には近似してしか満たされない可能性があると指摘し、限界については控えめな見解を示している。彼らは、この研究を完全な継続的学習システムへの基礎的な一歩と見なしており、長期的な安定性と非線形スケーリングは将来の研究に委ねている。