技術要約: GRIP - Mixture-of-Expertsにおけるアルゴリズムに依存しない機械学習消去（Machine Unlearning）

1. 問題提起

Mixture-of-Experts (MoE) 大規模言語モデル (LLM) における機械学習消去 (Machine Unlearning, MU) は、密な（dense）アーキテクチャとは異なる決定的な構造的失敗モードに直面している。密なモデルでは、すべてのパラメータが入力に対して一様に作用する。一方、MoEモデルでは、学習されたルーターが、各入力に対してエキスパート・ネットワークの疎なサブセットを動的に選択する。

MoEアーキテクチャに適用される現在の消去手法は、多くの場合、この動的なルーティングを最適化のショートカットとして利用してしまう。これは、エキスパート・パラメータから知識を真に消去するのではなく、最適化プロセスが「忘却セット（forget-set）」のクエリを、もともと割り当てられていた知識を持つエキスパートから遠ざけるようにルーターを操作してしまうものである。これにより、主に2つの問題が生じる：

1. ユーティリティの低下 (Utility Degradation): ルーターが「保持セット（retain set）」（保持すべきデータ）のエキスパート選択を変化させてしまい、保持されたタスクに対するモデルの性能が大幅に低下する。
2. 不完全な消去 (Incomplete Erasure / Expert Forcing): 対象となる知識は、休止状態のエキスパート・パラメータ内にそのまま残存している。攻撃者がルーターをバイパス（ホワイトボックス攻撃）して、これらの特定のエキスパートへのアクセスを強制することで、消去されたはずの機密情報や有害な情報を復元できてしまう。

SEUFなどの既存の試みは、ソフトな正則化ペナルティに依存し、単一のエキスパートへの更新を制限している。しかし、経験的な証拠によれば、これらのソフトなペナルティはルーティング操作を防ぐには不十分であり、また単一のエキスパートへの更新制限は、最初に活性化された他のエキスパートに残された知識の脆弱性を放置することになる。

2. 手法: GRIP

著者らは、Geometric Routing Invariance Preservation (GRIP) を提案する。これは、エキスパート選択のシフトを抑制しつつ、関連するすべてのエキスパートにおいて真の知識消去を可能にするために、ルーターの更新に対してハードな幾何学的制約を課す、アルゴリズムに依存しないフレームワークである。

コア原理

GRIPは、ルーターのパラメータ更新 ($\Delta \Theta_\ell$) が、保持セット ($D_r$) のエキスパート選択を維持しなければならないという制約を課す。形式的には、任意の入力 $x \in D_r$ について、消去後の選択されたエキスパートの集合 ($S^{post}_\ell(x)$) は、消去前の集合 ($S^{pre}_\ell(x)$) と等しくなければならない。この「ルーティングのショートカット」を制約付きの入力に対して不可能にすることで、最適化プロセスは、エキスパートの重み自体を通じて知識を消去するという目的を達成せざるを得なくなる。

2つのバリアント

GRIPは、2つの補完的な実現方法を提供する：

1. 手法 A: 学習時の確率的投影 (Online)

   • メカニズム: 各学習ステップにおいて、ベースとなる消去アルゴリズムによって提案された制約なしのルーター更新を、保持セットのルーティング行列の零空間（null space）へと投影する。
   • 制約: 投影は、各エキスパート $j$ について以下の2つの条件を強制する：
     • 等価性 (Equality): エキスパート $j$ が元々選択されていた入力に対して、ルーターの更新によるルーティング・スコアの変化がゼロであること ($\langle \Delta \Theta, x \rangle = 0$)。
     • 不等式 (Inequality): エキスパート $j$ が選択されていなかった入力に対して、更新によってスコアが増加し、選択の境界（マージン）を突破しないこと（すなわち、選択されたエキスパートと選択されなかったエキスパートのスコア差を維持すること）。
   • 実装: (1) 選択された入力のスパンの補空間への直交投影（等価性）、および (2) 不等式制約を効率的に満たすためのランダム化されたKaczmarzスタイルの交互投影、という2段階のプロセスを用いる。
   • オーバーヘッド: 学習時間を約1.71倍増加させる。

2. 手法 B: 学習後の解析的補正 (Offline)

   • メカニズム: 制約なしで消去アルゴリズムを実行した後、ドリフトしたルーターを再整列させるために、単一の閉形式の解析的補正を適用する。
   • 数式: $(\tilde{\Theta}_\ell + \Delta_\ell)\tilde{X}_{r,\ell} = \Theta_\ell X_{r,\ell}$ となるような補正 $\Delta_\ell$ を求める最小二乗問題を解く。ここで $\tilde{\Theta}$ と $\tilde{X}$ は消去後のルーターと表現である。
   • オーバーヘッド: ステップごとの投影を、層ごとの単一の事後補正に置き換えることで、学習時間のオーバーヘッドを1.21倍に抑える。

3. 主な貢献

• 構造的な脆弱性の特定: 本論文は、MoEの消去において、知識が消去されるのではなく隠蔽される「ルーティング・ショートカット」が発生しやすいことを特定し、この脆弱性の診断指標として「Expert Forcing」攻撃を導入した。
• ハードな幾何学的制約: ソフトなペナルティを用いる従来手法とは異なり、GRIPは零空間への投影を通じて、構成的に満たされるべき実現可能性条件としてルーティングの保持を扱う。
• マルチ・エキスパート消去: GRIPは、最初に活性化されたすべてのエキスパートの更新を許可する。これにより、単一のエキスパートへの更新制限ではなく、関連するパラメータ空間全体から知識を確実に消去することを可能にする。
• アルゴリズムに依存しない設計: GRIPは、基礎となる損失関数を変更することなく、既存のあらゆる消去目的関数（例：Gradient Ascent, NPO, RMU）に適用可能なラッパーとして機能する。

4. 実験結果

実験は、2つのMoEモデル（Qwen3-30B-A3B および Qwen1.5-MoE-A2.7B-Chat）を用い、有害な知識の除去（WMDP）および著作権消去（MUSE）のベンチマークで行われた。

• ルーティングの安定性: GRIPは、ベースラインで見られた約0.21というエキスパート選択の崩壊（Jaccard類似度）を、0.94以上（事後補正を使用すると1.00まで）へと回復させた。
• ユーティリティの保持: 保持精度は、ベースラインと比較して最大**89%**向上した。GRIPは、密なアーキテクチャの消去ベースラインに近いユーティリティ保持スコアを達成した。
• 敵対的堅牢性:
  • ホワイトボックス (Expert Forcing): 休止状態のエキスパートへの強制アクセス下において、ベースライン手法は忘却されたクエリの11%を復元したが、SEUFは8%、GRIPはこれを3%（ノイズに近いレベル）まで低減した。
  • ブラックボックス (プロンプト攻撃): プロンプト攻撃下でのGRIPの性能は、密なアーキテクチャのベースラインと同等であり、重大な新しいブラックボックスの脆弱性は認められなかった。
• SEUFとの比較: GRIPはすべての指標においてSEUFを一貫して上回り、ソフトな正則化がルーティング・ショートカットを防ぐには不十分であることを示した。

5. 重要性と主張

本論文は、GRIPが疎なMoEアーキテクチャにおける真の学習消去のための、原理に基づいたスケーラブルな経路を提供すると主張している。ルーティングの安定性とパラメータの可塑性を切り離すことで、GRIPは、知識がルーティング操作によって単に隠されるのではなく、エキスパート・パラメータから確実に消去されることを保証する。

著者らは、GRIPを消去目的関数の代替物としてではなく、MoEモデルの特有の脆弱性に対処するために必要な「幾何学的制約」として位置づけている。保持表現のキャッシュによるメモリオーバーヘッドや、ルーティング保持の保証が（形式的ではなく）経験的な性質であるといった限界も認めている。しかし、結果は、大規模言語モデルにおける動的なルーティング特有の脆弱性に対処するためには、ハードな幾何学的制約が不可欠であることを示唆している。