技術要約: GROM (Gradient-Free Rapid One-Shot Machine Unlearning)

問題提起

大規模言語モデル（LLM）は、その学習コーパスから機密情報、プライベートな情報、または著作権で保護された情報を頻繁に記憶してしまう。機械学習におけるアンラーニング（Machine Unlearning）は、こうした標的化された知識を選択的に消去するために必要なメカニズムである。現在の最先端のアプローチは、微調整（勾配上昇法、選好最適化、または蒸留など）による反復的な学習時アンラーニングに依存しているが、これらの手法には以下の3つの決定的な非効率性が存在する：

1. 計算コスト: LoRAのようなパラメータ効率の高い手法を用いたとしても、勾配ベースの最適化は複数のエポックとバックプロパゲーションを必要とするため、高コストかつ低速である。
2. 解析的な定式化の欠如: これらの手法には明示的な閉形式（closed-form）の解が存在しないため、実務者はアンラーニングされた状態を近似するために、ステップバイステップの勾配降下法に頼らざるを得ない。
3. 表面的な忘却: 最近の研究によれば、反復的な微調整は、標的化された知識を低振幅の重み調整の中に単に隠蔽しているに過ぎないことが示されている。その結果、アンラーニングされたモデルを量子化（例：4ビット化）するだけで、消去されるべきであったコンテンツの多くが復元されてしまう。

メソドロジー

著者らは、反復的な最適化を放棄し、直接的かつ正確な解析解を採用した新しいワンショット・アンラーニング手法である GROM を提案する。この手法は、アンラーニングをリッジ正則化最小二乗最適化問題として定式化する。

コアとなる定式化

重み行列 $W \in \mathbb{R}^{m \times n}$（具体的にはMLPのダウンプロジェクションまたはLMヘッド）に対し、GROMは単一の加算的な更新 $P$ を求め、$W \leftarrow W + P$ とする。その目的は、同時に以下を実現することである：

1. 保持挙動の保存: リテイン（保持）データ（$X_r$）に対する出力が変化しないことを保証する（$PX_r \approx 0$）。
2. 忘却出力を誘導: 忘却データ（$X_f$）に対する出力を、記憶されたコンテンツを抑制するターゲット $D$ へとシフトさせる（$(W+P)X_f \approx WX_f + D$）。

これは、以下の目的関数の最小化として定式化される：
$$\min_{P} \frac{w_r}{r} \|PX_r\|_F^2 + \frac{w_f}{s} \|PX_f - D\|_F^2 + \mu \|P\|_F^2$$
ここで、$w_r, w_f$ はリテイン保存と忘却誘導の重みであり、$\mu$ はリッジ正則化項である。

閉形式の解

この問題のオプティマイザは一意であり、反復的な近似を完全に回避して閉形式で導出される：
$$P^* = \frac{w_f}{s} D X_f^\top A^{-1}$$
ここで、$A = \frac{w_r}{r} X_r X_r^\top + \frac{w_f}{s} X_f X_f^\top + \mu I_n$ である。

主要な構成要素

• 勾配フリー (Gradient-Free): 更新は、忘却データおよびリテインデータに対するフォワードパスのみを使用して「キー」（$W$への入力）を収集することで計算される。バックプロパゲーションや収束のための反復計算は不要である。
• ターゲット設計 ($D$):
  • トークン抑制: 生成を測定するベンチマーク（TOFU, MUSE）では、$D$ は特定のゴールドトークンから出力を遠ざけるように機能する。共有語彙の有用性を維持するため、忘却セットに特徴的なトークンのみを抑制するように特異性重み $\alpha_j$ が適用される。
  • 表現の汚染: 多肢選択式の正確性を測定するベンチマーク（WMDP）では、$D$ はトークンのロジットが重要ではないため、忘却出力を固定されたランダムな方向へと誘導することで表現を汚染する。
• レイヤー選択: GROMは、忘却固有のトークン・ロジットに直接寄与するレイヤーを特定するために、ロジットレンズ属性スコア（$S_\ell = F_\ell - R_\ell$）を使用する。これにより、平均スコアが最も高い後方の連続した層のバンドを選択する。
• 正確な監査可能性: $P^*$ はデータの明示的な関数であるため、本論文は、最終的な編集に対する単一の忘却例の正確な影響を計算するための、シャーマン・モリソン・ウッドベリーの公式を用いた閉形式の手法を導出し、精密な削除要求の監査を可能にしている。

主な貢献

1. 閉形式のアンラーニング定式化: 本論文は、機械学習におけるアンラーニングを、反復的な微調整のオーバーヘッドを回避する、直接的な解析解を持つ正確な最適化問題として数学的に定式化した。
2. 勾配フリーの効率性: GROMは、勾配なしのフォワードパスのみから最適な加算的更新を計算するため、勾配ベースのアプローチ（例：数分）よりも最大2桁高速（例：数秒）である。
3. 最先端のトレードオフ: GROMは、5つのベンチマーク（TOFU-5%, TOFU-10%, MUSE-Books, MUSE-News, WMDP）において、パレート最適な忘却・有用性のトレードオフを達成する。
4. 量子化への堅牢性: 勾配ベースの対照手法とは異なり、GROMの閉形式の編集は、ターゲットとなったコンテンツを隠蔽するのではなく、重みから直接除去する。そのため、他の手法で「忘れられた」コンテンツが復元されてしまう低ビット量子化攻撃に耐えることができる。

実験結果

著者らは、GROMを、勾配ベースの手法（GA, GradDiff, NPO, SimNPO）、選好ベースの手法（IDKDMO, AltPO）、およびLocate-then-edit型のエディタ（ROME, MEMIT, AlphaEdit）を含む幅広いベースラインと比較評価した。

• 速度: GROMは数秒（例：NVIDIA H100上で0.2～1.8分）で更新を適用するが、勾配ベースのベースラインは2.4分から62.5分を要する。より大規模なコーパス（MUSE Books）において、GROMはSimNPOよりも約180倍高速である。
• 性能:
  • TOFU: GROMは、5%および10%のスプリットの両方において、最高のFinal ScoreおよびModel Utility (MU) を達成し、他の手法に見られる「過剰な忘却」または「不十分な忘却」の失敗モードを回避している。
  • MUSE: GROMは、NewsおよびBooksのデータセットの両方で最高のFinal Scoreを獲得した。決定的なことに、MUSE Booksにおいて、GROMは最も高いリテイン・ユーティリティを維持しながら、逐語的な記憶をほぼ完全に排除した。
  • WMDP: GROMは、有害な知識の抑制と一般的な能力（MMLU）の維持のバランスを取り、有用性を犠牲にして抑制を行うベースラインを上回り、最高のFinal Scoreを達成した。
  • ZsRE: ZeroUnlearnのファクト編集ハーネスで評価した際、GROMは、有効性と汎化性能において調整されたLocate-then-edit型のエディタを凌駕しつつ、特異性を維持した。
• 量子化への堅牢性: 4ビット量子化テストにおいて、GROMは、ゴールドの再学習済みモデルに匹敵する低い忘却記憶レベルを維持する。対照的に、SimNPOのような強力な勾配ベースのベースラインは、記憶されたコンテンツの急激な回復（例：逐語的な再生がゼロ付近から元のレベルまで上昇）を示す。

意義と主張

本論文は、反復的な最適化を直接的な解析解に置き換えることで、GROMが機械学習におけるアンラーニングの根本的な転換を象徴すると主張している。著者らは、このアプローチが以下を実現すると述べている：

• 効率性のボトルネックの解決: 限られたハードウェアでは従来の学習ベースのアプローチが困難な、大規模モデル（7〜8Bパラメータ）でのアンラーニングを可能にする。
• 真の削除の保証: コンテンツをマスクするのではなく重みから除去することにより、GROMは量子化による復元に対するより強力な保証を提供する。
• 監査の実現: 閉形式の性質により、個々のデータポイントの影響を正確に計算することが可能となり、データ削除要求に対する説明責任の問題に対処できる。

著者らは、GROMを、反復的な最適化ベースの手法の性能をワンショットで凌駕する最初のメソッドとして位置づけており、従来の微調整が実用的でないシナリオにおける効率的なアンラーニングへの道を開くものであると示唆している。