技術要約: PURGE (Projected Unlearning via Retain-Guided Erasure)

1. 問題提起

機械学習におけるアンラーニング（Machine Unlearning; MU）は、学習済みモデルから特定の学習データ（忘却セット、$D_f$）の影響を取り除くことを目的としているが、ゼロから再学習を行う際の膨大な計算コストを回避しなければならない。MUには根本的なジレンマが存在する。すなわち、プライバシー監査（GDPRの「忘れられる権利」など）を満たすために$D_f$を積極的に忘却させる一方で、残りのデータ（保持セット、$D_r$）に対する高いユーティリティを維持しなければならないという点である。

既存の手法は、以下のような特有の失敗モードに直面している：

• 勾配上昇法 (Gradient Ascent): $D_f$に対する損失を最大化するが、しばしば$D_r$に対する性能を壊滅的に低下させる。
• サリエンシーベースの手法 (例: SalUn): 重みを選択的に摂動させるが、保持性能に関する形式的な保証を欠いている。
• 知識蒸留 (Knowledge Distillation): 保持データの分布を固定するが、勾配の方向を制約することには失敗する。
• フィッシャー情報量ベースの手法: 理論的根拠はあるが、ヘッセ行列の近似による計算コストが高い。

決定的なことに、既存の多くのアプローチは、アンラーニング後のモデルが、$D_r$のみでゼロから再学習されたモデルと統計的に区別できない状態にすることを保証できていない。この区別は、特定のサンプルが学習セットに含まれていたかどうかを攻撃者が判定しようとするメンバーシップ推論攻撃（MIA）への耐性において極めて重要である。

2. 手法

PURGEの核心的な洞察は、継続学習 (Continual Learning; CL) と 機械学習アンラーニング (MU) の間の二重性にある。CLは古いタスクを忘れることなく新しいタスクを学習するものであるが、MUは保持性能を損なうことなく特定のデータを消去するものである。PURGEは、新しいタスクの勾配を古いタスクの損失を増加させないように投影する、CLのアルゴリズムであるA-GEM (Averaged Gradient Episodic Memory) を適応させている。

2.1 保持安全性のための勾配投影

PURGEは、アンラーニングプロセスを制約付き最適化問題として扱う。各更新ステップにおいて、忘却方向の勾配（$g_f$）は、保持方向の勾配（$g_r$）によって定義される半空間へと投影される。

• 制約: 更新は保持損失（$L_r$）を増加させてはならない。
• メカニズム: もし忘却勾配が保持勾配と衝突する場合（すなわち、$\langle g_f, g_r \rangle < 0$）、$g_f$は $\langle g, g_r \rangle \geq 0$ を満たす半空間の境界上に投影される。
• 理論的保証: これにより、逐ステップの構成的な保証（一次近似において保持損失が増加しないこと）が提供される。これは、従来のおおよかもしくは近似的なアンラーニング手法には欠けている特徴である。

2.2 忘却目的関数

PURGEは、単純な一様分布ターゲットを超えた、忘却セットに対する新しいターゲットを導入している：

• KL-Retain (保持混乱ターゲット): 忘却出力を一様分布へと押し出す（これはMIAによって容易に検知される）代わりに、PURGEは保持セットにおけるモデルの自然な混乱パターンをターゲットとする。具体的には、凍結された元のモデルによる$D_r$に対するソフトマックス出力の平均をとることで、分布 $p_r$ を事前計算する。忘却の目的関数は、忘却出力と $p_r$ との間のKLダイバージェンスを最小化する。
• 根拠: これにより、アンラーニング後のモデルの出力が、ゼロから再学習されたモデルと統計的に区別不能になり、MIAのAUROCを理想的な0.5へと導く。

2.3 多層表現消去

出力の抑制だけでは不十分であり、中間層に情報が残留する可能性がある。PURGEは、複数の中間層において、忘却セットの活性化と保持セットの平均活性化（凍結モデルから取得）との間の平均二乗誤差（MSE）を計算する。これにより、最終出力だけでなく、隠れ表現からの情報の除去を強制する。

2.4 安定性と停止メカニズム

• KDによるアンカーリング: アンラーニング前の凍結されたモデルのコピーが、知識蒸転（KD）を通じて保持セットの教師として機能し、表現のドリフトを抑制する。
• エントロピー・ゲーティングとキャッピング: モデルの忘却バッチに対する出力エントロピーが既に最大に近い場合、更新は保持目的関数に制限される。これにより、過剰な忘却や勾配爆発を防ぐ。
• デュアル自己調節停止: アルゴリズムは以下の2つの基準に基づいて自動的に停止する：
  1. 保持損失予算: 保持損失が初期損失に対して規定の予算を超えた場合に停止する。
  2. 忘却精度 (FA) ターゲット: FAがランダムチャンスレベル（例：$100/K\%$）に達したときに停止する。
• BatchNormの凍結: 著者らが特定した重要な実装の詳細として、アンラーニング中はBatchNorm層を評価モードで凍結する必要がある。クラスが均質な忘却バッチを使用している際、BatchNormがトレーニングモードのままだと、実行統計が破損してモデル崩壊を招く可能性がある。

3. 主な貢献

1. CL-MUの二重性のアルゴリズム的具現化: PURGEは、A-GEM（CLアルゴリズム）の勾配投影メカニックを、アンラーニングのための主要な構成的ツールとして直接適応させた最初の研究であり、逐ステップの保持安全性に関する形式的な保証を提供する。
2. 保持混乱ターゲット: モデルの保持データに対する自然な混乱に基づくKLダイバージェンス・ターゲットの提案。これは、一様分布ターゲットと比較してMIA耐性を大幅に向上させる。
3. 多層消去: 中間層の活性化にまでアンラーニングを拡張し、深い情報の除去を確実にする。
4. 自己調節フレームワーク: デュアル停止基準（保持損失予算とFAターゲット）により、手動のエポック調整を排除する。
5. 経験的発見: クラスレベルのアンラーニングにおいて、BatchNormの失敗モード（モデル崩壊を招く現象）を特定した。

4. 実験結果

PURGEは、ResNet-18を用い、5つのデータセット（CIFAR-10, MNIST, SVHN, STL10, PathMNIST）における22個のクラスレベル忘却タスクで評価された。

• プライバシーとユーティリティのトレードオフ: PURGEは、すべてのデータセットにおいて保持精度 (RA) を96%以上に一貫して維持している。
• プライバシー (MIA耐性): PURGEは、5つのデータセットのうち4つでMIA AUROCが0.5に近い値（理想的な不可識別スコア）を達成した。例えば、CIFAR-10ではAUROC 0.496を達成している。
• ベースラインとの比較:
  • 勾配上昇法（CIFAR-10で保持精度が約38%まで低下）やSalUn（形式的なMIA保証を欠く）とは異なり、PURGEは高い保持ユーティリティと真のメンバーシップ・プライバシーを両立させている。
  • PURGEのCIFAR-10におけるテスト精度 (TA) は84.5%であり、SalUnの93.5%よりも低いが、著者らはこれは単なる低忘却精度ではなく、真のプライバシー（MIA $\approx$ 0.5）を実現するための意図的なトレードオフであると主張している。
• 効率性: PURGEは約1.75エポック（CIFAR-10で200秒未満）で収束し、フル再学習に対して約13倍の高速化を実現している。
• 表現消去: 特徴空間のFréchet距離（FIDfeat）およびコサイン類似度指標により、PURGEが中間表現を効果的に変化させ、ゼロから再学習されたモデルの表現に近づけていることが確認された。

5. 意義と主張

本論文は、継続学習との二重性を活用することで、機械学習アンラーニングのための原理的なフレームワークを提供すると主張している。その意義は以下の点にある：

• 形式的な保証: 保持損失が増加しないという逐ステップの保証を提供しており、これはヒューリスティックに基づいたアンラーニング手法にはない特徴である。
• 堅牢なプライバシー: モデルの「自然な混乱」をターゲットにすることが、人工的な一様分布ターゲットよりもMIAを打破する上で優れていることを示した。
• 実践的なガイダンス: アンラーニングの文献において見落とされがちな、BatchNorm層を凍結する必要性などの重要な実装上の洞察を提供している。

著者らは、一部のベースラインとのテスト精度の差、$(\epsilon, \delta)$-差分プライバシーの保証の欠如、および現在の評価範囲（ResNet-18、単一クラス忘却）といった限界も認めている。しかし、CL-MUの二重性という視点は、将来のアンラーニングアルゴリズムのためのより広い設計空間を切り開くものであると述べている。