技術要約：類似性認識型マシン・アンラーニング（Similarity-Aware Machine Unlearning）

1. 問題提起

マシン・アンラーニング（機械学習における忘却）の目的は、学習済みモデルから特定の訓練データ（「忘却セット」$D_f$）の影響を取り除くことである。これは、ゼロからの再学習を行うことなく、データの削除権（GDPRなど）を満たしつつ、計算効率を維持することを目的としている。局所化ベースの手法は、影響を受ける一部のパラメータのみを修正することで効率を高めているが、既存のアプローチには決定的な限界がある。それは**特徴量の絡み合い（feature entanglement）**である。

現在の手法は、忘却セットに対する重要性のみに基づいてパラメータを選択している。しかし、忘却された例に対して影響力を持つパラメータは、しばしば「保持セット（retain set、$D_r$）」内の意味的に類似した例をも支えている。これらの共有されたパラメータを修正すると、学習された表現空間において忘却データに近い位置にある保持データの性能を低下させる**副作用（collateral damage）**が発生する。さらに、標準的な集計指標（全体の保持セット精度など）では、このダメージが意味的に類似したごく一部のサンプルに集中しているため、検出できないことが多い。

2. 手法

著者らは、Deletion by Example Localization (DEL) アプローチを拡張した、**類似性認識型局所化（Similarity-Aware Localized Unlearning）フレームワークを提案している。その中核となる革新は、忘却セットと保持セットの両方に対するパラメータの重要性を考慮した保持認識型局所化（retain-aware localization）**戦略である。

2.1. コア概念

• 意味的類似性（Semantic Similarity）: モデルの埋め込み空間におけるコサイン類似度によって定義される。著者らは、意味的に類似したサンプル（忘却と保持の境界を越えていても）は、特徴空間において近接した領域を占め、重複するニューロンのサブセットを活性化させることを観察している。
• 保持類似評価セット ($D_{r,sim}$): 副作用を直接測定するために、著者らは特定の評価セットを構築している。各 $D_f$ の例に対し、元のモデルの埋め込み空間におけるコサイン類似度に基づき、$D_r$ 内の最も近い同クラスの近傍を特定する。このセットは、特徴量の絡み合いに対して最も脆弱な保持サンプルを隔離して抽出したものである。

2.2. 局所化戦略

本手法は、忘却セット（$s_f$）と保持セット（$s_r$）の両方に対してパラメータ（ニューロン）の**クリティカリティ・スコア（重要度スコオア）**を個別に算出する。目標は、$D_f$ に対しては非常に重要であるが、$D_r$ に対しては最小限の重要性しか持たないパラメータを選択することである。以下の3つの具体的なスコアリング戦略が提案されている。

1. 差分法（Difference Method）: $\tilde{s}_j = \max(s_f^j - s_r^j, 0)$。忘却セットへの重要性が保持セットへの重要性を上回るパラメータを優先する。
2. 重み付き差分法（Weighted Difference Method）: $\tilde{s}_j = \max(w \cdot s_f^j - s_r^j, 0)$。スカラー重み $w$ を導入し、忘却セットへの特異性と保持セットの保護とのバランスを調整する。
3. 比率法（Ratio Method）: $\tilde{s}_j = \frac{s_f^j}{s_r^j + \epsilon}$。保持への重要性に対して忘却への重要性が高いパラメータを優先する。

2.3. アンラーニング・プロセス

1. マスキング（Masking）: 選択されたクリティカリティ・スコアに基づき、全レイヤーにわたってニューロンをグローバルにランク付けし、バイナリの局所化マスクを作成する。予算（例：全パラメータの30%）に達するまで、ニューロンを貪欲に選択する。
2. 再初期化（Reinitialization）: 選択された重みをKaiming正規分布による初期化を用いて再初期化し、その値をリセットする。
3. ファインチューニング（Fine-tuning）: 保持セット（$D_r$）を用いて、固定されたエポック数だけモデルをファインチューニングする。選択されなかった重みの勾配はマスクされ、再初期化されたサブセットへの更新が制限される。

3. 実験設定

• データセット: CIFAR-10（60,000枚の画像、10クラス）。訓練セットは、忘却セット（$D_f$、5,000枚）と保持セット（$D_r$、35,000枚）に分割される。
• モデル: 改良型ResNet-18（32x32画像用に適合）。
• ベースライン: 「忘却のみ」の局所化ベースライン（DEL）および、Oracleモデル（$D_r$ でゼロから再学習したもの）と比較。
• 指標:
  • 標準指標: テスト精度、保持精度、忘却精度、メンバーシップ推論攻撃（MIA）スコア、KLダイバージェンス。
  • 提案指標: 保持類似精度 ($\Delta_{rs}$)。これは、$D_{r,sim}$ に対する性能を直接測定する。
  • 評価方法: 指標はデルタ（$\Delta = \text{Oracle} - \text{Unlearned}$）として報告される。値がゼロに近いほど、Oracleとの整合性が高いことを示す。

4. 主な結果

実験は11のセッティング（局所化手法とハイパーパラメータのバリエーション）にわたって実施された。

• 副作用の低減: サブサンプリング差分法が最良のバランスを実現した。この手法は、保持類似精度のデルタ（$\Delta_{rs}$）を、ベースラインの +0.49 から +0.04 へと大幅に減少させた。これは、意味的に類似した保持データへの副作用が大幅に軽減されたことを示している。
• 忘却の有効性: 同手法は、忘却精度のデルタ（$\Delta_{forget}$）で +0.56 を達成した。これは、ベースラインで見られた過剰な忘却（+2.70）を避けつつ、効果的な忘却（Oracleの挙動に近い状態）を実現していることを示す。
• Oracleとの整合性: サブサンプリング差分法は、低いMIAスコアのデルタ（+4.98 vs ベースラインの +5.48）と低いKLダイバージェンス（0.395）によって、Oracleモデルとの強い整合性を示した。
• 手法の比較:
  • 比率法は、ユーティリティ（低い $\Delta_{retain}$）を維持したが、効果的な忘却に失敗した（大きな負の $\Delta_{forget}$）。これは、必要なパラメータ修正が過小評価されたことを示唆している。
  • 重み付き差分法では、重み $w$ を大きくすると介入がより積極的になり、ユーティリティの損失と残留するメンバーシップ信号が増加することが示された。
• 計算オーバーヘッド: 提案手法の計算オーバーヘッドは無視できる程度であった（ベースラインの 02:57 に対し、提案手法は 02:59）。これは、クリティカリティの計算時間とファインチューニング時間がほぼ同一であるためである。

5. 意義と主張

本論文は、特徴量の絡み合いが、既存の局所化ベースのアンラーニング手法における副作用の主要な原因であり、集計指標ではこれを検出できないことを主張している。

本研究の意義は以下の点にある：

1. 限界の特定: 忘却セットと保持セットの間で共有される学習表現が、副作用の直接的な原因であることを明示したこと。
2. 保持認識型局所化: パラメータ選択に保持セットの重要性を組み込むことで、「類似性を考慮した」アンラーニングが可能になり、共有された表現を維持しながら忘却特有の知識を効果的に除去できることを示したこと。
3. 評価プロトコル: 標準的な集計指標では不十分であることを踏まえ、副作用を直接測定するためのツールとして保持類似評価セットを導入したこと。

著者らは、提案手法が副作用を一貫して減少させつつ、標準的なアンラーニング指標を向上させており、計算コストをほとんど増大させることなく実用的な解決策を提供できると結論付けている。また、今後の課題として、より大規模なデータセットやアーキテクチャでの検証を挙げている。