技術概要：CoUn - 対比学習による機械的忘却の強化

1. 問題定義

機械的忘却（MU）は、特定の「忘却」データ（$D_u$）の影響力を学習済みモデルから除去しつつ、残りの「保持」データ（$D_r$）の実用性を維持することにより、データプライバシーや規制遵守（例：GDPR）の必要性の高まりに対応する。MU のゴールドスタンダードは、$D_r$ 上でモデルをゼロから再学習させることで達成される「完全忘却（exact unlearning）」（Retrain モデル）である。しかし、このアプローチは計算コストが極めて高く、実用的ではない。

近似忘却手法は、より効率的に同様の結果を達成することを目指すが、Retrain モデルとの性能の隔たり（ギャップ）に直面することが多い。既存の近似手法は一般的に以下の 2 つのカテゴリに分類される：

1. ラベル操作：忘却サンプルに意味的に矛盾するラベルやランダムなラベルを割り当て、誤分類を強制する。これは保持データに対するモデルの実用性を低下させる傾向があり、かつ忘却データへのアクセスを必要とする。
2. モデル重みの摂動：モデル重みを修正して忘却データの影響力を消去する。摂動が過剰であれば実用性を損ない、不十分であれば忘却データの影響力を除去しきれない。

この研究を推進する重要な観察点は、$D_r$ のみで学習された Retrain モデルが、忘却サンプル（$D_u$）を保持クラスタとの意味的類似性に基づいて分類するということである。例えば、クラス単位の忘却シナリオ（すべての「トラック」サンプルを除去する場合）において、Retrain モデルは「トラック」の忘却サンプルを、「自動車」や「船」など意味的に類似したクラスタに誤分類する。ランダムな忘却の場合、忘却サンプルが元の保持クラスタに意味的に近接している場合、それらを正しく分類することもあり得る。現在の近似手法は、この微妙な挙動を再現できず、完全な誤分類を強制するか、忘却データの影響力を十分に撹乱できずに失敗することが多い。

2. 手法：CoUn

著者は、CoUn（Contrastive learning for empowering Unlearning）を提案する。これは、保持データ（$D_r$）のみを用いて、意味的類似性に基づいて学習されたデータ表現を調整することで、効果的な忘却を実現するフレームワークである。CoUn は忘却データへのアクセスを必要としない。

中核メカニズム

CoUn は、元のモデルの重みがすでにすべての学習サンプル間の意味的類似性を捉えているという事実に基づく。保持データ（$D_r$）の表現を調整することで、フレームワークは忘却データ（$D_u$）の表現に間接的に影響を与える。

このフレームワークは、$D_r$ に適用される 2 つの同時学習目的から構成される：

1. 対比学習（CL）モジュール：

   • 表現を調整するために保持データに適用される。
   • データ拡張を用いて、正のペア（同じ画像の 2 つのビュー）と負のペア（異なる画像）を作成する。
   • クラスタ衝突：CL モジュールは標準的な InfoNCE 損失を使用する。重要なのは、バッチが $D_r$ からランダムにサンプリングされるため、必然的に「偽の負例」（正例と同じクラスだが負例として扱われるサンプル）が含まれることである。
   • これによりクラスタ衝突が誘発され、同じクラスのサンプル同士が引き離される。その結果、忘却表現（元の重みを通じて保持データと意味的情報を共有する）は、自分と最も意味的に類似した他の保持サンプルのクラスタへと間接的に押しやられる。
   • クラス単位の忘却では、これは忘却サンプルを異なるクラスタへと押しやる。ランダムな忘却では、忘却サンプルを最も意味的に類似した保持クラスタに整合させ、Retrain モデルの挙動を模倣する。

2. 教師あり学習：

   • クロスエントロピー（CE）損失を用いた分類器ヘッドを通じて保持データに適用される。
   • 実用性の維持：CL は忘却データに有益なクラスタ衝突を誘発するが、保持データに対するモデルの実用性を低下させるリスクがある。教師あり学習コンポーネントは、保持表現がそれぞれの正しいクラスタ内に留まることを強制することでこれを相殺し、$D_r$ における高い精度を維持する。

最適化

総損失関数は、両方の目的を組み合わせる：
$$L = L_{CE} + \lambda L_{CL}$$
ここで、$L_{CE}$ は教師ありクロスエントロピー損失、$L_{CL}$ は対比損失、$\lambda$ は 2 つをバランスさせるスケーリング因子である。

3. 主要な貢献

1. 新規フレームワーク：CL と教師あり学習を保持データのみで用い、意味的類似性に基づいて学習された表現を調整することで効果的な忘却を実現する MU フレームワーク、CoUn の導入。
2. 実証的および理論的洞察：
   • CoUn が、忘却表現を意味的に類似した保持表現のクラスタへと押しやることで効果的に忘却を実現し、完全な Retrain モデルの挙動と密接に一致することを示した。
   • CoUn が忘却データにおける誤分類率を高めつつ、保持データにおける誤分類率を低く抑え、忘却の質と実用性の両方を最適化することを示す理論的解析を提供した。
3. 性能検証：複数のデータセット（CIFAR-10/100、TinyImageNet）およびアーキテクチャ（ResNet-18、VGG-16、ViT）において CoUn を検証した。結果、CoUn は完全な Retrain モデルとの性能ギャップを縮小する点で、最先端のベースライン手法を一貫して上回ることが示された。
4. モジュール化された統合：既存のベースライン手法に CoUn の CL モジュールを統合することで、それらの忘却効果を大幅に強化できることを実証した。

4. 実験結果

実験は、クラス単位（クラス全体を除去）とランダム（サンプルの割合を除去）という 2 つの忘却シナリオ下で行われた。

• 性能ギャップ：CoUn は、すべてのデータセットおよびモデルにおいて、Retrain モデルとの Retain 精度、Unlearn 精度、Test 精度、および MIA 成功率の平均差である「平均ギャップ」を最も低く達成した。
  • CIFAR-10 および ResNet-18（10% ランダム忘却）において、CoUn は最良のベースラインを**16.7%**上回った。
  • CIFAR-100 および ResNet-18 において、改善は**15.8%**であった。
  • TinyImageNet において、改善は**6.3%**であった。
• ベースラインとの比較：CoUn は NegGrad+、$\ell_1$-sparse、SalUn、NoT などの手法を上回った。特に、ラベル操作に依存する手法（SalUn など）は、保持データにおける実用性の低下をしばしば招いた。
• 統合：競争力のあるベースライン（NegGrad+、$\ell_1$-sparse、NoT）に CoUn の CL モジュールを追加すると、大幅な性能向上が得られた（例：CIFAR-100 における 50% 忘却の $\ell_1$-sparse において、平均ギャップが最大**87.7%**改善）。
• アブレーション研究：
  • スケーリング因子（$\lambda$）：適切な調整が不可欠であり、高い $\lambda$ は教師あり制約を弱め、実用性を低下させる。
  • 温度パラメータ（$\tau$）：低い温度は一般的に CL の効果を高め、$\tau=0.1$ で最適な性能を示した。
  • 変換：CL における強力な拡張はより緊密なクラスタリングをもたらすが、必要なクラスタの重なりを妨げることで逆説的に忘却を阻害する。教師あり学習で使用したものに一致する単純な変換が最良の結果をもたらした。
  • バッチサイズ：バッチサイズが Retrain モデルのもの（256）と一致するときに性能が最適であった。

5. 意義と主張

本論文は、CoUn が「誤分類を強制する」ことから「意味的類似性を模倣する」ことへのパラダイムシフトを通じて、近似機械的忘却において重要な前進を遂げたと主張している。

• 完全忘却との整合性：忘却データを盲目的に誤分類しようとする先行手法とは異なり、CoUn は忘却データを保持データとの意味的近接性に基づいて分類する完全な Retrain モデルの自然的な挙動と整合する。
• 効率性と実用性：CoUn は忘却データへのアクセスを必要とせずに高い忘却効果を実現し、教師あり学習によるクラスタ衝突の緩和を通じて保持データにおける高い実用性を維持する。
• 汎用性：このフレームワークは、異なるモデルアーキテクチャおよび忘却シナリオにおいて効果的であることが示され、その中核となる CL モジュールは既存の忘却手法を強化するためのプラグインとして機能し得る。

著者は、CoUn は現在、比較的小さなデータセットにおける視覚ベースの分類に焦点を当てているが、意味的類似性とクラスタ衝突を活用するアプローチは、機械的忘却における将来の研究にとって堅牢な方向性を提供すると結論付けている。