技術的概要：表現の忘却（Representation Unlearning）：情報圧縮による忘却

問題定義

現代の機械学習システムは、特定の訓練データ（「忘却セット」、$D_f$）の影響を要請に応じて除去するという、規制および倫理的な圧力に直面している。これは GDPR や CCPA などの枠組みに明記された要件である。生データを単に削除するだけでは不十分であり、深層ネットワークは訓練例を記憶し、そのパラメータ内に統計的な痕跡を保持することが多いためである。

既存の機械学習忘却アプローチは、通常パラメータ中心の視点を採用し、「保持セット」（$D_r$）のみで再訓練されたモデルを近似するためにモデル重み（$\theta$）を修正しようとする。しかし、これらの手法には重大な限界が存在する：

1. スケーラビリティ: 大規模なアーキテクチャや複雑なデータセットにおいて、モデルの有用性を維持することが困難である。
2. 計算コスト: 多くの手法が高価な 2 次情報や複数の逆伝播を必要とし、単純な再訓練に対する効率性のギャップを狭めている。
3. 不安定性: 全体のパラメータ空間を修正すると、GPU の過剰使用や不安定な更新を招く可能性がある。
4. データアクセスの制約: 多くの手法は暗黙的に $D_r$ と $D_f$ の両方へのアクセスを前提としているが、現実のシナリオではプライバシーやストレージの制限により $D_r$ へのアクセスが制限されることが多い（「ゼロショット」設定）。

手法：表現忘却（Representation Unlearning）

著者らは、忘却操作を高次元のパラメータ空間から低次元の表現空間（$Z$）へシフトさせる表現忘却（Representation Unlearning）という枠組みを提案する。ネットワーク重みの再最適化を行う代わりに、この手法は元の表現 $Z$ を新しい表現 $Z'$ にマッピングする軽量な変換 $f_\phi$ を学習する。

中核的な目的：情報ボトルネック

変換 $f_\phi$ は、2 つの競合する目標を持つ情報ボトルネックを強制するように訓練される：

1. 保持: 変換された表現 $Z'$ と保持データ $X_r$ の間の相互情報を最大化する（すなわち、$I(Z'; Z | X_r) \approx 0$、つまり $D_r$ に関連する情報が失われないことを意味する）。
2. 忘却: $Z'$ と忘却データ $X_f$ の間の相互情報を抑制する（すなわち、$I(Z'; X_f) \approx 0$、つまり $Z'$ が $D_f$ と統計的に独立であることを意味する）。

変分代理変数

相互情報は直接計算することが不可能であるため、著者らは最適化可能な損失関数を作成するために変分上界を導出する。彼らは 2 つの異なるデータアクセス領域に対処する：

1. 標準設定（$D_r$ と $D_f$ へのアクセス）

• 保持損失（$L_r$）: 保持サンプルについて、変換された分布と元のエンコーダ分布との間の KL 発散を最小化する。ガウス分布を仮定すると、これは元の表現と変換された表現間の平均二乗誤差（MSE）に単純化される：$\|z_r - f_\phi(z_r)\|_2^2$。
• 忘却損失（$L_f$）: 変換された忘却分布と、データセット全体の周辺分布との間の KL 発散を最小化する。これにより、忘却表現が集計統計と一致し、一般集団から区別できなくなるように強制される。

2. ゼロショット設定（$D_f$ へのみアクセス）

$D_r$ が利用できないシナリオでは、この枠組みはニューラル・クラスタリング（Neural Collapse）とメタデータ（クラス数）に依存して代理変数を構築する：

• 保持代理変数: $D_r$ をサンプリングする代わりに、この手法はクラス重心（分類器重み $w_c$ から導出）をクラス平均の代理変数として使用する。保持損失は、変換されたクラスプロトタイプの元の位置からの偏差にペナルティを課す。
• 忘却代理変数: 忘却損失は、変換された忘却サンプルからすべてのクラスプロトタイプへの加重距離を最小化し、特定のインスタンス情報をグローバルなラベル空間分布に「沈め込む」効果をもたらす。

アーキテクチャ

変換 $f_\phi$ は、深層における意味的情報が線形に分離可能であるとする「線形表現仮説」を活用し、軽量な線形マップまたは浅い多層パーセプトロン（MLP）に制約される。

主要な貢献

1. パラダイムシフト: パラメータレベルの更新に伴う不安定性と計算ボトルネックを回避する、表現中心の忘却枠組みを導入する。
2. ゼロショット能力: 保持データへのアクセスなしで忘却を行う新たなアプローチを実証し、ニューラル・クラスタリング仮説を用いて意味的多様体を固定する。
3. 理論的定式化: 情報理論的な目的関数に対する扱いやすい変分代理変数を導出し、正則化パラメータ $\beta$ を通じて保持と忘却のバランスを取る。
4. 効率性: 完全なモデルの再訓練や複雑な勾配操作ではなく、軽量な変換層による忘却を達成する。

実験結果

この枠組みは、CIFAR-10、CIFAR-100、Tiny ImageNet において、SISA、SCRUB、Bad Teacher、および各種ゼロショット手法（Boundary Shrinking、EMMN、GKT）などのベースラインに対して評価された。

• 有用性と忘却: 表現忘却は、$D_f$ における低い精度（ほぼ完全な忘却）を達成しつつ、$D_r$ において高い有用性を維持する。ゼロショット設定では、しばしば破滅的な忘却に陥るか、全く忘却できないベースラインを大幅に上回る。
• 計算効率: この手法は完全な再訓練と比較して大幅な高速化を実現する。Tiny ImageNet において、ゼロショット変種は再訓練に対して757 倍の高速化を達成する。実行時間において、すべての競合ベースラインを一貫して上回る。
• リソース効率: このアプローチは、ピーク GPU メモリを大幅に少なく必要とする（例：Tiny ImageNet で約 1.9 GB に対し、再訓練では約 8.3 GB）。これにより、リソース制約のある環境に適している。
• ロバスト性: この手法は、異なるデータセットの複雑さや忘却シナリオ（クラス別忘却対ランダム忘却）において安定している。

意義と限界

本論文は、表現忘却を大規模な忘却展開のための実用的でスケーラブルな解決策として位置づけている。忘却の効果を高いハードウェア要件やパラメータの不安定性から切り離すことで、優れた安定性 - 可塑性のトレードオフを提供する。

控えめな主張と限界:

• ブラックボックス脅威モデル: この手法は下流の変換として機能する。生エンコーダのパラメータは変更されないため、元の表現 $Z$ は依然として忘却セットをエンコードしている。システムは、生エンコーダにアクセス可能な場合、ホワイトボックス復元攻撃に対して脆弱である。これは内部重みではなく、出力 $Z'$ を保護するものである。
• 推論オーバーヘッド: 変換層 $f_\phi$ の導入は、永続的ではあるがマイクロ秒スケールの推論時のオーバーヘッドを追加する。
• ニューラル・クラスタリングへの依存: ゼロショット変種はニューラル・クラスタリング仮説に依存している。事前学習済みモデルが強いクラスタリングを示さない場合（すなわち、分類器重みがクラス中心の優れた代理変数ではない場合）、ゼロショット忘却の品質は低下する。ただし、この手法は忘却に失敗するのではなく、保持有用性とのトレードオフを「円滑に」行う。

著者らは、今後の研究として、これらの損失関数をエンコーダ全体的微調整に適用してホワイトボックスの脆弱性を解決すること、または複雑な行動の忘却のためにこの枠組みを大規模言語モデル（LLM）に拡張することを提案している。