技術要約：忘却と保持のジレンマ：継続学習における認定型アンラーニング理論

問題定式化

本論文は、**機械アンラーニング（Machine Unlearning）と継続学習（Continual Learning: CL）**の交差点に取り組んでいる。機械アンラーニングが、プライバシー規制（例：「忘れられる権利」）を満たすために特定のデータの存在影響を取り除くことを目的とする一方で、CLは破滅的忘却を回避しながら逐次的なタスクを学習することを目的としているが、これらを組み合わせることは、根本的な理論的および実用的な課題を提示する。

既存の認定型アンラーニングアルゴリズム（例：ヘッセ行列ベースまたは勾配ベースの手法）は、静的な設定向けに設計されている。これらは以下の理由により、CLの文脈では機能しない：

1. 複雑なモデルの進化： CLモデルは非i.i.d.なタスクを通じて動的に進化し、過去の情報を複雑な形でエンコードするため、現在の認定型アルゴリズムでは効果的に逆転させることができない。
2. 相反する目的： CLの目的は「忘却を防ぐ（過去の知識を保持する）」ことであるが、アンラーニングは「標的を絞った忘却」を必要とする。
3. ストレージとアクセスの制約： 多くの認定型アンラーニング手法は、データの完全な保持を必要とするか、あるいは動的な環境で一般的な、任意の非同期的なアンラーニング要求シーケンスを扱うことができない。

著者らは、**継続学習・アンラーニング（CLU）**問題を、以下の逐次的な2段階プロセスとして定式化している：

1. 学習ステージ： モデルは、忘却を軽減するために$\ell_2$正則化スキームを用いて新しいタスク $D_t$ に対して更新される。
2. アンラーニング・ステージ： 過去のタスクの集合 $S_t$ を削除するリクエストを受けた際、システムは、残りのデータで再学習されたモデルと区別がつかないモデルを生成しなければならず、$(\epsilon, \delta)$-認定型アンラーニングの保証を満たす必要がある。

主要なパフォーマンス指標は、**事後アンラーニング過剰リスク（Post-Unlearning Excess Risk: $E_{LU}$）**であり、これは2つの競合する項に分解される：

• アンラーニング損失（$E_U$）： 再学習モデルの近似によって導入される誤差（「忘却」コスト）。
• CL過剰リスク（$E_L$）： 保持されたタスクに対するCLアルゴリズムによって生じる誤差（「保持」コスト）。

手法

本論文はCLUの理論的基礎を確立し、3つのアルゴリズム的アプローチを提案している。

1. 理論的基礎

著者らは、非凸モデルにおける$\ell_2$正則化下でのCL過剰リスク（$E_L$）の上界を導出している。彼らは、CL過剰リスクを最小化するための最適な正則化パラメータ $\lambda$ が、アンラーニング損失を最小化するために必要なものとは大きく異なる可能性があることを証明し、固有のトレードオフを浮き彫りにしている。

2. 勾配ベースのCLU（自然な忘却）

このアプローチは、逐次的な更新によって遠い過去のタスクの影響が時間の経過とともに減衰するという、CLに内在する「自然な忘却」現象を利用する。

• メカニズム： 明示的なアンラーニングステップの代わりに、モデルパラメータにガウスノイズを加える。ノイズのスケールは、削除されたタスクの残留影響を定量化する近似誤差の理論的上界（$\gamma_t$）に基づいて調整される。
• 利点： 現在のモデル状態以外のストレージオーバーヘッドはゼロである。
• 限界： 自然な忘却がまだ起こっていない最近のタスクに対しては効果が低く、高いアンラーニング損失につながる。

3. ヘッセ行列ベースのCLU

このアプローチは、正確で標的を絞った忘却を実現するために、第2次近似を用いた認定型アンラーニング手法をCLの設定に適応させている。

• メカニズム： 保存されたヘッセ行列の情報（またはGauss-Newtonや対角ヘッセ行列などの近似）とモデルの更新量（$\Delta_t$）を利用して、補正項（$\bar{\Delta}_t$）を計算する。この項は、任意の非同期的なアンラーニングシーケンスに対しても、単一のステップで再学習モデルを近似する。
• 課題： 非同期のリクエストを扱うことは、「時間的無秩序（temporal disorder）」を生み出し、過去の削除の影響が後続の更新へと伝播する。著者らは、これを考慮するための再帰的な補正項を導出している。
• コスト： アンラーニングイベントの数とヘッセ行列近似の次元に比例するストレージオーバーヘッドが発生する。

4. ハイブリッド戦略（忘却強化型ヘッセ行列）

ストレージコストと精度のバランスを取るために、著者らはハイブリッド戦略を提案している。

• メカニズム： 最近のアンラーニング要求（自然な忘却が弱い場合）にはヘッセ行列ベースの手法を使用し、遠い過去のタスクには自然な忘却に依存する。
• 実装： アルゴリズムは、アンラーニングイベント間のギャップによって決定される特定の時間的閾値よりも古いタスクの保存されたヘッセ行列情報を破棄する。
• 利点： アンラーニング誤差を低く維持しながら、ストレージ複雑性を $O(t \cdot d)$ から $O(\max(t_i - t_{i-1}) \cdot d)$ へと大幅に削減する（ここで $t_i$ はアンラーニング時刻）。

主な結果

実験は、MNIST、CIFAR-10、およびCIFAR-100を用い、ResNet-18およびCNNバックボーンを使用して、非i.i.d.なタスクシーケンスに対して行われた。

1. 順序への感受性： 理論的な境界と実験は、**フォワード同期型（forward-synchronous）**のアンラーニングシーケンス（削除されるタスクが最後のアンラーニングイベントよりも厳密に新しい場合）は、**非同期（asynchronous）**シーケンスよりも近似誤差が低いことを確認している。非同期のリクエストは、時間的無秩序により追加の誤差項を蓄積させる。
2. 精度とストレージのトレードオフ：
   • 自然な忘却（勾配ベース）： 最も低いストレージ（ほぼゼロ）を実現するが、特に最近のタスクにおいて最も高い近似誤差が生じる。
   • 純粋なヘッセ行列ベース： フル再学習に近い近似誤差（例：CIFAR-100で ~0.009）を達成するが、かなりのメモリ（Gauss-Newton変種では自然な忘却の最大5倍）を必要とする。
   • ハイブリッド（忘却強化型）： メモリ使用量を（対角ヘッセ行列と同程度まで）大幅に削減しつつ、近似誤差の増加をわずかに抑える（~0.045）ことで、実用的な中間解を提供する。
3. 認定された保証： 理論的な上界（$\gamma_T$）は、経験的な誤差に対して検証された。これらの境界は勾配ベースおよびヘッセ行列ベースの両方の手法に対して成立しており、$(\epsilon, \delta)$-認定型アンラーニングを保証している。
4. 保持と忘却のトレードオフ： 正則化強度 $\lambda$ を大きくすると、パラメータのドリフトが制限されてアンラーニング誤差は減少するが、純粋なCLのテスト精度は低下する。これは、保持と忘却の間の理論的な緊張関係を経験的に裏付けている。

意義と主張

本論文は、認定型アンラーニングと継続学習を橋渡しする最初の理論的基礎を提供することを主張している。その意義は以下の点にある：

• トレードオフの定式化： 事後アンラーニングリスクをCL過剰リスクとアンラーニング損失に分解することで、「忘却と保持のジレンマ」を厳密に定義し、一方を最小化することがしばしば他方を悪化させることを証明した。
• 理論的境界： 非凸設定における$\ell_2$正則化CLの最初の過剰リスク境界を確立し、動的かつ逐次的なリクエストパターンへの認定型アンラーニング理論の拡張を行った。
• 実用的なアルゴリズム： 認定型アンラーニングの理論的保証を損なうことなく、第2次近似手法のストレージボトルネックを解決するハイブリッド戦略を導入した。
• ベンチマーク： 厳格なベースライン（自然な忘却）を提供し、単純な手法では不十分であり、提案されたヘッセ行列による強化が必要であることを示した。

著者らは、本研究が$\ell_2$正則化CLアルゴリズムに焦点を当てているものの、メモリベースのアプローチやElastic Weight Consolidation (EWC) のような、より高度なCL手法への認定型アンラーニング理論の拡張への道を開くものであると結論付けている。