テクニカルサマリー：機械学習におけるアンラーニング（学習解除）の評価における、複数のトレーニングシードの重要性について

問題提起

機械学習におけるアンラーニング（Machine Unlearning）は、フル再学習という膨大なコストをかけることなく、訓練済みモデルから特定のデータポイントの影響を取り除くことを目的としている。厳密なアンラーニング（ゼロからの再学習）が「ゴールドスタンダード」であるが、それは多くの場合、実行不可能である。その結果、研究者は近似的なアンラーニングアルゴリズム（例：Random Labels, UNSIR, Bad Teacher, SSD, LFSSD）に依存している。これらのアルゴリズムは数学的に分析することが困難な場合が多いため、その性能は経験的に評価されなければならない。

文献における一般的な慣行は、単一の事前学習済みモデル（単一の「トレーニングシード」を使用）から、アンラーニングアルゴリズムを独立して複数回実行する（複数の「アンラーニングシード」を使用）ことによって、これらのアンラーニング手法を評価することである。本論文は、この評価戦略には欠陥があると主張する。具体的には、アンラーニングの性能は初期のトレーニングシードに対して非常に敏感である可能性がある。単一のトレーニングシードに依存すると、非代表的な結果をもたらす可能性があり、アルゴリズムの有効性や堅牢性に関する信頼性の低い結論を導くことになる。この問題は、決定論的なアンラーニング手法において特に顕著であり、それらの手法は同じモデルから開始された場合に同一の結果を生み出すため、複数のアンラーニングシードを用いることは冗長となる。

メソドロジー

著者らは、訓練フェーズとアンラーニングフェーズの両方の変動を考慮した、厳格な経験的評価フレームワークを提案している。

1. 汎用的な評価手順

論文では、以下の要素を含む評価手順（アルゴリズム1）を定式化している：

• $I$ 個のトレーニングシード： 異なるランダムシードを用いて、ゼロから $I$ 個の独立したモデルを訓練する。
• $J$ 個のアンラーニングシード： 各訓練済みモデルに対し、異なるアンラーニングシードを用いてアンラーニングアルゴリズムを $J$ 回実行する。
• 指標の集計： 全ての $I \times J$ 個のモデルにおけるアンラーニング指標（例：忘却精度、保持精度）の平均値を算出する。

2. 分散分解分析

核心となる理論的貢献は、アンラーニング指標 $Z$ の分散分解である：
$$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$$
ここで：

• $\sigma^2_{\text{train}}$ は、トレーニングシードの選択に起因する分散である。
• $\sigma^2_{\text{unlearn}}$ は、アンラーニングシードの選択に起因する分散である。
• $ICC$（クラス内相関係数）は、$\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$ と定義される。

この分析は、もし $\sigma^2_{\text{train}} > 0$ （すなわち $ICC > 0$）であれば、アンラーニングシードの数を増やしても（$J$を増やしても）アンラーニングの性能を一貫して推定することはできず、トレーニングシードの数（$I$）を増やさなければならないことを示している。論文では、分散を最小化するか、あるいは目標とする信頼区間の幅を達成するための計算予算の最適配分戦略を導出し、トレーニングの分散が大きい場合には、$J$を優先するよりも$I$ を優先する方が一般に効果的であることを示している。

3. 実装の修正

著者らは、SSDおよびLFSSDのリファレンスコードにおける実装上の問題を特定し、修正した。元の実装では、二乗する前にバッチレベルの平均化を行っていたため、パラメータの重要度スコアにバイアスが生じ、アンラーニングシード間で非決定性を導入していた。著者らは、不偏なサンプルレベルの重要度計算を使用する「決定論的（det.）」バージョンを導入し、これらの手法が固定されたトレーニングシードに対して同一の結果を生むようにした。

実験結果

著者らは、画像分類、フェデレーテッド・オンライン学習形式のランキング（FOLTR）、および大規模言語モデル（LLM）の3つのドメインにわたって広範な実験を行った。

画像分類 (CIFAR-100, CIFAR-20)

• 分散分析： 75個のトレーニングシードと10個のアンラーニングシードを用いた研究において、ほとんどの手法（SSD, LFSSD, Bad Teacher, UNSIRを含む）において、トレーニングシードに起因する分散（$\sigma^2_{\text{train}}$）が、アンラーニングシードによる分散（$\sigma^2_{\text{unlearn}}$）よりも大幅に大きいことが判明した。
• 決定論的手法： 修正されたSSD (det.) および LFSSD (det.) の実装では、$\sigma^2_{\text{unlearn}}$ は実質的にゼロであった。これは、トレーニングシードが固定されている場合、複数のアンラーニングシードは追加の洞察を与えないことを裏付けている。
• 信頼区間： 式2に基づく計算によれば、狭い信頼区間（例：幅 $W=1$）を達成するには、しばしば数百または数千のトレーニングシードが必要となる一方で、アンラーニングシードを増やしても収穫逓減となることが示された。

フェデレーテッド・ランキング (FOLTR)

• 10個のクライアントを持つMQ2007データセットを用いた実験では、単一のトレーニングシード（$I=1, J=10$）で評価した場合、真のクロスシードの変動性を代表しない軌跡が生成されることが示された。
• 複数のトレーニングシード（$I=10, J=1$）を用いて評価すると、アンラーニング後の性能において大幅に大きな分散が明らかになり、この問題がフェデレーテッド・ランキングのタスクにも及ぶことが確認された。

大規模言語モデル (LLMs)

• TOFUデータセットを用いてLlama-3.2-1B-Instructを使用した研究では、GradAscentやRunlearningといった手法において、モデルの有用性（Model Utility）と忘却の質（Forget Quality）の両方で、大幅なクロスシードの分散が観察された。
• 個々のトレーニングシードは、起こり得る結果の全範囲にわたっており、これはLLMのアンラーニング挙動を特徴付ける上で、単一シードによる評価が不十分であることを強調している。

主な貢献

1. トレーニングシードの感度に関する経験的実証： 本論文は、画像分類において単一のトレーニングシードによる評価が非代表的な結果を生む可能性があることを数値的に示しており、この知見はFOLTRやLLMにも及ぶものである。
2. 理論的正当化： $\sigma^2_{\text{train}} > 0$ であるとき、アンラーニングシードを増やすことはトレーニングシードの不足を補うことはできないという、分散分解分析による証明を提供している。
3. 実践的なガイダンス： 著者らは、望ましい統計的信頼度を得るために、トレーニングの反復とアンラーニングの反復の間で計算リソースをどのように割り当てるべきかを示す公式と表（表1および表2）を提供している。
4. 実装の修正： 本論文は、SSDおよびLFSSDのリファレンス実装における非決定的な挙動を修正し、オリジナルの（"orig."）バージョンと更新された決定論的な（"det."）バージョンを区別している。

意義と主張

本論文は、単一のトレーニングシードを用い、複数のアンラーニングシードを使用するという一般的な慣行が、機械学習のアンラーニング手法の信頼できない評価を招く可能性があると主張している。著者らは以下のように断言している：

• 信頼性： 正確な評価には、トレーニングによる初期化がアンラーニングプロセスによる変動よりも支配的であることが多いため、複数のトレーニングシードにわたる平均化が必要である。
• 汎用性： この制限は画像分類に特有のものではなく、フェデレーテッド学習やLLMでも観察される、評価フレームワークの一般的な特性である。
• 実現可能性： トレーニングのコストが高いにもかかわらず、複数のトレーニングシードを使用することはLLM（例：Llama-3.2-1Bモデルの訓練には約10分かかる）においても実現可能であり、提案された厳格な評価は実用的である。

本研究は、使用するトレーニングシードの規模を拡大し（10個に対し75個）、なぜ複数のアンラーニングシードが単一のトレーニングシードを補完できないのかを明確に説明することで、先行研究（Cadetら、Triantafillouら）の知見を拡張している。