🤖 machine learning

Multi-Objective Reference-Aligned Machine Unlearning

本論文は、機械学習における破滅的忘却を軽減するために、無制限な損失最大化をリファレンス分布への有界なKLアライメントに置き換え、その結果生じる最適化をヤコビアン降下法によって解くことで、フル再学習に匹敵する性能を実現するマルチオブジェクティブ・フレームワークであるReference-Aligned UnLearning (RAUL) を提案する。

原著者： Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い学生が、膨大な教科書を学習したと想像してください。この学生は非常に優秀で、その本に関するほとんどすべての質問に答えることができます。しかし今、法的な理由により、その本から数ページ分を削除しなければならなくなりました（例えば、プライバシー情報が含まれているため）。あなたは、この学生に、他のことを忘れることなく、その特定のページだけを「忘れさせる（unlearn）」必要があります。

これが、**機械学習の忘却（Machine Unlearning）**という問題です。

旧来の手法：「過剰修正」の問題

従来、特定のページを忘れさせるために、教師たちは厳しい方法を用いてきました。それは、そのページに書かれていた内容の「反対」を暗記させるという方法です。

比喩： 学生が「リンゴは赤い」ということを忘れようとしているとします。教師は、「違う！リンゴは青だ！リンゴは緑だ！リンゴはぐにゃぐにゃだ！」と叫びます。
結果： 間違った答えを無理やり覚えさせようとするあまり、学生は混乱してしまいます。その結果、他のことまで忘れてしまうのです。例えば、「オレンジは青い」と思い出したり、数え方を忘れたりするかもしれません。論文では、これを**破滅的忘却（Catastrophic Forgetting）**と呼んでいます。学生は不安定になり、忘却のプロセスが記憶のプロセスと衝突するため、全体的なパフォーマンスが低下してしまいます。

新しい解決策：RAUL（参照整合型忘却：Reference-Aligned UnLearning）

この論文の著者たちは、RAULと呼ばれる、よりスマートで穏やかなアプローチを提案しています。単に反対のことを叫ぶのではなく、「これらのページについては、まるで一度も見たことがないかのように振る舞いなさい」と伝えるのです。

その仕組みを、簡単なステップに分けて説明します。

1. 二つの目標（バランス調整）

学生には、同時に二つの仕事をこなす必要があります。

仕事A（保持）： 本の「残りの部分」についての質問には、完璧に答え続けること。
仕事B（忘却）： 「削除されたページ」についての質問には、それが全く新しい未知の概念であるかのように答えること。

従来の手法は、仕事Aと戦うことで仕事Bを行おうとしていました。RAULは、これらが互いに邪魔をし合わないように、両方を同時に行おうとします。

2. 「リファレンス（参照）」のトリック

「見たことがないかのように振る舞う」とは、どうすれば教えられるのでしょうか？その答えは、**リファレンス（参照）**を与えることです。

比喩： 学生が「忘れられたページ」の写真を見ていると想像してください。教師が「これは犬だ」と強制的に言わせる（本来は猫なのに）のではなく、こう言います。「このランダムな物体（見たことがないもの）の写真を見てごらん。それをどう説明する？おそらく確信が持てないはずだよね？『わかりません、何かの可能性があります』と言うはずだよ」
論文の手法： この論文では、二種類の「リファレンス」ガイドを使用しています。
- 一様分布（「完全な推測」）： 教師は学生に、「これらのページについては、ただランダムに推測しなさい。すべての答えが等しく起こり得ると考えなさい」と伝えます。これは、「これに関する知識はゼロである」と言っているようなものです。
- ホールドアウト分布（「真の他人」）： 教師は学生に、別の本（まだ読んでいない本）から持ってきた全く新しい物体の写真を見せ、「削除されたページについては、まさにこれと同じように扱いなさい」と言います。これにより、学生はパニックに陥ることなく冷静さを保ち、本の他の部分の記憶を安定させることができます。

3. 「交通整理」 (Jacobian Descent)

優れた計画があっても、二つの仕事（覚えること vs 忘れること）は、依然として学生を相反する方向へと引っ張ってしまう可能性があります。

比喩： 学生が二本のロープに引かれていると考えてください。一本のロープは本を覚えさせようと引き、もう一本のロープはページを忘れさせようと引いています。もし単に二本のロープを一つに結んでしまうと、ロープは切れるか、学生が身動き取れなくなってしまいます。
解決策： 論文では、特別な「交通整理（Jacobian Descent、および UPGrad）」を使用しています。この交通整理の係員は、両方のロープの状態を見極め、中間となる道を見つけ出します。単に力を足し合わせるのではなく、学生が混乱することなく前進できる方向を計算します。つまり、記憶が十分に保たれ、かつ忘却も十分に達成される、完璧な地点を見つけ出すのです。

実験の結果はどうだったのか？

研究者たちは、デジタルな「学生」（コンピュータモデル）を用い、動物の画像（CIFAR-10）を使ってテストを行いました。

旧来の学生（従来の手法）： データの50%を忘れさせるよう指示されたとき、従来の手法では混乱が生じました。残りの50%に対する記憶が崩壊し、パフォーマンスがひどい状態になりました。
RAULの学生： 同じ量のデータを忘れさせるよう指示されても、RAULの学生は冷静でした。
- 残りのデータに対する記憶は、忘れさせる指示を受ける前とほぼ変わらず、完璧に近い状態を維持しました。
- 削除されたデータについては、全く新しい写真を見たときと同じように「確信が持てない」状態を作り出し、見事に「忘却」に成功しました。
- 非常に安定しており、パフォーマンスの激しい変動もありませんでした。

結論

この論文は、「モデルに間違った答えを強制する」のではなく、「モデルを『新しいものを見た時の振る舞い』に適合させる」という目標に変えることで、モデルの知能を損なうことなく、特定のデータを削除できると主張しています。それは、本全体を間違いだらけの内容で書き換えるのではなく、「白紙のページであるかのように扱いなさい」と伝えることで、特定の章を忘れさせる方法に似ています。

その結果、モデルの知能を維持したまま、プライバシーを尊重する（データを削除する）ための、より優れたシステムを実現しています。

技術概要：マルチオブジェクティブ・リファレンス・アラインド・マシン・アンラーニング（RAUL）

問題提起
機械学習におけるアンラーニング（MU）は、展開されたモデルから特定の訓練サンプル（「忘却セット」、 $F$ ）の影響を取り除く一方で、残りのデータ（「保持セット」、 $R$ ）に対する性能を維持することを目的としている。既存の近似手法は通常、勾配上昇法（ $F$ に対する損失の最大化）やランダムなラベル再割り当てといった、単一目的の最適化に依存している。著者らは、これらのアプローチが**破滅的忘却（catastrophic forgetting）**を引き起こすと主張している。これは、「忘却」の最適化ダイナミクス（正しい予測を退けること）が、「保持」のダイナミクス（ $R$ に対する正しい予測を維持すること）と衝突するためである。この衝突により、モデルは事前学習された知識から逸脱し、結果として保持セットに対するユーティリティの著しい低下を招く。

手法：リファレンス・アラインド・アンラーニング（RAUL）
本論文では、アンラーニングを単なる敵対的なタスクとしてではなく、忘却と保持の共同最適化として再定義するマルチオブジェクティブ最適化（MOO）フレームワークであるRAULを提案している。

目的関数の定式化:
- 保持目的関数 ( $L_{retain}$ ): 保持セット $R$ における標準的なクロスエントロピー最小化を行い、モデルのユーティリティを維持する。
- リファレンスに基づく忘却目的関数 ( $L_{forget}$ ): $F$ に対する損失を最大化する代わりに、RAULは、モデルの $F$ に対する予測と、「未学習」のデータを表すリファレンス分布（ $p_{ref}$ ）との間のカルバック・ライブラー（KL）ダイバージェンスを最小化する。これにより、忘れられたサンプルに対するモデルの確信度を、モデルが一度も遭遇したことのないデータに対して示すであろう振る舞いに一致させる。
  $\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$
リファレンス分布の戦略:
論文では、 $p_{ref}$ を具体化するための2つの戦略を紹介している。
- 一様分布 (Uniform Distribution, UniDist): $p_{ref}(y) = 1/C$ （ $C$ はクラス数）と設定する。これは追加データを必要としない原理的なベースラインとして機能し、忘れられたサンプルに対して最大限の不確実性を促す。一様分布へのKLダイバージェンスの最小化は、予測エントロピーの最大化と同等である。
- ホールドアウト分布 (Held-out Distribution, HeldDist): 元の訓練、検証、またはテストセットには含まれていない、互いに素な未学習データセット（ $D_{ref}$ ）から経験的なリファレンス分布を算出する。これは、真に未知のデータの振る舞いを模倣する安定したアンカーを提供し、保持の安定性を高める可能性がある。
ヤコビアン降下法による最適化:
この問題は、二目的最適化問題 $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$ として扱われる。手動での重み付け（これは目的間の勾配の衝突を招く可能性がある）を避けるため、著者らは UPGrad (Unconflicting Projection of Gradients) アグリゲーターを用いたヤコビアン降下法を採用している。
- 2つの目的関数の勾配（ $g_R$ と $g_F$ ）をヤコビ行列にスタックする。
- UPGrad は、各勾配をすべての目的勾配のデュアル錐（dual cone）上に投影し、それらを平均化する。
- この集約により、一方の目的関数を上昇させながら他方を下降させることがない**パレート停滞（Pareto-stationary）**点を見出し、効果的に勾配の衝突を解決する。

主な貢献

アンラーニングの再定式化: アンラーニングを、敵対的な損失最大化から、リファレンスに整合した予測へとパラダイムシフトさせ、忘却の目的関数を制約することでモデルのドリフトを防いでいる。
マルチオブジェクティブ・フレームワーク: 忘却と保持の間の緊張関係を二目的問題として明示的にモデル化し、線形スカラー化ではなく、パレート停滞最適化（ヤコビアン降下法）を用いて解決している。
リファレンス戦略: 忘却の挙動を制御するために、2つの異なるリファレンス分布（Uniform および Held-out）を提案しており、データフリーな実装と保持の安定性の間のトレードオフを提供している。
安定した最適化: 無制限な損失最大化を有界なKLアライメントに置き換えることで、勾配の衝突を軽減し、より安定した更新を実現できることを示している。

実験結果
著者らは、CIFAR-10（ResNet-18使用）を用いた画像分類タスクにおいて、10%および50%のランダム忘却比率の下で、Gradient Ascent (GA)、Random Relabeling (RL)、Influence Functions (IU)、および SalUn を含むベースラインと比較して RAUL を評価した。

パフォーマンス・ギャップ: RAUL の各バリアントは、フル再学習と比較して最も小さい平均パフォーマンス・ギャップを達成した。
- 10%の忘却時、HeldDist-RAUL (UPGrad使用) は、最強のベースラインである IU (6.06) を上回り、GA (16.90) を大幅に凌駕する、2.23 という最高の平均ギャップを達成した。
- 50%の忘却時、GA などのベースラインが崩壊（ギャップ 49.19）する中で、UniDist-RAUL (UPGrad使用) は 6.75 という最高のギャップを達成し、HeldDist-RAUL のバリアントも 9.22 前後のギャップを維持した。
保持と忘却のトレードオフ:
- HeldDist-RAUL は保持を優先し、保守的な忘却を行いながら、高い保持精度（RA ~98.89%）とテスト精度（TA ~92.12%）を達成した。
- UniDist-RAUL は、より積極的な忘却プロファイル（高いアンラーニング精度）を提供しながらも、依然として再学習に対する最小の全体ギャップを維持した。
プライバシー指標: RAUL 手法は、再学習のベースラインに近いメンバーシップ推論攻撃（MIA）スコア（例：再学習の 13.13 に対し ~15.31）を維持した。一方、GA はランダムに近いレベル（1.93）まで低下しており、RAUL が敵対的攻撃のような不安定さを伴わずに影響を取り除いていることを示している。
安定性: RAUL のバリアントは、GA や $\ell_1$ -sparse 手法と比較して、パフォーマンスの標準偏差が著しく低く、リファレンスに整合した更新の安定性を裏付けている。

意義と主張
本論文は、RAUL が、忘却と保持の間に存在する根本的な衝突というボトルネックに対処していると主張している。無制限な損失最大化を、リファレンス分布への有界なKLアライメントに置き換えることで、以下のことが実現される：

勾配の衝突を軽減: UPGrad 集約を用いた MOO 定式化により、更新が保持セットを劣化させることなく忘却を実行することを保証する。
破滅的忘却を防止: 忘却目的関数の有界な性質により、モデルが事前学習された知識から遠く離れすぎるのを防ぐ。
柔軟性の提供: データフリーなアプローチ（UniDist）と、データ依存でより高い安定性を持つアプローチ（HeldDist）の選択肢を提供する。

著者らは、UniDist-RAUL が追加データを必要としない堅牢なフォールバックとして機能する一方で、HeldDist-RARL を利用することで、よりタイトな保持が可能になるとしている。また、今後の課題として、これらを生成モデルやLLMへ拡張すること、および、より多様なパレート最適解を得るために多目的進化アルゴリズム（MOEA）を活用することなどが挙げられている。