MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

本論文は、サーバーのモデルパラメータとクライアントの忘却データセットの双方を非公開に保ちつつ、乱雑化されたモデルコピーの分散と集約によるノイズ耐性を持つ「MPU」というプライバシー保護型知識忘却フレームワークを提案し、既存の忘却アルゴリズムの性能をほぼ維持することを示しています。

要約

この論文は、**「MPU（Multiple Perturbed Copies Unlearning）」**という新しい技術について書かれています。

これを一言で言うと、**「AI が『忘れたい』と言った情報を、秘密を守りながら安全に消し去る方法」**です。

難しい専門用語を使わず、日常の例え話を使って解説しますね。

---

🏠 物語：「秘密のレシピ」と「消しゴム」

この技術が解決しようとしている問題は、以下のような状況です。

• サーバー（AI の持ち主）： 世界中の誰にでも使える「天才的な料理のレシピ（AI モデル）」を持っています。でも、このレシピは極秘です。誰にも見せられません。
• クライアント（利用者）： 「この料理に使われている『特定のスパイス（個人データ）』は、私のプライバシーに関わるので、レシピから完全に消してほしい」と頼みます。でも、そのスパイスの詳細なレシピ（生データ）も、サーバーには見せられません。

【従来の問題】

• 「スパイスを消して」と言われても、サーバーは「レシピそのものを見せないと消せないよ」と言います。
• 逆に、クライアントは「スパイスの詳細を教えるのは嫌だ」と言います。
• 結果： どちらの情報も守りたいとすると、AI からその情報を消すことができませんでした。

---

✨ MPU の解決策：「3 つの影絵」の魔法

MPU は、このジレンマを**「影絵（ノイズ）」と「鏡（再パラメータ化）」**を使って解決します。

1. ステップ 1：「3 つの影絵」を作る（Pre-Process）

サーバーは、クライアントに「消しゴム」を渡す代わりに、**「3 つの少し歪んだ影絵」**を渡します。

• 影絵（ノイズ）： 元のレシピ（AI）に、あえて**「見えない粉（ノイズ）」**をまぶします。これにより、クライアントは「本当のレシピ」を直接見ることはできません。
• 鏡（再パラメータ化）： さらに、レシピの書き方を「鏡のように反転」させたり、文字の並びを変えたりします。これでも「味（機能）」は全く変わらないので、AI は正常に動きますが、中身は別人のように見えます。

ポイント： サーバーは「本当のレシピ」を隠したまま、クライアントに作業を任せます。

2. ステップ 2：クライアントが「消しゴム」を使う（Client-Side）

クライアントは、受け取った「3 つの歪んだ影絵」に対して、自分の「忘れたいスパイス（データ）」を消す作業（学習）を行います。

• 「あ、この影絵のスパイスは消そう！」
• 「こっちの影絵も、スパイスを消そう！」

クライアントは、自分のデータ（スパイスの詳細）をサーバーに渡すことなく、自分の手元だけで消去作業を完了させます。

3. ステップ 3：「魔法の足し算」で元に戻す（Post-Process）

クライアントは、3 つの影絵に対して行った「消しゴム作業の結果（更新データ）」をサーバーに返します。

ここでサーバーが魔法を使います。

• 鏡を戻す： 最初に反転させた書き方を元に戻します。
• 影絵を消す（ハルモニック・デノイジング）： これが最大のポイントです。
  • 3 つの影絵にまぶした「見えない粉（ノイズ）」は、**「足すとゼロになるように計算された」**ものです。
  • サーバーは、3 つの結果を**「魔法の足し算（調和平均）」**でまとめます。
  • すると、「消しゴム作業の結果」は残ったまま、「見えない粉（ノイズ）」は完全に消えてなくなります。

結果： サーバーは、「本当のレシピ（AI）」からスパイスを消した状態を手にし、クライアントは**「自分のスパイスの詳細」を隠し通す**ことに成功します。

---

🎯 なぜこれがすごいのか？

1. 完全なプライバシー保護：

   • サーバーは「AI の中身」を見せません。
   • クライアントは「自分のデータ」を見せません。
   • 双方が秘密を守りながら、忘れたい情報を消せます。

2. ノイズを消し去る魔法：

   • 通常、ノイズ（粉）をまぶすと AI の性能が落ちます。でも、MPU は「3 つの影絵を足す」ことで、ノイズを完璧に打ち消し、**「ノイズを全く使っていない場合と同じくらい高性能」**な状態にします。
   • 実験では、むしろノイズをまぶすことで、消しゴム作業が安定して、より上手に消せる場合さえありました。

3. どんな AI でも使える：

   • 最新の巨大言語モデル（LLM）でも、この「影絵と鏡」の技術が機能することが証明されています。

📝 まとめ

MPU は、**「お互いに秘密を守りながら、AI から特定の情報を消す」という、一見不可能に見える課題を、「複数の歪んだコピーを作り、それを賢く足し合わせる」**というアイデアで見事に解決しました。

まるで、**「3 つの異なる角度から写真を撮り、それを合成することで、元の風景は鮮明に残しつつ、写り込んだ不要な人物だけを消し去る」**ような魔法の技術だと言えます。

これにより、AI とプライバシーの共存が、より現実的なものになります。

技術概要

MPU: 大規模言語モデルのための安全かつプライバシー保護された知識忘却に向けた研究

本論文は、大規模言語モデル（LLM）の「機械的忘却（Machine Unlearning）」において、サーバーとクライアントの双方が機密情報を開示できないという厳しい制約下で動作する新しいフレームワーク**MPU（Multiple Perturbed Copies Unlearning）**を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義：プライバシーのジレンマ

LLM の学習データには機密情報や著作権保護されたデータが含まれる可能性があり、ユーザーは特定のデータ（忘却セット）をモデルから削除する権利（忘れられる権利）を要求します。しかし、現実的なサーバー - クライアント環境では以下の**「二重の非開示制約（Dual Non-Disclosure Constraint）」**が存在します。

1. クライアント側の制約: 忘却すべきデータ（Forget Set）はクライアントの機密情報であり、生データや詳細な統計情報をサーバーに共有してはならない。
2. サーバー側の制約: 現在のモデルパラメータはサーバーの知的財産であり、クライアントに正確なパラメータを公開してはならない。

既存の忘却手法の多くは、サーバーがモデルを公開するか、クライアントがデータを共有することを前提としており、この二重制約を満たす解決策は不足していました。

2. 手法：MPU（Multiple Perturbed Copies Unlearning）

MPU は、アルゴリズムに依存しない（アルゴリズム非依存）プライバシー保護フレームワークであり、サーバー側で**「前処理（Pre-Process）」と「後処理（Post-Process）」**の 2 つのモジュールを導入することで、上記の制約を解決します。

2.1. 前処理：摂動コピーの生成

サーバーは、クライアントに正確なパラメータを渡す代わりに、以下の 2 つの操作を施したモデルのコピーを複数（$m \ge 2$）生成して配布します。

1. 構造化ノイズの注入（Structured Noise Injection）:
   • モデルの各ブロックに対して、特定のスケールを持つガウスノイズを注入します。
   • 重要なのは、注入されるノイズが**「ブロックごとのゼロ和（Zero-sum）」**制約を満たすように設計されている点です（$m$ 個のコピーのノイズの合計が 0 になる）。これにより、後でノイズを相殺する数学的基盤が整います。
2. 可逆的かつ機能保存のリパラメータ化（Invertible Function-Preserving Reparameterization）:
   • Transformer アーキテクチャ（Attention や FFN）の対称性（パラメータの置換や回転など）を利用し、モデルの出力関数を変化させずにパラメータ空間を変換します。
   • これにより、クライアントが複数のコピーから元のモデルパラメータを復元することを防ぎます。
   • RoPE（Rotary Positional Embeddings）を使用するモデル（Llama シリーズなど）に対しても、RoPE 演算子と可換な変換を適用することで機能保存を保証しています。

2.2. クライアント側：局所忘却

クライアントは、受け取った摂動されたモデルコピーに対して、自身のプライベートな忘却セットを用いて局所的に忘却処理（Gradient Ascent, NPO, DPO などの既存アルゴリズム）を実行し、更新量（Update）をサーバーに返します。

2.3. 後処理：ハーモニック集約によるノイズ除去

サーバーはクライアントから返された更新量を集約しますが、以下の手順でノイズを除去します。

1. リパラメータ化の逆変換: 各コピーの更新量を、対応する逆変換を用いて元のパラメータ空間に戻します。
2. ハーモニック集約（Harmonic Aggregation）:
   • 複数のコピーから得られた更新量を、特定の重み（ハーモニック重み）で加重平均します。
   • 理論的保証: 前処理で設計した「ゼロ和ノイズ」の性質と、適切な重み付けにより、**1 次のノイズ誤差が完全に相殺（キャンセル）**されることが証明されています。
   • その結果、サーバーが得る最終的な更新量は、ノイズを注入していない理想的な忘却ステップと一致します。

3. 主要な貢献

1. 二重非開示忘却フレームワークの提案:
   • クライアントがデータを共有せず、サーバーが正確なパラメータを公開しないという厳格な条件下で動作する初のソリューションです（代理データや追加統計量に依存しません）。
2. Transformer 向けのリパラメータ化の一般化:
   • 機能保存かつ可逆的なリパラメータ化を、現代の Transformer アーキテクチャ（RoPE 機構を含む）に拡張し、Llama などのモデルに適用可能にしました。
3. 理論的な保証:
   • 構造化ノイズとハーモニック集約により、1 次のノイズ誤差が除去され、ノイズフリーの忘却ステップと整合性のある更新が得られることを数学的に証明しました。
4. 実証的評価:
   • 7 つの異なる忘却アルゴリズムと複数の LLM（Llama-3.2, Qwen2.5）を用いた実験で、ノイズフリーのベースラインと同等、あるいはそれ以上の性能を達成することを示しました。

4. 実験結果

TOFU ベンチマーク（架空の著者データを用いた忘却タスク）を用いた実験結果は以下の通りです。

• 忘却品質（Forget Quality）:
  • MPU は、ノイズを注入しない場合（Clean）と同等か、それ以上の忘却性能を示しました。
  • 特に、単一コピーでノイズを注入しただけのベースライン（Noised）に比べて、忘却品質が劇的に向上しました（例：GradDiff で 0.266 → 0.405、NPO で 0.766 → 0.919）。
  • 1% のノイズレベル（$\kappa=0.01$）下でも、多くのアルゴリズムで平均性能低下は 1% 未満でした。
• モデル有用性（Model Utility）:
  • 忘却後のモデルが一般タスクを維持する能力（Utility）は、ノイズの有無にかかわらずほぼ同等に保たれました。
• プライバシー漏洩（PrivLeak）:
  • 忘却データからの情報漏洩は、ノイズフリーのケースと同程度に抑えられました。
• コピー数 $m$ とノイズレベル $\kappa$ の影響:
  • コピー数 $m=2$ で十分な性能が得られ、計算コストの増加を抑えつつ安定性を確保できます。
  • 中程度のノイズレベル（$\kappa=0.05$ 程度）は、不安定な忘却アルゴリズム（例：GradAscent）の安定性を向上させる「正則化」効果を持つことが示されました。

5. 意義と結論

MPU は、LLM の展開において「データプライバシー」と「モデルの知的財産保護」の両立を可能にする重要なステップです。

• 実用性: 既存の忘却アルゴリズムをそのまま組み込めるため、導入コストが低く、実システムへの適用が容易です。
• 理論的深さ: ノイズ注入によるプライバシー保護と、ハーモニック集約による精度回復を両立させる数学的な仕組みは、分散学習やプライバシー保護機械学習の分野において新しい指針となります。
• 将来展望: 通信オーバーヘッドのさらなる削減や、より大規模な忘却セットへの対応など、今後の研究課題が残されていますが、MPU は「双方向の秘密保持」下での LLM 忘却を実現する画期的なアプローチとして位置づけられます。

この研究は、プライバシー規制（GDPR などの忘れられる権利）が厳格化する中で、LLM の安全かつ責任ある運用を可能にする基盤技術として極めて重要です。