🤖 machine learning

Revisiting the Past: Data Unlearning with Model State History

本論文は、大規模言語モデルから特定データを効率的かつ効果的に忘却させるために既存のモデルチェックポイントを活用する新規アルゴリズム「モデル状態演算（MSA）」を導入するものであり、既存手法を上回る性能を発揮しつつ、完全な再学習に伴う莫大なコストを回避するものである。

原著者： Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「過去を再訪する：モデル状態履歴を用いたデータ忘却」の論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問題：「再学習しない」ジレンマ

何十億冊もの本を読み込んだ巨大で超知的な図書館（大規模言語モデル）があると想像してください。ある日、そのコレクションの中の特定の一冊に、危険な化学物質の秘密のレシピが載っている、あるいはそこにあるべきではない私的な日記が含まれていることに気づきます。

これを修正するため、従来の考え方は、図書館を解体し、その一冊を取り除いて、図書館全体を最初から再建するというものでした。しかし、図書館があまりにも巨大であるため、再建には何年もかかり、莫大な費用がかかります。それは、果物の山からたった一つ悪いリンゴを取り除こうとして、山全体を捨てて新しい果物を買うようなものです。

機械的忘却（Machine Unlearning） は、山全体を再建することなく、その悪いリンゴだけを外科的に取り除こうとする試みです。しかし、これを行うのは驚くほど困難です。その本の記憶を「消去」しようとすると、図書館が知っている他の良い情報まで誤って消去してしまったり、図書館が奇妙で混乱した行動をとったりすることがよくあります。

新しい解決策：MSA（モデル状態演算）

著者たちは、MSA（モデル状態演算） という新しい手法を提案しています。完成した図書館から悪い記憶を消去しようとする代わりに、「タイムマシン」アプローチを使用します。

比喩：建設の設計図

図書館が建設チームによって建設されていると想像してください。

完成した建物：これが完成したモデル（悪い本が含まれた図書館）です。
設計図：建設中、チームは建物の異なる段階で写真を撮りました。悪い本が棚に置かれる前にとった写真があるとしましょう。これがチェックポイントです。

MSA の仕組み：

「忘却」ベクトル：研究者たちは、その古い写真（チェックポイント）を取り出し、「もしこの建物のバージョンに悪い本を追加したら、構造はどう変わるか？」と問います。「クリーン」なバージョンと「汚れた」バージョンの正確な差異を計算します。この差異を**「忘却ベクトル」**と呼びます。
演算：次に、彼らは完成した建物（現在のモデル）に戻ります。本をどのように取り除くか推測する代わりに、以前計算した「忘却ベクトル」を単に完成した建物から差し引くだけです。

それは、「その一冊の本を追加した効果を元に戻すには、図書館の壁をちょうどこの量だけ移動させるだけでよい」という、正確な数学的数式を持っているようなものです。

なぜこれが古い手法よりも優れているのか

古い手法は、完成した図書館だけを眺めて、本をどのように取り除くかを考えようとしていました。

問題点：図書館が完成する頃には、悪い本はすでに建物全体のレイアウトに影響を与えています。完成した状態から取り除きを逆算しようとするのは、焼けたケーキを混ぜ戻そうとするようなものです。結果はぐちゃぐちゃになります。
MSA の利点：MSA は「前」の写真（チェックポイント）を使用するため、悪い本が到着する前に建物がどのように見えていたかを正確に知っています。それは「純粋な」状態を知っています。「純粋な」状態と「悪い」状態を比較することで、図書館の他の部分を損なうことなく、悪い影響を取り除くためのクリーンで正確な経路を計算できます。

実験が示したもの

研究者たちは、いくつかの「図書館」（異なる AI モデル）と「悪い本」（偽の著者、誤情報、または個人データを含むデータセット）でこれをテストしました。

より優れた記憶の除去：MSA は、他の手法と比較して、AI に特定の悪い情報を「忘れさせる」能力がはるかに優れていました。
より優れた記憶の保持：重要なのは、MSA が誤って AI に良いことも忘れさせなかったことです。図書館は他のすべてのことに対して賢く有用なままでした。
「タイムトラベル」要因：彼らは、悪い本が追加される何十億もの「単語」やトークン前の、建設プロセスの非常に遠い過去からのチェックポイントを使用してテストしました。「前」の写真が非常に昔に撮られたものであっても、MSA は驚くほどうまく機能しました。悪い本が追加される直前に撮られた写真が必要というわけではなく、古い写真でも数学を正しく行うのに十分であることがわかりました。

結論

この論文は、ミスを修正するために AI モデルを捨ててしまう必要はないと主張しています。モデルのトレーニング中にいくつかの「スナップショット」（これは開発者がすでに安全性やテストのために実施しているもの）を保持しておくことで、それらのスナップショットを使用して、正確な数学的「忘却」を実行することができます。

これは、データを消去するという困難なタスクを、単純な引き算の問題に変換します：現在のモデル－（悪いデータが引き起こした変化）＝クリーンなモデル。

これにより、再学習を最初から行うという不可能なコストをかけることなく、プライバシー法（「忘れられる権利」など）を尊重し、AI から有害なデータを除去することが可能になります。

以下は、ICLR 2026 で会議論文として発表された「Revisiting the Past: Data Unlearning with Model State History（MSA）」に関する詳細な技術的概要です。

1. 問題定義

大規模言語モデル（LLM）は、しばしば個人データ、著作権付き資料、誤情報、または低品質なデータを含む膨大なウェブコーパス上で訓練されます。規制（例えば「忘れられる権利」）への準拠やモデル品質の向上のために、そのような問題のあるデータポイントを削除する必要がある場合、標準的なアプローチであるこれらのポイントを除外したデータセットからモデルをゼロから再訓練することは、計算コストの面で非現実的です。

既存の機械的忘却（Machine Unlearning）アルゴリズムは、より低コストでモデル重みを修正することで、この再訓練を近似しようと試みています。しかし、これらの手法は以下の重大な課題に直面しています：

忘却不足（Under-forgetting）モデルは削除すべきデータの痕跡を保持し続けます。
有用性の低下（Degraded Utility）モデルは保持すべきデータに対する能力を失います。
不正確さ（Inaccuracy）忘却されたモデルは、ターゲットデータを含まずにゼロから訓練された「理想的なモデル」と機能的に一致しません。
既存手法の限界：既存の大部分の手法は最終モデルのチェックポイントのみを操作し、現在の状態のみを使用してデータの影響を逆転させようとします。これにより、データの影響の推定がノイズまみれになったり、バイアスがかかったりすることがよくあります。

2. 手法：モデル状態演算（MSA）

著者らは、開発者がフォールトトレランスや実験のために通常保存する中間モデルチェックポイントを活用して、特定のデータポイントの影響をより正確に推定し、逆転させる新しい忘却アルゴリズムMSAを提案します。

中核概念

最終モデル（すでにデータを内部化している）に基づいて「忘却ベクトル」を計算するのではなく、MSA は忘却ターゲット（ $D_f$ ）（ $C$ ）に基づいてベクトルを計算します。

アルゴリズム手順

入力：完全なデータ $D$ で訓練されたターゲットモデル $\theta_D$ 、データ $D \setminus D_f$ で訓練された中間チェックポイント $\theta_0$ 、および忘却セット $D_f$ 。
忘却ベクトル（ $\vec{\theta}_f$ $θ_{f}$ ）：
- チェックポイント $\theta_0$ を忘却セット $D_f$ でファインチューニングし、新しい状態 $\theta_1$ を取得します。
- 差分を計算します： $\vec{\theta}_f = \theta_1 - \theta_0$ 。このベクトルは、モデルが他の競合する知識を持つ前に、 $D_f$ がモデルパラメータに及ぼす純粋な影響を表します。
忘却の適用：
- 忘却ベクトルをターゲットモデルから減算します： $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$ 。ここで $\alpha$ はスケーリング因子です。
オプションの保持ベクトル（ $\vec{\theta}_r$ $θ_{r}$ ）：
- 保持セット $D_r$ が利用可能な場合、 $\theta_0$ を $D_r$ でファインチューニングして $\theta_2$ を得ることで、同様のベクトルを計算できます。ここで $\vec{\theta}_r = \theta_2 - \theta_0$ です。
- 最終的な更新は次のようになります： $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$ 。

重要な洞察

著者らは、最終モデルから導出されたベクトルはモデルの既存知識と絡み合っており、特定データの影響の推定として不適切であると仮説を立てています。データが観測される前の「クリーンな」チェックポイントを使用することで、MSA は忘却セットのセマンティックな影響をより効果的に分離します。

3. 主要な貢献

新規フレームワーク：標準的な訓練チェックポイントを事後のデータ忘却に転用する MSA の導入。「最終状態のみ」から「状態履歴を認識する」へのパラダイムシフト。
新しい評価指標：事実誤認があっても構文の類似性によって欺かれる可能性がある、忘却のための標準指標（ROUGE-L など）を批判し、GPT-4o ベースのセマンティック指標を導入します：
- Accforget：モデルが忘却されたアイテムの正解を生成することを回避できているかを測定します。
- Accrecover：モデルの出力が「理想的なモデル」（データを一度も見たことのないモデル）と一致するかを測定します。
- Accretain：忘却対象外のデータに対する知識の保持を測定します。
包括的なベンチマーク：3 つの主要なベンチマークでの評価：TOFU（架空の著者）、RESTOR（誤情報によって損なわれた知識の復元）、MUSE-Books（書籍の記憶とプライバシー）。
堅牢性分析：使用されるチェックポイントが忘却ターゲットより数百億トークン以前であっても MSA が有効であることを実証しましたが、より近いチェックポイントの方が良い結果をもたらすことも示しました。

4. 実験結果

著者らは、OLMo-2-7B および Llama-3.1/3.2 モデルにおいて、MSA を最先端のベースライン（NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL）と比較評価しました。

TOFU ベンチマーク：
- MSA の変種（例：3.6T トークン前のチェックポイントを使用）は、すべての指標においてベースラインと比較して競争力のある、あるいは優れた性能を達成しました。
- 忘却を達成するために有用性（Accretain）を犠牲にしたり、理想的な動作の回復（Accrecover）に失敗したりする傾向があるベースラインとは異なり、MSA は 3 つの目的を効果的にバランスさせました。
- 例えば、forget10 タスクにおいて、MSA 変種は約 89% の Accforget と約 96% の Accrecover を達成しましたが、RMU などのベースラインは高い忘却率を示すものの、回復率が非常に低く（忘却するのではなく回答を拒否する）、低い値にとどまりました。
RESTOR ベンチマーク：
- MSA は、誤情報によって損なわれた知識を復元する能力において、ベースラインを大幅に上回りました。
- Llama-3.1-8B において、理想的なモデルの精度は 64.80% でした。損なわれたモデルは 44.31% まで低下しました。MSA は精度を**48.45% - 49.19%**まで回復させましたが、NPO や SatImp などのベースラインは約 44-46% までしか回復できませんでした。
MUSE-Books ベンチマーク：
- MSA はメンバーシップ推論攻撃（MIN-K% および MIN-K%++）において強力な性能を示し、忘却された書籍が訓練データの一部として認識されなくなったことを示しました。
- より近いチェックポイントを使用した MSA 変種（例：MSA3859B）は、プライバシー漏洩指標において理想的なモデルの性能と同等かそれ以上でした。
チェックポイントの距離：
- 実験により、忘却セットに直前のチェックポイントが最適である一方で、数百億トークン前のチェックポイントでも強力な結果をもたらすことが示されました。これにより、チェックポイントの頻度が低いモデルであっても MSA は実用的であることが示されました。

5. 意義と結論

実用性：MSA は、標準的な LLM 訓練パイプラインに既に存在するアーティファクト（チェックポイント）を利用する計算効率的（ $O(|D_f|)$ ）な解決策を提供し、元の訓練プロセスに変更を加える必要はありません。
規制への準拠：完全な再訓練のコストなしに、「忘れられる権利」の要請を満たすための実現可能な道筋をモデル提供者に提供します。
理論的転換：この研究は、忘却が最終モデルの状態のみに依存しなければならないという仮定に挑戦します。それはモデル状態履歴が正確なデータ消去のための重要なリソースであることを示唆しています。
将来の方向性：この論文は、モデル開発者が、帰属のためだけでなく、MSA のような高度な忘却手法を可能にするために、訓練中にモデルが特定の情報に遭遇したタイミングのインデックスを維持することを提唱しています。

要約すると、MSAは、訓練の時間的ダイナミクスを活用することで、より正確で、有用性を維持し、機能的に忠実なデータ削除を実現する機械的忘却における重要な進歩を表しています。