🤖 machine learning

Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

本論文は、元の実行がプロベナンス（由来）を記録するように計装されており、かつ汚染されていないチェックポイントが保持されているという条件下において、特定の例を除外したトークンストアから再学習をリプレイすることで、数十億パラメータの言語モデルが状態厳密かつトレース保存型の削除を実現できることを実証しているが、この手法は分散した削除要求に対する計算効率を保証するものではない。

原著者： Abdullah X

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abdullah X

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大なパーティーのために、何層にも重なった巨大なケーキを焼いているところだと想像してください。人工知能の世界において、このケーキは「言語モデル」であり、テラバイト単位のテキストを「食べる」ことで、文章を書いたり、チャットをしたり、問題を解決したりするように訓練されたコンピュータプログラムです。通常、一度ケーキを焼き上げてしまうと、特定の種類のバニラビーンズのような特定の材料を簡単に取り出すことはできず、取り出そうとすると、層が崩れたり、味が予測不可能な形で変わってしまったりします。これが「機械学習からの忘却（machine unlearning）」の問題です。つまり、AIに、自分が学習した特定のデータを取り除く方法です。特に、GDPRのような法律が、個人のデータの消去権を定めている場合、これは重要な問題となります。

科学者たちは、その材料なしでケーキを一から作り直す（これは時間がかかり、コストも高い）、あるいは、特定の風味を外科的に除去しようとする（しかし、これでは奇妙な化学的痕跡が残ることが多い）ことで、この問題を解決しようとしてきました。しかし、落とし穴があります。コンピュータは単に「何を」食べたかから学ぶのではなく、食材を食べる「順番」、オーブンの「温度」、そして生地を混ぜる「正確なタイミング」からも学ぶのです。もし食材の順番を変えてしまうと、たとえ悪い成分を取り除いたとしても、完成したケーキは、最初からその成分を入れずに完璧に焼かれたケーキとは異なる味になってしまうかもしれません。この論文は、AIの非常に複雑でテクニカルなキッチンに深く入り込み、非常に具体的な問いを投げかけます。「材料を取り除いた後に焼かれたケーキは、最初からその材料を無視する計画で焼かれたケーキと、ビット単位で完全に一致すると証明できるだろうか？」

「タイムトラベル」ケーキのレシピ

「Unlearning at Scale」と題されたこの論文は、非常に厳格な「材料除去のレシピ」をテストすることに決めた、超精密なベーカー（パン職人）たちのチームのようなものです。彼らは単に、ケーキがバニラの味を忘れたように「見せる」ことを目的としているのではありません。彼らは、そのケーキが、そもそもバニラが入っていなかった時のケーキと数学的に同一であることを証明しようとしているのです。

これを実現するために、彼らは特別な「タイムトラベル」システムを構築しました。想像してみてください。あなたはケーキを焼こうとしていますが、始める前に、非常に詳細で変更不可能な「レシピカード」を書き留めます。このカードには単に材料がリストされているだけでなく、卵を割った正確な秒数、オーブンの温度が毎分どのように変化したか、そして小麦粉を加える特定の順番まで記録されています。これが、論文で「トレース保存型（trace-preserving）」の実行と呼ばれるものです。

次に、顧客から「私の注文からバニラビーンズを取り除いてほしい」という連絡が入ったとします。通常のキッチンであれば、バニラを飛ばして混ぜ合わせ続けるでしょう。しかし、この論文のキッチンでは、ベーカーたちはトリックを使います。彼らは「レシピカード」を全く同じまま維持します。レシピが「ステップ5でバニラを加える」となっている場合、ベーカーたちはステップ5まで進みますが、本物のバニラの代わりに、「味も重さもゼロ」である「ダミー」の材料を加えます。彼らは、他の工程の順番やオーブンの温度、かき混ぜる速度を変えることなく、これを行います。

大きなテスト：数十億パラメータのケーキ

研究者たちは、大きさの異なる3種類の「ケーキ」（AIモデル）を用いて、このアイデアをテストしました。

Pythia 160M（1億6,000万パラメータ）という小さなケーキ。
Pythia 2.8B（28億パラメータ）という巨大なケーキ。
Llama 3.2 1B（10億パラメータ）という別の種類のケーキ。

彼らは大規模な実験を行いました。まず、レシピに従い、禁止された材料の代わりに「重さゼロ」のダミーを加えた「完璧な」ケーキを焼きました。これが「オラクル（Oracle）」、つまりケーキが本来あるべき姿を示すゴールドスタンダードです。次に、彼らは「編集済み（redacted）」メソッドを用いて、2つ目のケーキを焼きました。彼らはパントリー（データストア）から物理的に禁止された材料を取り除きましたが、レシピカードに従い、レシピが欠落した材料を求めた場合には、必ずダミーを代入しました。

結果：完璧な一致

その結果は、驚くほど精密でした。両方のケーキを比較したとき、「編集済み」のケーキは「オラクル」のケーキとビット単位で完全に同一であることが判明しました。

Pythia 2.8B モデルについては、2,775,208,960 個の個別の数値（モデルの状態）をチェックしましたが、差異はゼロでした。
Llama 3.2 1B モデルについては、1,498,482,688 個の数値をチェックしましたが、差異はゼロでした。
「オプティマイザの状態（ベーカーが進行に合わせてレシピをどう調整したかの記憶のようなもの）」さえも、全く同じでした。

これは、適切な「レシピカード（実行計画）」があり、クリーンなチェックポイント（問題の材料が加えられる前のケーキのスナップショット）から開始すれば、データを削除しても、そのデータが最初から存在しなかった場合のケーキと数学的に区別がつかない結果が得られることを証明しています。

落とし穴：これは魔法の杖ではない

しかし、論文は、これがデータを素早く削除するための「魔法の杖」であると呼ぶことに対して、非常に慎重です。著者は大きな制限事項として、**「時間」**を指摘しています。

もし禁止された材料が、製パンプロセスの早い段階で加えられたり、あるいはレシピの中にバラバラに散らばっていたりする場合、ベーカーたちは全く同じ結果を得るために、ほぼケーキの最初から焼き直さなければなりません。

彼らのテストでは、ランダムな5%のデータを削除するように依頼した場合、トレーニングステップのほぼ**100%**を再実行する必要がありました。
論文は、これが「安価な削除（cheap deletion）」を確立するものではないと明記しています。これは速い解決策ではなく、遅くて精密な再構築なのです。

これが意味しないこと

著者は、自分たちの結果が「何を証明していないか」についても厳格に述べています。

行動の保証ではない： 数値が同一であるからといって、AIが法的な消去要求を満たすような挙動の変化を自動的に示すとは限りません。論文では、AIがどのように振る舞ったかを確認するためにいくつかの標準的なテストを実行していますが、それらはあくまで「記述的」な注釈として扱われており、現実世界の法的消去に有効であるという証明ではありません。
普遍的な解決策ではない： これは、事前に計画していた場合にのみ機能します。この特別な「レシピカード」を持って作られていない古いAIモデルを、後から魔法のようにこの方法で機能させることはできません。
プライバシーの盾ではない： 論文は、特定の「リプレイ・ストア（再生用保存領域）」からは数値が消えていても、それが宇宙中のあらゆるバックアップ、キャッシュ、またはハードドライブからデータが消去されたことを証明するものではないと認めています。

まとめ

簡単に言えば、この論文は、非常に特定かつ非常に厳格なタイプの「忘却」に関する概念実証（プルーフ・オブ・コンセプト）です。もし、AIのトレーニングプロセスを硬直した、変更不可能な計画とともに構築し、あらゆるステップを記録する方法を持っていれば、データを外科的に取り除き、数学的に完璧な結果を得られることを示しています。それは、複雑なレシピの中で本物のバニラビーンズを偽物のものに入れ替えても、最初からバニラが入っていなかったケーキと区別がつかない結果になることを証明するようなものです。

しかし、論文は同時に警告しています。これは重労働であり、時間がかかるプロセスです。事前の計画が必要であり、もし削除したいデータがレシピの至る所に散らばっているのなら、最初からケーキを焼き直すのと変わりません。これは、コンピュータプログラムの中で何が起きたかを正確に証明する必要がある科学者にとって強力なツールですが、現実世界でデータを削除するための「クイックボタン」にはまだなっていないのです。

テクニカルサマリー：大規模におけるアンラーニング：数十億パラメータの言語モデルにおける状態完全なトレース保存型削除

1. 問題の定式化

本論文は、機械学習におけるアンラーニング（学習解除）の課題に対し、問題を「振る舞いの最適化」から「状態完全なシステム問題」へと再定義することで取り組んでいる。既存の文献では、アンラーニングを「特定のデータなしで訓練されたモデルと振る舞いが区別できない状態を作ること」と定義することが多いが、このアプローチは決定論的な訓練パイプラインにおいて曖昧さを生じさせる。

現代の訓練において、実現される状態はデータセットだけでなく、実行制御（サンプルの順序、乱数生成器（RNG）の消費、勾配累積の境界、学習率スケジュール、およびハードウェア固有の数値カーネル）にも依存する。単にデータを削除して再訓練（高密度なリパッキング）を行うと、これらの制御が変化するため、実行トレースも最終的な状態も異なるものになってしまう。したがって、「 $F$ を含まずに訓練されたモデル」は、実行または参照分布が明示的に指定されない限り、一意の参照状態を特定できない。

本論文は、**トレース保存型削除（Trace-Preserving Deletion）**という反事実的事象を定義する。これは、元の訓練実行の論理的制御（マイクロバッチのスロット、シード、累積境界、オプティマイザのステップ）は固定されているが、要求された識別子の損失寄与がゼロに設定されたシナリオである。目標は、リプレイシステムが、削除された識別子に対応する物理的なデータ行がリプレイ・ストアに存在しない場合でも、この特定の反事実的な状態をビット単位で完全に再構成できるかどうかを検証することである。

2. 手法

2.1 トレース保存型削除の定義

著者は以下の条件を満たす トレース保存型削除（$TD$） を定式化している：

実行計画 $P$ は不変である。
すべてのマイクロバッチ計画レコードは保持されるが、忘却セット $F$ 内の識別子は、サンプル重みゼロの固定ダミーシーケンスにマッピングされる。
保持された識別子、シード、学習率、および論理的なオプティマイザ・ステップ・インデックスは変更されない。
空セグメント・ルール： 勾配累積の境界において、そのセグメント内に保持された重み付き寄与が少なくとも1つ存在する場合にのみ、オプティマイザの遷移が発生する。セグメントがゼロ重みの（削除された）スロットのみで構成されている場合、論理的な境界は維持されるが、ゼロ勾配によってオプティマイザのモーメント（例：AdamWのモーメント）が変化することを避けるため、オプティマイザのステップはスキップされる。

2.2 システム設計

提案されるシステムは、**プロスペクティブなインストルメンテーション（事前的計装）と物理的リダクション（削減）**に依存している：

不変の実行計画： 元の訓練実行は、順序付けられたサンプル識別子、マイクロバッチごとのRNGシード、学習率、および累積フラグを含むJSONL形式の計画を記録する。
ライトアヘッドログ（WAL）： 訓練中、コンパクトな32バイトのバイナリWALが、実行状態（順序付きIDタグ、シード、学習率、ステップインデックス、フラグ、CRC32）を、順序付きIDのマニフェストと共に記録する。
物理的リダクション： リプレイの前に、保持された行のみを含む新しいトークン・ストアがマテリアライズされる。不変の計画は、依然として削除された識別子を論理的なスロットマーカーとして参照する。
リプレイ・メカニズム： リプレイ中、システムは削除された識別子へのリクエストをインターセプトする。欠落しているデータの検索を行う代わりに、固定ダミーシーケンスをゼロ重みで代用する。これにより、物理的なデータ行が欠落しているにもかかわらず、数値的なマイクロバッチ（トークン、ラベル、重み）がトレース・オラクルと同一であることを保証する。

2.3 検証プロトコル

システムは、レッド（削減）されたリプレイと、別途実行された トレース・オラクル を比較することで、トレースの完全性（Trace Exactness） を検証する。オラクルは、適格なチェックポイントから、同じ反事実的ロジック（ゼロ重みのダミー）を実行する。完全性は、記録されたデータ型におけるモデルパラメータ（ $\theta$ ）およびオプティマイザ状態（ $\Omega$ ）のビット単位の一致として定義される。

3. 主な貢献

実行条件付きの完全な削除の定義： 本論文は、アンラーニングをトレース保存型の反事実的事象として定式化し、対象となる状態の定義を実行方法（例：高密度なリパッキング）から分離した。
プロスペクティブに計装されたリプレイシステム： 実行のプロベナンス（WAL + マニフェスト）を記録し、決定論的な制御入力を維持しながら、物理的に削減されたストアからのリプレイをサポートするシステム。
数十億パラメータ規模でのビット完全性の実証： 以下の3つのエンドポイントにおいて、状態の完全性を実証した：
- Pythia 160M： 4つの削除ジオメトリ（初期、中間、後期、ランダム）において、162Mのパラメータおよびオプティマイザ状態にわたって完全一致。
- Pythia 2.8B： ランダムな5%の削除要求に対し、27.7億のパラメータにわたって完全一致。
- Llama 3.2 1B + TOFU： 4,000例中400例を除外した後、14.9億のパラメータにわたって完全一致。
リプレイ局所性分析： 局所的な後期の削除要求は効率的なサフィックス（接尾辞）リプレイを可能にする一方で、大規模でランダムに分散した要求はほぼ全件のリプレイを強制し、この手法の計算効率を制限するという構造的分析。
監査可能な研究アーティファクト： ソースのリビジョン、データのハッシュ、実行計画、および状態のハッシュを含む公開リソース。標準的な振る舞い指標（OpenUnlearning）を、因果的な証拠ではなく記述的な診断として扱う。

4. 結果

状態の完全性： テストされたすべてのシナリオにおいて、削減されたリプレイは、別途実行されたトレース・オラクルとビット単位で同一のモデルおよびオプティマイザの状態を生成した。これには、将来の訓練の継続性に不可欠なオプティマイザのモーメント（Adamの状態）の正確な一致も含まれる。
反事実的な区別： Pythia 160Mを用いた実験により、高密度なリパッキング（ $D \setminus F$ で新しいバッチングを用いて再訓練すること）および物理的フィルタリング（フォワードパスの前に行を削除すること）は、トレース・オラクルに対して非ゼロの状態差を生じることが確認された。これは、「保持されたデータでの訓練」が「トレース保存型削除」と等価ではないことを検証している。
スケーラビリティ： 本手法は Pythia 2.8B や Llama 3.2 といった異なるファミリーのアーキテクチャにも成功的にスケールし、ピン留めされたシングルGPU環境下で、数十億パラメータ規模でも不変性が保持されることを証明した。
コスト分析： 制御プロベナンス（WAL + マニフェスト）はモデルチェックポイントと比較して非常に小さい（0.019% – 0.20%）。しかし、リプレイコストは局所性に依存する。2.8Bモデルにおけるランダムな5%の削除では、リプレイのためにステップゼロからの再開が必要となり、元の実行とほぼ同等の時間を要した。論文では、分散した要求は構造的にほぼ全件のリプレイを強制すると指摘している。

5. 意義と主張

本論文は、機械アンラーニングの分野に対し、控えめながらも精密な貢献を行っている：

主張の範囲： 著者は、この手法が「安価な削除」や、近似的なアンラーニング手法（例：勾配上昇法、NPO）に対する普遍的な優位性を主張するものではないことを明示している。この手法はプロスペクティブな計装を必要とし、分散した要求に対してはフルリプレイのコストが発生する場合がある。
状態 vs 振る舞い： 本論文は、状態の完全性と振る舞いの忘却を厳密に区別している。公開された状態はOpenUnlearningのTOFUベンチマークを用いて評価されているが、著者はこれらの結果を記述的な診断としてのみ扱っている。トレースの保存が特定の忘却行動を「引き起こす」という因果関係については、一致するコントロール（例：保持データのみのベースラインや、事前微調整の指標）が欠如しているとして、明示的に回避している。
監査可能性： 最大の意義は、監査可能なアルゴリズムによる削除の定義を確立したことにある。実行契約を固定し、宣言された反事実的事象とのビット単位の一致を証明することで、本システムは、特定の実行トレースが中和されたことを検証可能な形で保証する。これは、パラメータレベルでのデータの不在に関する主張とは異なるものである。
限界： 著者は、この手法がバックアップ、キャッシュ、またはその他のストレージ層からの削除を保証するものではなく、また、それ自体で法的義務（例：GDPR第17条）を充足するものでもないことを認めている。これは、特定の歴史的な状態を再構成するためのシステム・プリミティブであり、汎用的なポリシー・ソリューションではない。

要約すると、本論文は、訓練システムがプロスペクティブに計装され、かつ実行環境が固定されている場合に、特定のトレース保存型削除の反事実的事象に対して、数十億パラメータ規模での状態完全性が達成可能であることを示している。これは、「アンラーニング」とは、単なる保持データの集合ではなく、実行される特定の反事実的なプログラムによって定義されるべきであることを確立している。