💬 NLP

Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

本論文は、忘却目的と保持目的の間の葛藤を通じてトークンレベルの重要性を共同で学習することにより、外部の監督や補助モデルを必要とせずに最先端の性能を達成する、大規模言語モデルにおける機械学習のアンラーニングを改善する軽量なフレームワークであるAlternating Token-Weighted Unlearning (ATWU) を導入する。

原著者： Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：ページ全体を汚してしまう「消しゴム」

想像してみてください。あなたは、インターネット上のほぼすべての情報を読み込んだ、巨大で非常に賢い図書館（大規模言語モデル）を所有しています。ある日、誰かの秘密のダイアリー（日記）の内容を誤って記憶してしまったことに気づき、すぐにそれを削除しなければならなくなりました。

問題は、その図書館があまりにも巨大であるため、日記が書かれた特定のページだけを破り捨てることができないということです。もし、その日記が含まれるストーリーを、そのデータを除外して図書館全体を再学習させることで「忘れさせよう」とすると、丁寧なメールの書き方や数学の問題の解き方といった、他の有用な知識まで誤って消去してしまう可能性があります。

現在の「忘却（アンラーニング）」の手法は、巨大で鈍い消しゴムを使っているようなものです。彼らは、秘密が含まれる文章や段落全体を拭き取ろうとします。しかし、多くの場合、彼らは秘密と一緒に、文法や句読点、あるいは一般的な単語（「the」や「and」など）までも一緒に拭き取ってしまいます。その結果、図書館の文章スタイルは壊れ、不器用なものになってしまいます。

コアとなるアイデア：スマートで精密なメス

この論文の著者たちは、忘却について新しい考え方を提案しています。彼らは、秘密の文章に含まれるすべての単語が、その秘密に対して等しく重要なのではないということに気づきました。

秘密の部分： 削除したい特定の名前、日付、または事実（例：「Hina Ameen」）。
構造の部分： 文章を構成するために必要な、退屈な単語（例：「The author is...」）。

もしモデルに「The」という単語を忘れさせようとすれば、それは秘密を取り除いているのではなく、単に文法を壊していることになります。モデルは「The」の使い方を知り続ける必要があります。

解決策：ATWU（交互トークン重み付け忘却）

この論文は ATWU と呼ばれる手法を紹介しています。これは、鈍い消しゴムの代わりに、図書館にスマートで精密なメスを与えるようなものです。

仕組みは以下の通りです。ステップごとに説明します。

コンフリクト・テスト（衝突テスト）： 著者たちは、どの単語を消すべきかを判断する最善の方法は、それを忘れることが図書館にどれほどの「痛み」を与えるかを見ることだと気づきました。
- もし図書館が「Hina」（秘密）という単語を忘れようとした場合、良い文章を書く能力には影響しません。
- もし図書館が「The」という単語を忘れようとした場合、文章は支離滅裂になります。
- 洞察： ある単語を忘れることがモデルの一般的なスキルを損なわないのであれば、その単語は削除の候補として適しています。もしスキルを損なうのであれば、それは残すべきです。
「スコアキーパー（採点者）」（線形スコアラー）：
- すべての文章を読んで削除する単語に丸をつけるために人間を雇う（これは遅くてコストがかかる）代わりに、著者たちはモデルの内部に、小さくてシンプルな「スコアキーパー」を構築しました。
- このスコアキーパーは、モデルの「脳」（隠れ状態）を観察し、あらゆる単語に対してスコアを割り当てます。
- 高スコア： 「これは秘密です。消去しなければなりません。」
- 低スコア： 「これは単なる文法です。そのままにしておきましょう。」
ダンス（交互最適化）：
- モデルとスコアキーパーが交互に学習を行います。
- まず、スコアキーパーがどの単語を忘れるべきかを決定します。
- 次に、モデルは他のスキルを維持したまま、それらの特定の単語を忘れようとします。
- その後、スコアキーパーはモデルがどのように変化したかを確認し、より正確になるようにスコアを更新します。
- 彼らは、モデルが他のものを壊すことなく、正確に何を忘れるべきかを学ぶまで、このダンスを繰り返します。

なぜこれが優れているのか（結果）

論文では、この手法を2つの異なる「ライブラリ（データセット）」でテストし、ATWUが従来の手法よりも優れていることを示しました。

精度： 特定の秘密（「Hina Ameen」という名前など）をうまく削除しながら、モデルが通常の高品質なテキストを書く能力を維持することに成功しました。
追加の助けが不要： 何を削除すべきかを判断するために、別の独立したAIを必要とする他の手法とは異なり、ATWUはモデル自身の内部信号を使用して、自力で判断を下します。
優れたバランス： より良いトレードオフを実現しました。他のテストされたどの手法よりも、悪いことをより効果的に忘れさせ、同時に良いことをより良く保持しています。

メタファーの「魔法」

白いシャツから特定の汚れを取り除く場面を想像してみてください。

従来の手法： シャツ全体を漂白剤でこすります。汚れは消えますが、シャツは黄色くなり、台無しになります。
ATWU： 汚れの色だけを狙うレーザーを使用します。汚れだけを完璧に焼き切り、白い布地には一切触れずに済みます。

主張の要約

この論文は、「忘却」を、モデルが「何を」忘れるべきかと「どのように」忘れるべきかを同時に学習する共同の問題として扱うことで、「マシン・アンラーニング（機械的な忘却）」において以下のことが達成できると主張しています。

教師なし（Unsupervised）： どの単語を削除するかをラベル付けするための人間を必要としません。
効率的（Efficient）： 非常にシンプルで軽量なメカニズム（線形スコアラー）を使用して作業を行います。
効果的（Effective）： 「秘密の情報」と、モデルが保持すべき「一般的な知識」との間の、よりクリーンな分離を生み出します。

著者たちは、モデルに何を忘れさせるかを教えるために外部ツールや高価なアノテーション（注釈付け）は必要なく、モデル自身の内部にある「秘密を覚えていること」と「スキルを維持すること」の間の葛藤が、必要なすべての手がかりを提供してくれるのだと結論付けています。

技術要約：忘却すべきことを学ぶ：学習されたトークンレベルの重要性によるLLMの忘却の改善

問題提起
機械学習における忘却（Machine unlearning）は、学習済みの大規模言語モデル（LLM）から、ターゲットとなる知識（例：個人データ、著作権のあるテキスト、有害なコンテンツ）を、ゼロから再学習することなく削除することを目的としている。自己回帰型LLMにおける重要な課題は、「忘却サンプル」（削除対象となるデータ）内のすべてのトークンが、ターゲットとなる情報に対して等しく関連しているわけではないという点である。多くのトークンは構造的なもの（例：機能語、句読点、構文パターン）であり、一般的な言語能力に必要不可欠である。既存のトークン重み付け忘却手法は、特定のトークンに対して選択的に忘却損失を適用しようと試みるが、トークンの関連性を推定するために、外部のアノテーション、補助モデル、確率ベースのヒューリスティック、またはタスク固有のルールに依存している。これらの手法は、忘却固有のコンテンツと構造的トークンを効果的に区別できず、結果として不十分な忘却、あるいは不必要なユーティリティの低下を招くことが多い。

手法：交互トークン重み付け忘却（ATWU）
著者らは、トークンレベルの忘却特異性は、外部の信号ではなく、忘却目的関数と保持目的関数の相互作用によって特徴付けられるべきであると提案している。これを、モデルパラメータ（ $\theta$ ）とトークン重み（ $z$ ）に関する結合最適化問題として定式化する。

理論的定式化： 本論文では、保持セットに対する最適性を維持しながら、トークン集合 $A$ を抑制するコストを測定する「保持競合（retain conflict）」メトリック $\kappa(A)$ を定義している。「保持競合の分離（retain-conflict separation）」仮定の下で、著者らは、保持損失と重み付けされた忘却損失のバランスを取る結合目的関数の最小化因子として、オラクル（正解）の忘却特異トークン集合が回収可能であることを証明した。この理論的結果は、トークン重みが外部の教師信号なしに、忘却目的関数から直接学習可能であることを示唆している。
アルゴリズム（ATWU）： これを扱いやすくするために、著者らは交互トークン重み付け忘却（ATWU）を導入している。
- スコアラー： すべてのトークンに対して独立した重みを学習する代わりに、ATWUは、モデルの隠れ状態空間におけるベクトル $w$ でパラメータ化された軽量な線形スコアラー $g_w$ を使用する。トークンのスコアは $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$ であり、ここで $h_\theta$ は隠れ表現である。
- 結合最適化： このフレームワークは、保持損失、飽和負のクロスエントロピー忘却損失（SATGA+）、スコアをバイナリ値へと押し出すエントロピー正則化、および選択されるトークン数を制御するための予算制約を含む、緩和された連続的な目的関数を最適化する。
- 交互更新： モデルパラメータ $\theta$ とスコアラーのパラメータ $w$ は、交互に更新される。 $\theta$ を更新するときはスコアをデタッチ（切り離し）し、 $w$ を更新するときは $\theta$ を凍結する。これにより、変化するモデルの幾何学的構造とトークン選択の間のフィードバックループを分離し、学習を安定させる。

主な貢献

保持競合の特性化： 本論文は、忘却と保持の目的間の緊張関係に基づく、トークンレベルの忘却特異性の理論的特性を提示しており、結合最適化が自然な分離条件下でオラクルな忘却サポートを回収できることを証明している。
トークン重みの教師なし学習： ATWUは、モデルの内部表現のみを使用して、モデルパラメータと同時にトークンの忘却特異性を学習する軽量なフレームワークである。外部のトークンレベルの教師信号、補助モデル、または高価なアノテーションを必要としない。
適応的な損失統合： 本手法は、学習されたトークンスコアが飽和指数に注入される、スコア変調型の飽和負のクロスエントロピー（SATGA+）を導入している。これにより、最適化の初期段階において、より滑らかで不確実性を考慮した更新が可能になる。

結果
著者らは、2つのベンチマーク、TOFU（架空の著者伝記）および RWKU（実在の公人の知識）を用いてATWUを評価している。

パフォーマンス： ATWUは、忘却の質（FQ）と保持の劣化（RD）のバランスをとる指標である「忘却の質（Unlearning Quality, UQ）」において、最先端の性能を達成している。TOFUでは91.7（次点のモデルを5.8 pp上回る）を達成し、RWKUでは58.7（次点のモデルを6.8 pp上回る）を達成した。
ユーティリティの保持： 生成品質を崩壊させてしまう攻撃的な忘却手法とは異なり、ATWは元のチェックポイントに近いレベルで一般的なユーティリティ（MMLU、反復性、およびペアワイズの勝率で測定）を保持する。
トークンスコアの質： 学習されたトークンスコアは、確率ベースのヒューリスティック、補助モデルによるアプローチ、および他のトークン重み付けベースラインと比較して、正解の忘却特異スパンと有意に高い一致を示した（AUROCで測定）。
汎用性： 本フレームワークは損失関数に依存しない（loss-agnostic）であり、DPO、NPO、SIMNPOなどの他の忘却損失と組み合わせた場合でも、一貫して重み付けなしのモデルよりも忘果・保持のトレードオフを改善する。

意義と主張
本論文は、「保持競合」が、言語モデルが何を忘れるべきかを特定するための効果的かつ本質的な基準を提供すると主張している。トークン重み付け忘却を、外部のヒューリスティックによるパイプラインから、エンドツーエンドの結合最適化問題へと移行させることで、ATWUは以下のことを実証している：

忘却のためのトークンを回収するには、外部の教師信号なしでも、忘却目的関数自体に十分な潜在的信号が含まれている。
選択的な忘却におけるボトルネックは、単に適切なトークンを見つけることではなく、スコアリングメカニズムと忘却目的関数の原理的な共同設計にある。
スケーラブルでプライバシー保護に優れた、高度にターゲット化された忘却は、外部のアノテーション（これらはしばしばプライバシーのリスクやスケーラビリティの問題を引き起こす）に依存することなく達成可能である。

著者らは、トークン選択の予算に関するハイパーパラメータへの依存、および忘却特異トークンと構造的トークンの間の厳密な分離という仮定（これは自然言語においては近似的にしか成立しない可能性がある）を含む、限界についても述べている。さらに、計算コストのため、評価は特定のベンチマークおよび単一の実行に限定されている。