🤖 machine learning

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED は、自己蒸留を通じて高情報トークンを特定して降格させることで記憶されたコンテンツを選択的に除去し、キュレーションされた保持セットを必要とせずに忘却の効率性とモデルの有用性の間の優れたトレードオフを達成する、大規模言語モデル向けの新しい保持セット不要の機械的忘却手法である。

原著者： Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、SHRED という論文を簡単な言葉と創造的な比喩を用いて説明したものです。

大きな問題：「忘却」のジレンマ

大規模言語モデル（LLM）を、インターネット全体を読み込んだ超写真記憶の学生だと想像してください。この学生は、時にCelebrity のプライベートな住所、著作権のある本、あるいは爆弾の作り方の危険な指示など、記憶してはならないことを覚えてしまうことがあります。

これを修正するには、通常、その特定の情報を「忘却」させる必要があります。しかし、ここに落とし穴があります。

従来の方法: 学生に悪い情報を忘れさせつつ、英語の話し方や数学など、他のすべてのことを忘れないようにするためには、通常、悪いものを忘れている間に練習するための安全で良い例の「学習ガイド」を与える必要があります。
問題点: 現実世界では、その完璧な学習ガイドを持っていないことがよくあります。それを作成するのは難しく、高価であり、学生に偏見を植え付ける恐れさえあります。それがない状態で学生に忘れさせようとすると、通常は学生の脳が破損し、適切に話せなくなったり、無害な質問への回答を拒否したりするようになります。

解決策：SHRED

著者たちは、SHRED（Self-distillation via High-surprisal-only Retain-free Entropy Demotion：高驚異度のみによる保持不要エントロピー降格を通じた自己蒸留）と呼ばれる新しい手法を提案しています。名前は長いので、比喩を用いて分解してみましょう。

核心的な洞察：すべての単語が平等に作られているわけではない

学生が、自分が記憶した特定のエピソードについて物語を朗読している場面を想像してください。

「7 月 4 日、ジョン・スミスは赤いフェラーリでグランドキャニオンへ向かった。」

この論文は、モデルがこの文を「どのように考えているか」について、以下のような興味深い発見をしました。

「退屈な」単語: 「On（～に）」、「the（定冠詞）」、「to（～へ）」、「a（不定冠詞）」のような言葉は非常に一般的です。モデルはこれらの言葉に対して非常に確信を持っています。これらは建物の足場のようなものです。
「記憶された」単語: 「7 月 4 日」、「ジョン・スミス」、「赤いフェラーリ」、「グランドキャニオン」といった言葉は具体的な事実です。モデルは、これらの特定の詳細については、退屈な単語に比べて実際には確信度が低いのです。なぜなら、それらはその特定の物語に固有のものだからです。

SHRED の大きなアイデア: 文全体を洗い流す必要はありません。必要なことは、**特定の価値の高い事実（足場）**をターゲットにし、一般的な言語構造はそのままにすることです。

SHRED の仕組み（2 段階のプロセス）

SHRED は「保持セット不要（retain-set-free）」な手法であり、外部の学習ガイドを必要としません。モデル自身の脳を教師として利用します。

ステップ 1：探偵仕事（選択）
モデルは、忘れさせたい文を読み、各単語に対して「この単語にどの程度驚いているか？」と自問します。

もしモデルが驚いていない（確率が高い）場合、それは「the」のような一般的な単語です。SHRED はこれらを無視します。
もしモデルが驚いている（確率が低い）場合、それは「ジョン・スミス」のような具体的な事実です。SHRED はこれらを忘却のターゲットとしてマークします。

ステップ 2：手術（降格）
その後、モデルは同時に 2 つのことを行うように訓練されます。

ターゲットを忘れる: 具体的な事実（例：「ジョン・スミス」）に対する確信度を下げるように強制されます。
足場を維持する: 一般的な単語（例：「On」、「the」）に対する確信度を高く保つように指示されます。

これにより、モデルは英語を話す能力を失うことなく、特定の秘密を「忘却」することを学びます。これは、壁を壊すことなく部屋から特定の家具を取り除くようなものです。

なぜ他より優れているのか

この論文では、4 つの異なるベンチマーク（忘却のための「最終試験」のようなもの）において、SHRED を他の多くの手法と比較してテストしました。その結果は以下の通りです。

パレトフロンティア: 「完全な忘却」と「完全な有用性」の両方を達成する「完璧なスコア」を左上に持つグラフを想像してください。ほとんどの手法は中央や右下に留まっています。SHRED は、学習ガイド（保持セット）を必要とせずに、左上のコーナーに到達する唯一の手法です。
「脳損傷」の回避: 他の手法では、モデルが質問への回答を拒否したり、意味不明な言葉を話し始めたりすることがよくあります。SHRED はモデルの一般的な知性を維持したままにします。
幻覚の修正: 意外な展開として、SHRED はモデルが現実世界について架空の事実を捏造する可能性を低下させました。「偽の」記憶された物語を取り除くことで、モデルの自然な知識がより鮮明に現れるようになったのです。
堅牢性:
- 再学習: いくつかの例を見せてモデルを再び秘密を思い起こさせようとしても、SHRED によるモデルは他のものよりもはるかに騙されにくいです。
- プライバシー: ハッカーがモデルがまだ秘密データを「記憶している」かどうかを判断するのは非常に困難です。
- 安定性: 破損することなく長時間訓練することができます。

「つまみ」と設定

著者たちは、SHRED を調整する 2 つの主な方法を見つけました。

「どれくらい」のつまみ（P）: 最も具体的な単語の上位 50% だけを忘れるようにするか、それとも 100% すべてを忘れるようにするかを選択できます。モデルを賢く保ちつつ忘却をバランスさせるための絶妙な点は、50% のようです。
「バッチサイズ」の驚き: 通常、AI 訓練では一度に大きなデータ群を使用する方が優れています。しかし、SHRED は小さなバッチ（場合によっては 1 例ずつ）で最もよく機能します。これは、全身のワークアウトをするのではなく、特定の動きを繰り返し練習して新しいスキルを学ぶようなものです。これにより、モデルはより外科的に「忘却」を行うことができます。

まとめ

SHREDは、ガイドとなる「良い例」のマニュアルを必要とせずに、AI に特定の秘密を忘れさせるための巧妙な方法です。これは、秘密を保持する特定の固有の単語を特定し、それらの重要性を優しく下げつつ、一般的な言語構造は手つかずにする形で機能します。その結果、悪いデータを忘れ去った一方で、依然として賢く、有益で、安全に使用できるモデルが生まれます。

技術概要：SHRED – 自己蒸留とログit降格によるリテンセット不要な学習忘却

1. 問題定義

大規模言語モデル（LLM）は学習データを記憶しており、プライバシー漏洩、著作権侵害、危険な知識の拡散といったリスクを伴う。機械学習における忘却（Unlearning）は、完全な再学習という莫大なコストを伴わずに、この特定の知識を選択的に削除することを目的としている。

標準的な忘却のパラダイムは、モデルの一般的な有用性の壊滅的な劣化を防ぐために、忘却セットと同じドメインから精選された**リテンセット（retain set）**を必要とする。しかし、実際にはデータの不足や望ましくないドメインバイアスの導入により、理想的なリテンセットの構築はしばしば不可能である。リテンセットへの依存を回避しようとする既存の手法は、多くの場合、著しい有用性の崩壊を招き、言語構造の損傷や過剰な拒否率の増加をもたらす。核心的な課題は、外部のリテンデータにアクセスすることなく、特定の記憶された内容の効果的な忘却を実現しつつ、モデルの一般的な能力を維持することである。

2. 手法：SHRED

著者は、モデル自身の出力分布を教師として利用することでリテンセットの必要性を排除するSHRED（Self-distillation via High-surprisal-only Retain-free Entropy Demotion）を提案する。このアプローチは、「忘却セット内のすべてのトークンが均等に記憶された情報を担っているわけではない」という洞察に基づいている。

核心的な洞察：トークンレベルの情報密度

特定の文書を記憶したモデルにおいて、高情報量のコンテンツ（例：特定の固有名詞、日付、固有の関係性）を表すトークンは、一般的な言語の足場（例：句読点、一般的なフレーズ、ストップワード）を表すトークンと比較して、低い自己回帰確率が割り当てられる。後者は広範な事前学習統計に支えられているのに対し、前者は記憶されたインスタンスに固有のものである。

SHRED の手順

SHRED は、単一の忘却セット（ $D_f$ ）を用いて 4 つの段階で動作する。

教師の順伝播: 忘却対象のモデル（パラメータ $\theta$ ）は、固定されたオフポリシー教師として機能する。このモデルは $D_f$ からのシーケンスを処理し、トークンごとの自己回帰確率 $p_\theta(x_t | x_{<t})$ を生成する。
忘却位置の選択:
- 基本的な言語モデリングを損なうことを避けるため、初期のコンテキストウィンドウ（例：QA の質問や文書接頭辞）を除外する。
- 残りのトークンを確率の昇順にソートする。
- 最下部の $P$ 分（確率が最も低く、シャノン情報量が最も高い）を**忘却セット（ $F$ ）**として選択する。これらの位置には、文書固有の高情報量トークンが含まれる。
- 残りの位置（ $R = T \setminus F$ ）は暗黙的なリテンセットとして機能し、モデルの一般的な言語能力を維持する。
KL 目標の構築:
- 忘却位置（ $t \in F$ ）: 目標分布は記憶されたトークンを「降格（demote）」するように修正される。
  - バリアント A（検索忘却）: 特定の記憶されたトークン $x_t$ のみが降格され（ログitを $-\infty$ に設定）、
  - バリアント B（知識忘却）: 記憶されたトークンと確率分布のトップ- $\pi$ ノーカスが、言い換えを防ぐために降格される。
- リテン位置（ $t \in R$ ）: 目標分布は教師の元の分布と同一のままとし、有用性を維持するアンカーとして機能する。
Top-K KL 自己蒸留: スチューデントモデル（ $\theta'$ ）は、トップ- $K$ 語彙部分集合における構築された目標分布 $q_t$ とその予測との間の KL 発散を最小化するように訓練される。この単一の目的関数は、高情報量の記憶されたコンテンツからモデルを遠ざけつつ、一般的な言語パターンにモデルを固定する。

3. 主要な貢献

リテンセット不要な忘却: SHRED は、外部のリテンデータなしに効果的な忘却を達成できることを実証した最初の手法であり、代わりに忘却セット自体の内部構造に依存する。
選択的ログit降格: 高サプライザル（高情報量）のトークンのみを特定して降格し、低サプライザルのトークンを維持することで、均一な忘却アプローチに伴う有用性の崩壊を回避する。
統合された目的関数: この手法は、忘却と有用性維持を自然にバランスさせる単一の自己蒸留目的関数を利用し、忘却損失項とリテン損失項の間の複雑なハイパーパラメータ調整を不要にする。
頑健性: このアプローチは、メンバーシップ推論攻撃（MIA）、再学習攻撃、および連続的な忘却シナリオに対して頑健であることが示されている。

4. 実験結果

著者は、SHRED を 4 つの標準ベンチマーク：TOFU（架空の著者 QA）、MUSE（ニュース/書籍）、RWKU（実世界のエンティティ）、Hubble（YAGO/グーテンベルク）で評価した。

パレート最適性: SHRED は 4 つすべてのベンチマークで新しいパレートフロンティアを確立し、忘却効果とモデル有用性のトレードオフにおいて、リテンセット依存のベースライン（GradDiff、NPO、DPO など）を上回った。
忘却効果: SHRED は、忘却データなしで学習された「ターゲット」モデル（オラクル）のパフォーマンスを忘却指標において達成し、Gradient Ascent などの手法で見られる「過剰な忘却」を示さなかった。
有用性の維持: 多くの場合、リテンセットを必要とするか、あるいは有用性の崩壊を引き起こすベースラインとは異なり、SHRED は一般的な有用性を維持し、場合によっては向上させる。特に TOFU ベンチマークにおいて、SHRED は初期のファインチューニングプロセスによって幻覚化または抑制されていた世界の知識を積極的に回復し、「ターゲット」モデルが依然として失敗していた実世界の問題における幻覚を減少させることが観察された。
頑健性:
- MIA: 小バッチの SHRED 訓練は、再学習されたオラクルに近いプライバシー漏洩スコアを達成し、ベースラインを大幅に上回った。
- 再学習: SHRED モデルは、忘却セットで再度短時間ファインチューニングされる「再学習」攻撃に対して耐性があり、ベースラインよりもはるかに遅い速度で知識を回復する。
- 連続的忘却: SHRED は複数の忘却ラウンドにわたってゆっくりと有用性が低下するのに対し、NPO や RMU などのベースラインは著しい有用性の低下を被る。
ハイパーパラメータ: この手法は、降格率（ $P$ ）が 50〜75% で、かつ小バッチサイズ（BS=1 または 2）の場合に最も効果的であり、これらは損失ランドスケープにおける局所最小値からの脱出を助ける。

5. 意義と主張

本論文は、SHRED が機械学習忘却の実用的な展開において重要な前進を表すと主張している。精選されたリテンセットへの依存を排除することで、SHRED は、そのようなデータが利用できない、または精選が困難な実世界アプリケーションにおける主要なボトルネックに対処する。

著者は、SHRED がモデル自身の「無害な」トークンをアンカーとして使用できる能力により、学習忘却タスクでしばしば見られる一般的な有用性の「壊滅的忘却」を回避しつつ、一般的な能力を自然に維持できることを強調している。さらに、ファインチューニングによって導入された幻覚を SHRED が逆転させ得るという観察は、この手法が単に知識を抑制するだけでなく、モデルの分布を一般的な世界の知識とより整合性の取れたものへと洗練し得ることを示唆している。

本論文は、SHRED が忘却と有用性の間でパレート最適なトレードオフを提供し、さまざまな攻撃ベクトルに対して頑健であり、過学習や連続的忘却のシナリオ下でも安定性を保つと結論付けており、データ精選のオーバーヘッドなしに LLM におけるプライバシーおよび安全性コンプライアンスのための実現可能な解決策であると述べている。