💬 NLP

Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

本論文は、小さな補助モデルを活用して大規模言語モデルのロジットを機密データから遠ざけることで、効用への損失を最小限に抑えつつプライバシーおよび著作権のリスクを効果的に軽減し、テキストおよび画像ドメインの両方に適用可能な汎用的なソリューションを提供する、推論時のアンラーニング手法であるDivergence Decodingを紹介するものである。

原著者： Humzah Merchant, Bradford Levy

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Humzah Merchant, Bradford Levy

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「忘れられない」脳

想像してみてください。あなたは、世界中のあらゆる本を読んだことのある、非常に賢い司書（大規模言語モデル）を雇っています。しかし時として、この司書は、決して共有すべきではない特定の機密事項（例えば、個人の日記の内容や著作権で保護された物語など）を記憶してしまうことがあります。

通常、もし司書にその特定の秘密を「忘れさせたい」場合、あなたには2つの悪い選択肢があります。

最初からやり直す： その一冊の本を除外するために、図書館を一度焼き払い、ゼロから再構築する。これには数百万ドルと数年の歳月がかかります。
脳手術を行う： 司書の脳からその記憶を外科的に取り除こうとする。これはリスクが高い方法です。多くの場合、詩を書いたり数学の問題を解いたりといった、他の能力まで誤って損なってしまう（これは「破滅的忘却」と呼ばれます）からです。

解決策：「ガイド犬」システム

この論文の著者たちは、**ダイバージェンス・デコーディング（Divergence Decoding: DD）**と呼ばれる、巧妙で新しいトリックを提案しています。司書の脳を作り変えるのではなく、司書はそのままの状態にしておき、会話の最中に進行をコントロールするための、2匹の小さくて専門的な「ガイド犬」を追加するという方法です。

システムの仕組みは以下の通りです：

司書（メインのモデル）： これが私たちが実際に使うメインのAIです。秘密も含め、あらゆることを知っています。
ガイド犬A（「忘れる」ためのモデル）： 私たちが削除したい特定の秘密の情報だけを学習した、非常に小さく安価なAIです。その特定のデータに対して執着しています。
ガイド犬B（「覚えている」ためのモデル）： 安全で公開されている情報だけを学習した、もう一つの小さなAIです。秘密以外のことはすべて知っています。

仕組み：「ステアリング・ホイール（操舵）」

あなたが司書に質問を投げかけるとき、システムは単に司書に答えさせるだけではありません。2匹のガイド犬に、「答えはどうあるべきか」を尋ねます。

ロジック： システムは、ガイド犬A（秘密に執着している方）が言いたがっていることと、ガイド دانB（安全な情報を知っている方）が言おうとしていることの「差」を見ます。
ステアリング（操舵）： もしガイド犬Aが「秘密を言え！」と叫び、ガイド犬Bが「いや、それは言うな！」と言っている場合、システムはその差を利用して、司書の回答を秘密から遠ざけ、安全なバージョンへと押し戻します。

車の運転をイメージしてください。司書は「車」です。ガイド犬は「助手席に乗っている2人の人間」です。一人は崖（秘密）を指さしており、もう一人は道路（安全な答え）を指さしています。ドライバー（システム）は、車のエンジンを再構築する必要もなく、単に崖を避けて道路の方向へとハンドルを切るのです。

なぜこれが優れているのか

脳手術が不要： メインの司書の脳には一切手を加えません。つまり、他のタスクを行う能力を失うことがありません。
安価で高速： 2匹の小さなガイド犬を訓練することは、子犬を訓練するようなものです。図書館全体を再構築することに比べれば、非常に素早く、安上がりです。
難しい質問にも対応： 従来の手法は、AIに文章をそのまま丸暗記させないことは得意でしたが、AIが秘密について複雑な質問をされた場合には失敗していました。この手法は、ガイド犬の「推論」を利用することで、AIが複雑な方法でさえも秘密について「考える」こと自体を防ぎます。

「恒久的な修正」（蒸留）

この論文では、3つのモデル（司書＋ 2匹の犬）を同時に動かすと、少し余分な計算パワーが必要になることも指摘しています。もし、後で1つのモデルだけで動かせるような恒久的な修正を行いたい場合は、**「蒸留（Distillation）」**と呼ばれるプロセスを使用できます。

司書が、ガイド犬に導かれながら、秘密を含まずに質問に答えるための完璧な「カンニングペーパー」を作成すると想像してください。次に、そのカンニングペーパーの内容を暗記するように、新しい単一の司書に教えます。これで、ガイド犬を必要とせずに、秘密を「忘れる」ことを学んだ、クリーンな単一のモデルが手に入ります。

効果はあるのか？

著者たちは、この手法を「忘却」に関する標準テストである2つの主要なベンチマーク（TOFUとMUSE）でテストしました。

結果： 彼らの手法は、これまでの「最先端（state-of-the-art）」の全手法を上回りました。AIの賢さを維持したまま、より効果的に秘密を排除することに成功しました。
テキスト以外への応用： 彼らは画像生成（絵を描くこと）についてもこのテストを行いました。特定の種類の犬を描く方法をAIに「忘れさせる」よう訓練したのです。この手法はそこでも機能し、他のものを描く能力を損なうことなく、特定の犬を描かないようにすることに成功しました。

まとめ

巨大で複雑な脳から記憶を消去しようとする（難しく、危険な方法）代わりに、この論文は、脳はそのままにしておき、2匹の小さく賢いアシスタントを使って、禁止されたトピックから会話を優しく逸らすことを提案しています。これは、従来のメソッドよりも安価で安全、かつ効果的な、「忘れるための学習」のアプローチです。

技術要約：Divergence Decoding（ダイバージェンス・デコーディング）

問題提起

大規模言語モデル（LLM）は、機密性の高い学習データを頻繁に記憶しており、これがプライバシーや著作権のリスクを生じさせている。既存のモデルチェックポイントから特定の知識を取り除くことでこれらのリスクに対処することは困難である。従来の、サニタイズされたデータセットを用いてモデルをゼロから再学習させる手法は、フロンティア規模のモデルにおいては計算量的に不可能（数百万GPU時間が必要）である。現在のアンラーニング（機械忘却）手法は、勾配上昇法や負の選好最適化（NPO）などの技術を用いてモデルの重みを修正するものだが、これらはしばしば壊滅的なユーティリティ損失を招き、脆弱であり、かつ高コストである。さらに、これらの手法は保持されたデータに対するモデル全体の性能を低下させることが多い。

手法：Divergence Decoding (DD)

著者らは、モデルの重みを直接変更することなく、ターゲットモデルのロジットを特定のデータから遠ざける推論時のアンラーニングメカニズムとして、Divergence Decoding (DD) を提案している。この手法は、Product of Expertsフレームワークと重要度サンプリング（Importance Sampling）に着想を得ている。

コアメカニズム

DDは、現在のターゲットモデル（ $P$ ：保持セットと忘却セットの両方で学習されたもの）と、理想的な再学習モデル（ $Q$ ：保持セットのみで学習されたもの）の差のプロキシとして機能するように、標準的なファインチューニング・パイプラインを通じて訓練された2つの小さな補助モデル $p$ と $q$ を利用する。

補助モデル $p$ : 「忘却」セット（またはベンチマークの設定に応じて、忘却と保持の組み合わせ）に対して訓練される。
補助モデル $q$ : 「保持」セットに対して訓練される。

本手法は、補助モデル間の差異に基づいてターゲットモデルのロジットを調整することで、理想的な再学習モデル $Q$ からのサンプリングを近似する。具体的には、以下の2つの調整が提案されている。

Linear Divergence Decoding（線形ダイバージェンス・デコーディング）: 補助モデルの差によってターゲットを誘導する、ロジットの線形結合：
$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$
ここで、 $\alpha$ はハイパーパラメータである。比率 $q/p$ は「ドメイン・エキスパート」として機能し、保持セットに含まれる可能性が高いトークンをアップウェイトし、忘却セットに含まれる可能性が高いトークンをダウンウェイトする。
Rank-Based Divergence Decoding（ランクベース・ダイバージェンス・デコーディング）: 最も乖離した上位 $k$ 個のロジットを抑制するランクベースの調整：
$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$
（実際には、プライバシー・スコアの退化を避けるため、上位 $k$ 個のロジットは、未修正の分布における $k$ 番目に大きいロジットに置き換えられる。）

モデル蒸留（Model Distillation）

推論中に3つのモデル（ターゲット + 2つの補助モデル）を同時に実行することによるレイテンシと計算コストの問題に対処するため、著者らはDDによって拡張された挙動を単一のモデルへと蒸留することを提案している。凍結されたLinear DDシステムを教師とし、ターゲットモデルを忘却セットに対するKLダイバージェンス目的関数を用いて生徒としてファインチューニングする。これにより、推論時のコントローラーを、補助モデルなしでサーブ可能なパラメトリックなネットワークへと変換できる。

主な貢献

本論文は、機械アンラーニングの文献に対し、以下の貢献を行う：

斬新なロジット・ステアリング: 標準的なアンラーニング・ベンチマーク（TOFUおよびMUSE）において、現在のSOTA（最先端）手法を凌駕するメカニズム。
パラダイム間の架け橋: 推論時のアンラーニングと重みベースのアンラーニングを蒸留によって結びつけ、柔軟なデプロイを可能にする。
クロスドメインの有効性: テキスト生成を超えた、トランスフォーマーベースの画像生成への適用可能性を示す初期の探索。
広範なアブレーション解析: ハイパーパラメータの選択、計算/レイテンシへの影響、クロス・トークナイザー/クロス・ファミリーの汎用性、および敵対的堅牢性に関する包括的な分析。

実験結果

著者らは、Open Unlearningフレームワークを用いて、TOFU（インストラクション・チューニング済み、複雑なクエリ）およびMUSE（事前学習済み、フューショットQ&A）のベンチマークを用いてDDを評価した。

パフォーマンス: DDは、TOFUベンチマークにおいて、SOTAのベースライン（勾配上昇法、NPO、RMU、UNDIALを含む）を決定的に上回る。MUSEにおいては、知識記憶（Knowledge Memorization）およびQ&Aタスクにおいて強力なベースラインをわずかに上回るが、単純なフィルタリング手法が優位となる逐語的記憶（Verbatim Memorization）に対しては効果が低い。
ユーティリティの保持: 多くのアンラーニング手法が引き起こす壊滅的な忘却とは異なり、DDは一般的な知識とモデルのユーティリティを保持する。
蒸留: 蒸留されたモデルは、推論時のLinear DDの性能向上を大部分回収し、従来の勾配ベースのアンラーニング手法を上回る。
スケーラビリティと持続可能性: DDは忘却セットのサイズが増加してもよくスケールし、性能の大幅な低下なしに連続的なアンラーニング要求を処理できる。
敵対的堅牢性: 繰り返しの敵対的プロンプティングを通じて忘却された情報が回収可能かどうかをテストするLeak@Kベンチマークにおいて、Distill DDはフル・リトレイン（完全な再学習）の性能に匹敵し、アンラーニングが単なる表面的な修正ではなく、堅牢であることを示している。
画像生成: ImageNetベースの画像生成に関する予備的な結果は、DDが知覚的な品質を維持しながら、特定の視覚的セマンティクス（例：忘却セット内の犬のクラス）の生成を減少させられることを示しているが、テキストと比較して線形設定ではより高い $\alpha$ 値が必要とされる。

意義と主張

本論文は、より安全でコンプライアンスに適合したAIへの道は、直接的な重みの修正を通じてベースモデルを「無力化」することではなく、モデルを「導く」ことにあると主張している。著者らは、多くの実用的なユースケース（例：「忘れられる権利」の要求、著作権遵守、先読みバイアスを防ぐための金融バックテスト）において、モデルの重みを修正することは不要であり、むしろユーティリティにとって有害である可能性があると述べている。

代わりに、DDは、小さな、安価な補助モデルが大きなモデルの生成を制御するという「忘却のための学習（learning over forgetting）」のアプローチを提供する。これは、頻繁かつアドホックなアンラーニングが求められるハイステークスなデプロイメントにおける実用的な解決策を提供し、アンラーニングの有効性とモデル能力の保持とのバランスを取ることで、SOTAの定義を再構築するものである。この手法は、あらゆる確率的モデルに一般的に適用可能であり、テキストから画像生成のようなドメインへとその有用性を拡張できるものとして提示されている。