技術的サマリー：識別可能な削除（D2）

1. 問題提起

大規模言語モデル（LLM）は、機密性、プライバシー、または有害な情報を記憶し、再生する傾向があり、プライバシー、公平性、セキュリティに関する重大な懸念を提起しています。LLM の学習忘却（unlearning）は、完全な再トレーニングなしにそのような望ましくない知識を選択的に削除することを目的としていますが、既存のアプローチは 2 つの支配的なパラダイムにおいて根本的な限界に苦しんでいます。

• 知識削除（KD）: 勾配上昇（GA）およびその変種（例：DPO、NPO、WGA）などの手法は、特定のターゲットトークン系列を抑制するためにモデルパラメータを直接修正することで知識を消去しようとします。しかし、LLM における知識表現は本質的に絡み合っているため、特定のトークンを抑制することはしばしば偏った削除につながります。その結果、保持された知識の破滅的忘却、偽の学習忘却（モデルが忘却するが誤った事実を幻覚させる）、および意味不明なテキストの生成を含む不安定な動作が生じます。
• 識別可能な拒否（DR）: パラメータを固定し、プロンプトエンジニアリングまたは補助的な検出器に依存して機密入力への拒否を行う手法です。これらは高い保持性能と一貫性のある応答を維持しますが、脆弱です。モデル内の基盤となる知識は intact のまま残っているため、敵対的攻撃やジャイルブレイクプロンプトを通じて再出現する可能性があります。

核心的な課題は、KD のような基盤となる知識の完全な削除を保証しつつ、DR のような一貫性があり安全な拒否行動を維持し、敵対的脆弱性に屈することなく実現するパラダイムを確立することです。

2. 手法：識別可能な削除（D2）および EUA

著者は、学習忘却の目的をトークンレベルの特定ラベル抑制から、知識の存在に関する分布レベルの特性評価へと転換する新しいパラダイムである**識別可能な削除（D2）**を提案します。これを実装するために、**エネルギーベース学習忘却アライメント（EUA）**フレームワークを導入します。

2.1. エネルギー指標

D2 の基礎は、エネルギーベースモデル（EBM）から導出されたエネルギー指標です。特定のトークンの確率に焦点を当てるのではなく、この手法はモデルの出力分布の自由エネルギーを通じて知識の「存在」を定量化します。

• 理論的基盤: 与えられた入力に対して、低い自由エネルギーを持つ応答は、モデルが構造化された自信のある回答を持っている（知識が存在する）ことを示します。逆に、高い自由エネルギーは、モデルが回答を持っていないためランダムに単語を生成していることを示唆します。
• 効率性: サンプリングベースの推定器とは異なり、エネルギー指標は単一のフォワードパスとモデルのロジットを使用して効率的に計算され、$E_\theta(v | x, y_{<i}) = -z_\theta(v | x, y_{<i})$ と定義されます。
• 観察: 経験的分析により、既存の KD ベースの手法は、学習忘却されたコンテンツと保持されたコンテンツの間でエネルギー空間に明確な分離を作成することにしばしば失敗し、一貫性のない内部知識状態を引き起こすことが示されています。

2.2. エネルギーベース学習忘却アライメント（EUA）

EUA は、学習忘却されたコンテンツと保持されたコンテンツの間でエネルギー空間に明確な分離を強制するように設計された統合フレームワークです。

• 学習目的: 学習目的は、保持のための標準的な交差エントロピー損失と、エネルギー境界を強制する正則化項（$L_{energy}$）を組み合わせます。
  • 学習忘却されたサンプルの場合、モデルは特定のマージン（$m_u$）未満のエネルギーを持つ場合にペナルティを受け、エネルギーを上げさせます（知識の欠如を示す）。
  • 保持されたサンプルの場合、モデルはマージン（$m_r$）を超えるエネルギーを持つ場合にペナルティを受け、エネルギーを低く保ちます（知識の存在を示す）。
• 自己選好エネルギーマージン: 手動で調整されたハイパーパラメータの不安定性を回避するために、EUA は自己選好マージンを導入します。これらは事前学習済みモデル自身のロジット分布から導出されます。ロジットをソートし、上位 50%（選好）と下位 50%（非選好）の領域に分割することで、モデルの内部特徴幾何学と本質的に整合するエネルギー境界（$m_u, m_r$）を構築します。これにより、より滑らかな最適化が保証され、急激なエネルギーシフトが防止されます。
• 推論時の拒否メカニズム: 学習後、モデルはエネルギー分布において明確な分離を示します。推論中、システムはサンプルごとの自由エネルギーを計算します（長さ不変性を確保するためのトークンレベルエネルギーの Top-k 集約を使用）。エネルギーが学習された閾値（$\tau_{energy}$）を超えた場合、システムは拒否メカニズムをトリガーし、意味不明なテキストや幻覚された事実を生成する代わりに、一貫性のある安全な代替案（例：「プライバシー/著作権の制限により、これについて議論することはできません」）で出力を置き換えます。

3. 主要な貢献

1. 識別可能な削除（D2）パラダイム: 本論文は、学習忘却をトークンレベルの抑制ではなく、知識の存在に対する分布レベルの制約として再定義します。このアプローチは、学習忘却されたコンテンツを保持された知識から自然に区別し、信頼性の高い拒否メカニズムを可能にします。
2. エネルギー指標: 著者は、潜在表現に基づく知識存在の理論的根拠があり経験的に検証された指標を提案します。エネルギーが、ランダムな生成に対する構造化された応答を提供するモデルの能力を正確に反映することを示しています。
3. エネルギーベース学習忘却アライメント（EUA）: 学習中にエネルギーベースの分離を強制し、推論時にエネルギーベースの閾値を利用して拒否を行う統合フレームワークです。この手法は、KD の不安定性と DR の脆弱性に対処します。

4. 実験結果

著者は、TOFU（架空の著者）、WMDP（バイオ/サイバー安全性）、MUSE（逐語的および事実的知識）の 3 つのベンチマークにおいて EUA を評価しました。LLaMA-2/3、Qwen-2.5、Zephyr などのさまざまなモデルファミリーにおいて、最先端の KD 手法（GradDiff、DPO、NPO、SatImp など）および DR 手法（ICUL、Guardnail など）と比較しました。

• KD 手法とのパフォーマンス比較: EUA は、既存の KD ベースの手法を一貫して上回ります。TOFU において、削除品質（EQ）、保持品質（RQ）、**言語品質（LQ）**で大幅な改善を達成しました。例えば、LLaMA-3.2-3B（Forget 10%）において、EUA は集計スコア 8.665 を達成し、次点の手法（SatImp の 6.484）を大幅に上回りました。重要なのは、EUA が KD 手法に共通する意味不明なテキストや幻覚の問題を排除していることです。
• DR 手法とのパフォーマンス比較: DR 手法は良好な保持を維持しますが、敵対的攻撃下では失敗します。EUA は100% の検出精度を示し、ジャイルブレイク攻撃後でも高い言語品質を維持しますが、DR ベースの手法は検出と応答品質の両方で大幅な劣化を被ります。
• 堅牢性: EUA は、クロスリンガル、再学習、ジャイルブレイク攻撃のシナリオ全体で強い堅牢性を示し、他の手法が劣化する中で安定したパフォーマンスを維持します。
• アブレーション研究: この研究は、自己選好エネルギーマージンが重要であることを確認しました。手動設定のマージンは不安定なパフォーマンスにつながります。また、エネルギー計算に使用される Top-k パラメータの変動に対しても手法は堅牢です。

5. 意義と主張

本論文は、D2 および EUA が、知識消去と安全な拒否の目標を統合することで、優れた学習忘却パラダイムを表すと主張しています。

• トレードオフの解決: この手法は、学習忘却されたターゲット知識の削除と一般モデル有用性の維持の間で、より好ましいパレート最適のバランスを達成し、KD で見られる「破滅的忘却」や「偽の学習忘却」を回避します。
• 堅牢性: 単に知識をマスクするのではなく、知識状態を根本的に変更（エネルギー分離を介して）することにより、EUA は再抽出可能な静的知識に依存する DR 手法とは異なり、進化していく敵対的戦略に対して堅牢な防御を提供します。
• 一貫性: このアプローチは、モデルが回答を拒否する際に、意味不明なテキストではなく、文脈を考慮した一貫性のある応答で行うことを保証し、モデルの実用性を維持します。

著者は、彼らのアプローチが、大規模モデルにおける知識の絡み合った性質に対処するために特定トークン制約の限界を超え、LLM 学習忘却のための原理的、安定性があり、一般化可能な解決策を提供すると結論付けています。