技術要約：埋め込み（Embeddings）を忘れてはいけない：埋め込みの精密な編集による堅牢な知識消去

問題提起

言語モデル（LM）の導入が進むにつれ、特定の知識（例：プライベートなデータ、著作権で保護されたコンテンツ、安全性に敏感なトピック）を恒久的に消去する能力が極めて重要になっている。既存の永続的な消去手法は、主にマルチレイヤー・パーセプトロン（MLP）層内のモデルパラメータの更新に焦点を当てており、疎なオートエンコーダ（SAE）や重みのステアリング（weight steering）をしばしば利用している。しかし、これらの手法は堅牢な消去を実現できないことが多い。対象となる知識は、敵対的なプロンプティングや再学習（概念に関連するデータへのファインチューニング）を通じて依然として回収可能であり、消去の有効性は形式依存的（多肢選択式からオープンエンドな生成への汎用性に欠ける）であることが多い。

著者らは、これらの限界が、既存の手法が**トークン埋め込み層（token embedding layer）**を見落としていることに起因すると仮定している。MLPが知識の想起において重要な役割を果たすことは知られているが、LMはトークン埋め込みの中に直接、非自明な量の知識をエンコードしている。この層を無視することは、モデルが消去された概念を「再学習」するための経路を残すことになり、既存の手法がモデル全体の有用性を低下させるような、攻撃的で広範なパラメータ更新に頼らざるを得なくなる原因となっている。

手法：EMBER

本論文では、既存のMLP中心の消去手法を補完するために、トークン埋め込みを精密に編集するように設計されたプラグアンドプレイ・モジュールであるEMBER（EMBedding ERasure）を提案する。EMBERは、「局所化してから編集する（localize-then-edit）」という3つのステージからなるアプローチに従う。

1. 特徴量の局所化のための疎行列分解（Sparse Matrix Factorization: Sparse MF）:
   SAEを使用する代わりに、EMBERは埋め込み行列 $E$ に対して直接、疎行列分解を適用する。これは、特定のトークン集合（概念に関連する文および中立的な文に現れるトークン）の埋め込みを、因子辞書 $Z$（埋め込み特徴量）と係数行列 $Y$ に分解する。

   • 疎性制約（Sparsity Constraint）: 特徴量が局所的かつ解釈可能な概念に対応することを確実にするため、係数 $Y$ に「勝者総取り（winner-takes-all: WTA）」制約を適用し、各因子の大きさの上位1%のみを保持する。これにより、分解プロセスが、少数の特定のトークンのサブセットによって共有される特徴を特定するように強制する。

2. 概念関連特徴の特定:
   この手法は、回収された特徴をスコアリングすることで、概念固有の特徴と一般的な特徴を区別する。概念に関連するトークンへの特徴の寄与と、中立的なトークンへの寄与を比較する質量比統計量を計算する。高い比率を持つ特徴は、LLM-as-a-judgeを用いて、関連するトークンがターゲットとなる概念と意味的に一致するかどうかを検証することで、さらにフィルタリングされる。

3. 減算による精密な消去:
   概念に関連する特徴（$F_C$）が特定されたら、EMBERは関連するトークンの埋め込みからその寄与を減算する。トークン埋め込み $e_t$ に対する更新式は以下の通りである：
   $$e_t \leftarrow e_t - \delta \sum_{i \in F_C} Y_{i,t} z_i$$
   ここで、$\delta$ は強度のハイパーパラメータである。この操作は、残りの埋め込みを維持したまま、概念固有の成分のみを除去する。この手法は、特定された概念特徴に対して非ゼロの係数を持つトークンに対してのみ適用される。

EMBERは、既存のMLPベースの消去手法（RMU、CRISP、SNMFなど）と組み合わせ、埋め込み層とMLP層の両方をターゲットとするアンサンブルを作成するように設計されている。

主な貢献

• 埋め込みのボトルネックの特定: 本論文は、埋め込み層が堅牢な概念消去における決定的なボトルネックであることを確立する最初の経験的研究を提供している。埋め込み層を無視することで、モデルが消去された知識をより容易に回収できることを示している。
• EMBERアルゴリズム: 疎行列分解を用いて、モデルのフルファインチューニングを必要とせずに、トークン埋め込みから概念関連の特徴を分離・精密に除去する新しい手法。
• プラグアンドプレイの拡張性: EMBERは既存の消去フレームワークと互換性があることが示されており、消去パイプラインの完全な再設計を必要とせずに性能を大幅に向上させる。

実験結果

著者らは、Gemma-2-2B-itおよびLlama-3.1-8B-Instructを用いて、18の多様な概念（Harry Potterのような架空の作品から、Cannabisのような安全に関するトピックまで）についてEMBERを評価した。

• 有効性と特異性: 既存の手法（RMU、CRISP、SNMF）にEMBERを組み合わせることで、消去の有効性（概念精度の低下）と特異性（類似ドメインおよびMMLUにおける性能維持）が一貫して向上した。
• 再学習に対する堅牢性: これが主要な利点である。EMBERは、消去された概念の再学習能力を劇的に減少させた。
  • Llama-3.1において、従来の（RMU、CRISPなどの）手法による再学習精度は、EMBERを組み合わせることで**70%～76%から35%**へと減少した（約50%の減少）。
  • Gemmaにおいては、再学習精度が**16%～24%**減少した。
  • フルMFベースのパイプライン（SNF + EMBER）は、最も低い再学習精度（Llamaで35%）を達成し、ベースラインを大幅に上回った。
• 一貫性と局所化: 生成の一貫性へのコストは最小限であった。分析の結果、EMBERは概念ごとに語彙の最大**0.14%**しか修正していないことが示された。一貫性の低下は「概念限定的」なトークン（例：Harry Potterを消去する際の"Hogwarts"）に高度に局所化されており、一般的なトークン（例：プリンス・ハリーの文脈における"Harry"）にはほとんど影響を与えなかった。
• 汎用性: ハイパーパラメータは多肢選択（MC）タスクで調整されたが、改善はオープンエンド（OE）な質問回答にも効果的に転移した。これは、編集が形式固有のショートカットではなく、概念的な知識をターゲットにしていることを示唆している。

意義と主張

本論文は、埋め込み行列の精密かつ標的を絞った編集が、堅牢な概念消去を実現するために不可欠であると主張している。埋め込み層への介入へと焦点を移すことで、EMBERは、知識が単に抑制されているだけで、実際には除去されていないという「浅いアンラーニング（shallow unlearning）」の問題に対処している。

著者らは次のように結論付けている：

1. 再学習攻撃を防ぐためには、埋め込みレベルの介入が必要である。
2. 既存の消去手法は、埋め込みレベルの編集を付加することで大幅に強化できる。
3. 消去の有効性とモデルの有用性（一貫性）のトレードオフは、広範な重み更新を適用するのではなく、特定の概念関連特徴に編集を局所化することで改善できる。

本研究は、モデル編集における新しい方向性を確立しており、埋め込み層が、安全性やコンプライアンスのアプリケーションにおいて対処すべき、重要でありながらこれまで十分に探索されてこなかった知識保存の場所であることを明らかにしている。