技術的サマリー：忘却を超えて：機械的忘却は制御可能な副作用行動と能力を誘発する

問題定義

機械的忘却（Machine Unlearning: MU）は、大規模言語モデル（LLM）から特定の知識や能力を選択的に除去しつつ、一般的な性能を維持することを目的としている。代表的な手法クラスである**表現の誤誘導（Representation Misdirection: RM）**は、「忘却サンプル」の潜在表現を目標ベクトルへ誘導することで忘却を実現する。効果的ではあるものの、この目標ベクトルの役割は未だ十分に探求されていない。既存のアプローチでは、残差ストリームにノイズを注入するために、固定された事前定義のランダムベクトルを頻繁に利用している。しかし、制御されていないランダムノイズの注入は、不整合な出力や意味不明な出力（ガベージ）を招き、高リスク分野における忘却済みモデルの信頼性を損なう可能性がある。さらに、目標方向が忘却済みモデルの創発的行動や能力に及ぼす具体的なメカニズム的効果は、体系的に特徴付けられていない。

手法

著者らは、高レベルの概念がモデルの潜在空間において一次元ベクトルとして線形的に符号化されているとする**線形表現仮説（Linear Representation Hypothesis）の観点から RM を再考する。これに基づき、本論文は制御可能な創発的能力仮説（Controllable Emergent Capability Hypothesis）**を提案する。すなわち、忘却表現を特定の高レベル概念方向に対して線形操作によって誘導することは、忘却を促進するだけでなく、その概念に対応する制御可能な副作用行動や能力を誘発するというものである。

これを検証するため、著者らは以下の 2 つの概念的忘却モデルを提案する。

1. 表現の加算（Representational Addition: RAd）：この手法は、忘却表現を高レベル概念の表現へ向かって誘導することでモデルに忘却を促す。数学的には、忘却表現（$\lambda_f$）にスケーリングされた概念ベクトル（$\bar{\lambda}_W$）を加算する。理論的には、この加算的介入は概念に整合する結果を生成する対数オッズをシフトさせ、それによって副作用行動（例えば、真実性の向上）や能力を誘発する。
2. 表現の除去（Representational Ablation: RAb）：この手法は、忘却表現を高レベル概念方向の零空間へ射影することでモデルに忘却を促す。これは、対象概念と整合する表現成分を除去しつつ、非対象成分を保持する。理論的には、これにより対応する行動や能力が抑制される。

概念方向の抽出：
これらの手法を実装するために、著者らは対象概念に関連するプロンプト（ラベル 1）と反事実的プロンプト（ラベル 0）のデータセットで訓練されたロジスティック回帰プローブを用いて、概念方向を抽出する。このプローブの正規化された重みが、一次元の概念ベクトル（$\bar{\lambda}_W$）を定義する。

ランダムベクトルに関する理論的保証：
本論文は、高次元表現空間において、ランダムにサンプリングされた単位ベクトルは、高い確率で任意の特定の高レベル概念ベクトルとほぼ直交することを示す理論的解析（命題 1）を提供する。これは、RAd においてランダムベクトルを使用することは、意図せず特定の概念と整合したり、干渉したりする可能性が低いことを意味するのに対し、概念ベクトルを使用することは意図的にモデルを誘導することを示唆している。

主要な貢献

1. 線形表現仮説を通じた RM の再検討：本論文は、RM の目標ベクトルと高レベル概念を結びつける理論的枠組みを確立し、忘却は単なる消去ではなく、特定の意味領域への誘導であるという仮説を提案する。
2. 制御可能な創発的能力仮説：RM が、選択された目標ベクトルに基づいて、制御可能な副作用行動（真実性、感情、拒絶、言語）を誘発し、能力（イン・コンテキスト学習）を向上させることを仮説化し、実証的に示す。
3. RAd および RAb フレームワーク：忘却プロセス中に特定のモデル行動を体系的に誘発または抑制することを可能にする、2 つの異なる忘却メカニズム（加算と除去）の導入。
4. 包括的な実証的検証：Zephyr-7B、Mistral-7B、Llama-3-8B などのモデルを用いた、WMDP、MMLU、TruthfulQA、GLUE-SST2、HellaSwag、GSM8K といった複数のベンチマークにわたる広範な実験。

実験結果

実験は、いくつかの次元にわたって仮説を検証した。

• 行動制御：

  • 真実性：「真実性」方向を用いた RAd は、WMDP における忘却の有効性を維持しつつ、TruthfulQA のパフォーマンスを大幅に向上させた（例：Mistral-7B のオープンエンド生成で +12.7）。一方、同じ方向を用いた RAb は真実性を低下させた。
  • 感情：「neg→pos」方向を用いた RAd は、SST2 においてモデルの出力を肯定的な感情へ成功裡にシフトさせた。一方、「pos→neg」方向を用いた RAb は肯定的な感情を抑制した。
  • 拒絶：「拒絶」方向を用いた RAd は、モデルが無害な指示（Alpaca）を拒絶するように誘導した。一方、同じ方向を用いた RAb は、モデルが有害な指示（AdvBench）を拒絶する能力を除去した。
  • 言語：言語固有の方向（例：英語からフランス語へ）を用いた RAd は、HellaSwag の完了において対象言語の言語存在率（LPR）を増加させた。

• 能力向上：

  • イン・コンテキスト学習（ICL）：「国→首都」などのタスク固有のコンテキストベクトルを用いた RAd は、言語および知識タスクにおけるゼロショット ICL パフォーマンスを大幅に向上させた（例：Zephyr-7B における国→首都タスクで、精度が 24.6% から 69.0% に向上）。
  • 推論：「思考の連鎖（CoT）」方向を用いた RAd は、モデル容量の制約により複雑な推論タスク（GSM8K）では限定的な効果を示したが、それでもランダムベクトルベースラインを上回った。これは、ノイズよりもタスクに関連する情報をより多く符号化していることを示唆している。

• ベースラインとの比較：

  • RAd は、Gradient Ascent (GA)、DPO、NPO、RMU などの最先端手法と比較して、WMDP（危険知識の除去）において競争力のある忘却性能を達成し、同時に制御可能な副作用行動を提供するという独自性を有した。
  • 固定されたランダムベクトルを用いた RAd は、再サンプリングされたランダムベクトルを用いた RAd よりも優れており、効果的な誤誘導には一貫した方向性が必要であることを確認した。

• 出力品質：

  • 分析によりトレードオフが明らかになった。概念ベクトルを用いた RAd は、ランダムベクトルと比較して忘却タスクにおいてより一貫性があり文法的に正しい出力を生み出したが、保持タスク（MMLU）の品質を低下させることがあった。これは、保持ドメインにおける表現のシフトに起因する可能性が高い。

意義と主張

本論文は、表現の誤誘導における目標ベクトルの選択が、より強力な副作用能力と制御可能な行動を持つ忘却済みモデルを開発するために活用できる、重要かつ以前は十分に探求されていなかったメカニズムであると主張する。

• 二面性：この現象は両刃の剣として提示される。誤用されれば、無害なクエリへの拒絶を誘発したり、有害なコンテンツを生成したりする隠れたリスクとなり得る。しかし、適切に活用されれば、特定の知識に関する安全性だけでなく、より高い真実性や特定の言語生成など、向上または制御された特性を持つ忘却済みモデルを開発するメカニズムを提供する。
• メカニズム的洞察：この研究は、忘却を単なる「消去」や「マスキング」として見ることを超え、むしろ潜在空間内における誘導のプロセスであり、モデルの創発的性質を体系的に変化させるものであると示唆している。
• 実用的含意：著者らは、中心となる目的が重みからの知識の「真の消去」を主張することではなく、この創発的現象を特徴付けることにあることを明確にしている。この特徴付けは、忘却と望ましい行動制御のバランスを取る原理的な忘却手法を設計するための新たな視点を提供する。

本論文は、線形表現仮説を活用することで、機械的忘却を単なる破壊的なプロセスから、知識除去 alongside モデル行動の精密な調整を可能にする構築的なプロセスへと変容させることができると結論付けている。