技術要約: PREUNLEARN: 大規模言語モデルのアンラーニングにおける、コラテラル・ナレッジ・ダメージ（副次的知識への影響）の監査

1. 問題提起

大規模言語モデル（LLM）における機械的アンラーニング（Machine Unlearning）は、特定の、あるいは機密性の高い、または有害な知識（「忘却セット」）を除去しつつ、モデルの一般的な有用性を維持することを目的としている。しかし、忘れるべき知識と保持すべき知識の境界線は、モデルのパラメータ内に存在する関連および遠隔情報の絡み合いにより、しばしば曖昧になる。

現在の評価手法は、集約的な有用性指標や限定的な事後プローブ（post-hoc probes）に依存することが多く、損傷の粒度高い伝播を捉えることができていない。具体的には、既存のベンチマークは固定された忘却セットを想定しており、忘却の影響がターゲットセットから同一ドメインの知識へ、さらに遠隔ドメインの知識へとどのように波及するかを十分に特徴付けていない。その結果、以下の2つの重要な問いが未探索のまま残されている：

1. RQ.1: アンラーニングの影響は、忘却セット $X$ から、同一ドメインおよび遠隔ドメインの知識 $Y$ へどのように伝播するか？
2. RQ.2: アンラーニングを実行する前に、$X$ のアンラーニングによって生じる可能性のある知識 $Y$ への副次的ダメージを予測できるか？

2. 手法

2.1 三層アンラーニング影響フレームワーク

著者らは、忘却セット $D_f$ に対する事後アンラーニングの知識劣化を、以下の3つのセマンティック・レイヤー（意味論的階層）に整理したデータ中心の評価フレームワークを提案している：

• L1 (意図された劣化): 忘却セット $D_f$ 自体に対するパフォーマンス。
• L2 (同一ドメインへのダメージ): 忘却ドメインに意味的に近い、保持されたパッセージに対するパフォーマンス。
• L3 (遠隔ドメインへのダメージ): 他の、無関係な意味ドメインからのパッセージに対するパフォーマンス。

この影響は、パープレキシティ（PPL）比率を用いて定量化される：$R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$。ここで、$M^*_\theta$ はアンラーニング後のモデル、$M_\theta$ は元のモデルである。比率が $1.0$ を超える場合は、パフォーマンスの低下を示す。

2.2 実験設定

• データセット: WikiText-103を使用し、10個の明確に分離されたセマンティック・クラスターに処理。それぞれが互いに素な忘却分割と保持分割を含む100個のアンラーニング・データセットを構築した。
• モデル: Llama-3.1-8B-Instruct および Qwen2.5-7B-Instruct。
• アルゴリズム: 以下の3つの異なるアンラーニング手法を評価した：
  • 勾配上昇法 (Gradient Ascent, GA)
  • ネガティブ選好最適化 (Negative Preference Optimization, NPO)
  • 調整済みロジットによる自己蒸留を用いたアンラーニング (Unlearning via Self-Distillation on Adjusted Logits, UNDIAL)

2.3 事前アンラーニング監査の定式化

本論文では、「忘却セットの監査」を教師あり回帰問題として定式化している。目標は、候補となる忘却セット ($D_f$) と評価セット ($D_e$) のペアに対して、モデルの更新が行われる前に、副次的ダメージ比率 ($\rho_{f,e}$) を予測することである。

• 目的変数: $\rho_{f,e} = \frac{\log(\text{PPL}_{after, e} / \text{PPL}_{before, e})}{\log(\text{PPL}_{after, f} / \text{PPL}_{before, f})}$。これは、評価セットにおける劣化を、達成された忘却強度によって正規化したものである。
• 入力特徴量: オーディター（監査器）は、更新前の特徴量 ($\phi(D_f, D_e, M_\theta)$) のみを使用し、勾配、チェックポイント、または事後アンラーニングの測定値にはアクセスしない。特徴量は以下に分類される：
  1. 固有特徴量 (Intrinsic Features): $D_f$ および $D_e$ がそれぞれ独立して持つ特性（例：長さ、多様性、次元数）。
  2. 相互作用特徴量 (Interaction Features): 両セット間の幾何学的関係（例：重心ユークリッド距離、コサイン類似度、語彙比率）。
• モデル: リッジ回帰、ランダムフォレスト、および XGBoost を用いて $\rho_{f,e}$ を予測するために学習を行った。
• 評価: 特定のドメインのアイデンティティを超えた汎化性を確保するため、Leave-One-Domain-Out (LODO) 交差検証および完全なホールドアウト・セマンティック・ドメイン・テストを用いてオーディターをテストした。

3. 主な結果

3.1 三層影響パターン (RQ.1)

• 減衰パターン: すべてのモデルおよびアルゴリズムの組み合わせにおいて、一貫した減衰パターンが観察された：$L1 > L2 > L3$。アンラーニングの影響は、忘却セットで最も強く、同一ドメインの知識では弱まり、遠隔ドメインの知識では最も弱くなる。
• アルゴリズム依存性: ダメージの大きさはアルゴリズムによって大きく異なる。勾配上昇法 (GA) は最も強力な影響（最大 $12.85\times$ のPPL比率増加）を生じさせた一方、NPO と UNDIAL は $1.05\text{--}1.65\times$ の範囲内に留まった。
• 忘却セットの変動性: ハイパーパラメータとアルゴリズムを固定しても、異なる忘却セットは大幅に異なる影響プロファイルを引き起こす。この変動は、忘却セットの選択自体が極めて重要な設計上の決定であることを示唆している。
• 分布の分離: L1、L2、および L3 の劣化分布は明確に分離されているが、L3 には「右側の裾（right tail）」が存在し、遠隔ドメインに対しても深刻な副次的ダメージが発生し得ることを示している。

3.2 事前アンラーニング監査の性能 (RQ.2)

• 予測可能性: 監査タスクは実行可能である。最良の回帰器は、LODO 交差検証において最大 0.93 (GA) および 0.90 (UNDIAL) のスピアマン順位相関係数 ($\rho$) を達成した。より困難な NPO オブジェクトティブにおいても、性能は情報量として有効であった ($\rho \geq 0.51$)。
• 特徴量の重要性: 最も強力な予測シグナルは、忘却セットと評価セットの間の相互作用特徴量であり、具体的には以下である：
  • 重心ユークリッド距離（ダメージとの負の相関）。
  • 重心コサイン類似度（ダメージとの正の相関）。
  • セット間の語彙および長さの比率。
  • セット単独の固有特性は、それらの幾何学的関係よりも予測力が低かった。
• 安定性: オーディターのランキング品質は異なるアンラーニング・アルゴリズム間でも安定しており、これは副次的ダメージが、データ間の既存の幾何学的結合によって部分的に決定されていることを示唆している。
• 感度: オーディターは評価セットのリスク構成の変化に正しく反応し、ランダムなノイズに反応するのではなく、高リスクと低リスクのブロックを識別できた。

4. 意義と主張

本論文は、忘却セットの監査を、完全な評価の代替ではなく、早期警告ツールとして位置づけている。その主な貢献と意義は以下の通りである：

1. 粒度の高い特性把握: アンラーニングによるダメージはターゲットに限定されず、意味的距離に応じて減衰し、ドメインの境界を越えても持続することを、三層フレームワークによって確立した。
2. 先行的リスクスクリーニング: 高価なアンラーニング最適化を実行する前に、データの幾何学（相互作用特徴量）のみを用いて、副次的ダメージを予測できることを示した。
3. 実用的なトリアージ: オーディターを用いることで、実務者がリスクの高いアンラーニング実行を優先したり、脆弱なドメインへの保持データ予算を割り当てたり、あるいはパイプラインの早い段階で高リスクな忘却セット候補を拒否したりすることを可能にする。
4. データ中心の洞察: 副次的ダメージは、アンラーニング・アルゴリズムのメカニズムだけでなく、忘れるべきデータと保持すべきデータの間の幾何学的関係に大きく影響されるという事実を示唆している。

著者らは、本研究がアンラーニング・アルゴリズムとモデルのサブセットを対象としていること、およびパープレキシティが行動的な劣化のプロキシ（代理指標）であることなどの限界についても謙虚に述べている。結論として、オーディターは最終的な評価を置き換えるものではないが、プロセスを純粋な事後測定から、より安価でリスクに基づいたランキング問題へと変貌させるものであるとしている。