技術要約：標準的サンプリング vs. モジュール型サンプリング：信頼できるLLMアンラーニングのためのベストプラクティス

問題提起

膨大なウェブスクレイピングデータセットで学習された大規模言語モデル（LLM）は、個人データや著作権で保護されたコンテンツを含む機密情報を記憶してしまうことがよくあります。**LLMアンラーニング（LLM Unlearning）**は、一般的なモデルの有用性を維持しながら特定の知識を削除する手法として台頭していますが、この分野には、データセットの構築やサンプリング戦略に関する標準化されたエビデンスに基づくベストプラクティスが欠けています。

現在のベンチマークや手法には、主に以下の2つの欠陥があります：

1. リテインセット（保持セット）の構成： 既存の多くの研究は、単一のタイプの「ネイバーセット（隣接集合）」（忘却対象への直接的または間接的なつながり）と一般的な知識プールのみに依存しています。これは、現実世界のデータにおける複雑で多面的な関係性を反映できていません。
2. サンプリング戦略： この分野は、1:1サンプリング（1エポックあたり1つの忘却サンプルに対して1つのリテインサンプルを一致させる）やサイクリック（循環型）サンプリング（すべてのリテインサンプルを反復しながら忘却ターゲットを循環させる）といったデファクトスタンダードに大きく依存しています。これらのヒューリスティックの有効性と安定性は批判的に検証されておらず、性能のトレードオフを覆い隠したり、破滅的忘却や不安定性といった潜在的なリスクを導入したりしている可能性があります。

手法

著者らは、エンティティ・レベルのアンラーニング（特定の人物などの特定のエンティティに関するすべての知識を削除すること）に焦点を当て、LLMアンラーニングのベストプラクティスを確立するための体系的な評価を実施しました。

1. データセット構築 (拡張版 WPU)

本研究では、現実的なアンラーニングのシナリオをシミュレートするために、知名度の低い人物を特徴とする Wikipedia Person Unlearning (WPU) データセットを利用しました。著者らは、このデータセットを以下のように拡張しました：

• 直接的ネイバーセット ($N_d$): 忘却ターゲットに直接関連付けられているエンティティ（例：出生地、家族）。
• 間接的ネイバーセット ($N_{ind}$): 意味的または文脈的な関係を共有するエンティティ（例：同じ職業、歴史的時代）。これらは、ターゲットとなるエンティティの類似した職業を見つけるために LLaMA 3.3 70B モデルを使用して生成されました。
• 構文的類似性 ($N_s$): 構文的な影響を制御するため、リテインセットのQ&Aペアが忘却ターゲットと共通の疑問文の構文構造を持つようにしました。
• テストセット ($D_t$): モデルの有用性を評価するために、残りの間接的ネイバーと一般知識のサンプルをバランスよく混合したもの。

2. 実験設定

著者らは LLaMA 3.1 8B Instruct をファインチューニングし、以下の3つのアンラーニングアルゴリズムを評価しました：

• 非ターゲット型のアンラーニングのための Gradient Difference (GD) および Negative Preference Optimization (NPO)。
• ターゲット型のアンラーニングのための Direct Preference Optimization (DPO)。

彼らは、データ慣行とサンプリング戦略を組み合わせた 7つの異なる設定 を比較しました：

• データ慣行: リテインセットを「直接的ネイバーのみ」、「間接的ネイバーのみ」、または両方のバランス型の混合に制限。
• サンプリング慣行:
  • 1:1 逐次型 (1:1 Sequential): 上位のリテインサンプルを忘却サンプルに一致させる。
  • 1:1 ランダム型 (1:1 Random): エポックごとに同数のリテインサンプルをランダムに選択する。
  • サイクリック型 (Cyclic): 忘却ターゲットを反復しながら、フル・リテインプールを循環する。
  • モジュール型エンティティ・レベル・アンラーニング (MELU): 各忘却ターゲットを、その特定のエンティティに属するリテインサンプルのみとペアリングする、構造化されたサンプリング戦略。これにより、無関係なペアリングを回避します。

3. 評価指標

性能は以下の指標を用いて測定されました：

• 忘却効率 (Forget Efficacy, FE): 忘却セットにおける ROUGE-L、条件付き確率、およびコサイン類似性の算術平均の $1 - \text{値}$ として算出。
• モデル有用性 (Model Utility, MU-T): テストセットにおける上記指標の調和平均。
• トークン多様性: モデルの崩壊や退化を検出するための Distinct-N による測定。
• 一般的知識: モデルの広範な完全性を評価するための MMLU スコア。

主な貢献

1. データ慣行の批判的分析: 本研究は、単一のネイバーセットに依存することは最適ではないことを示しています。忘却効率とモデル有用性のバランスを取るためには、多様なリテインセット（直接的および間接的なネイバーの組み合わせ）が極めて重要です。
2. 1:1 サンプリングの非効率性: 著者らは、標準的な1:1サンプリング（逐次型およびランダム型）は非効率であり、不十分な忘却結果をもたらし、リテインセットの潜在能力を十分に活用できていないことを発見しました。
3. MELU の提案: 本論文は、忘却ターゲットをそれぞれのエンティティ固有のリテインサンプルと排他的にペアリングする、構造化されたサンプリング戦略である Modular Entity-Level Unlearning (MELU) を導入しています。このアプローチは、従来のサイクリック・サンプリングよりも安定しており、効果的であることが示されています。

結果

• データ構成:

  • 直接的 vs. 間接的: 勾配ベースの手法 (GD) は、直接的ネイバーを使用した場合に高い忘却効率を示しましたが、モデル有用性の著しい低下を招きました。逆に、間接的ネイバーはモデル有用性をより良く維持しましたが、勾配ベースの手法においては忘却効率が低くなる場合がありました。
  • バランス型セット: バランス型セットは、必ずしも両方の指標を同時に最大化するわけではありませんでしたが、直接的のみのセットで見られる極端な有用性の喪失を防ぐための、必要なトレードオフを提供しました。
  • トークン多様性: 間接的およびバランス型のセットは、一般的に直接的セットよりも高いトークン多様性を維持しました。直接的セットは、特に GD においてモデルの退化を招く傾向がありました。

• サンプリング戦略:

  • 1:1 サンプリング: エポック数に関わらず、すべてのアルゴリズムにおいて意味のある忘却を生み出すことに一貫して失敗しました。
  • サイクリック型 vs. MELU: 両者とも 1:1 サンプリングを大幅に上回りました。
  • MELU の優位性: MELU は優れた安定性を示しました。DPO の下で、MELU はサイクリック・サンプリングと比較して、高いモデル有用性を維持しながら忘却効率を 12% 向上させました。困難なターゲット（例：「Ted Kooser」）において、MELU は 0.50 を超える忘却効率を達成しましたが、1:1 サンプリングは 0.10 未満でした。
  • 安定性: MELU は、無関係な忘却・リテイン・ペアによる分散を減少させることで、より一貫した学習信号を提供し、安定した MMLU スコアとトークン多様性をもたらしました。

意義と主張

本論文は、リテインセットの構成とサンプリング戦略の選択が、LLMアンラーニングにおいて極めて重要でありながら、しばしば見落とされている要因であることを主張しています。著者らは以下の通り述べています：

• 単一のネイバーセットや標準的な1:1サンプリングに依存することは、隠れたリスクと性能の天井を導入します。
• 提案された MELU 戦略は、堅牢なアルゴリズムと組み合わせることで、効果的なアンラーニングへの明確かつ安定した道筋を提供します。
• 本研究は、エビデンスに基づいたベストプラクティスの初期段階を提供し、コミュニティが単純なヒューリスティックではなく、より多様で現実的なベンチマークデータセットと構造化されたサンプリング技術へと移行することを促します。

著者らは、データセット生成に「姉妹モデル」を使用していること（モデルファミリー間の汎用性に制限を与える可能性がある）や、サイクリック・サンプリングに対する MELU の安定性の背後にある理論的な理由への深い掘り下げが不足していることなど、限界を認めつつも、主張に対して謙虚な姿勢を保っています。彼らは、この研究を、将来のアンラーニング研究のための厳格なプロトコルを確立するための一歩として位置付けています。