技術要約：LLMのアンラーニングのための脱属性化（DareU）

1. 問題提起

大規模言語モデル（LLM）の急速な普及に伴い、知的財産の侵害、プライバシー情報の漏洩、有害なコンテンツを含む、不適切な学習データの使用に関する懸念が強まっています。GDPRやCCPAなどの規制は「忘れられる権利」を強制しており、学習済みモデルから特定のデータの影響を除去することを求めています。モデルを一から再学習することが理想的な解決策ですが、現代のLLMやデータセットの規模を考えると、計算コストが極めて高く、現実的ではありません。

既存の機械学習アンラーニング（Machine Unlearning）の手法は、主に予測損失ベースの最適化に依存しており、通常は「忘却セット（forget set）」（削除すべきデータ）に対する損失を最大化する勾号上昇法（Gradient Ascent: GA）を採用しています。本論文は、これらの手法における2つの決定的な限界を指摘しています：

1. 過剰な忘却とモデルの崩壊： 単純に損失を最大化したり対数尤度を最小化したりすると、単に忘却セットを無視するだけの機能的なモデルになるのではなく、支離滅裂で意味不明な生成（gibberish）に至ることがよくあります。
2. 一貫性のない最適化ターゲット： 完全にアンラーニングされたモデルのターゲット損失値は、個々のデータサンプルによって異なります（再学習されたモデルの対数尤度の変動として示される通り）。その結果、損失を最大化することは一貫した精密な目的を提供できず、しばしば「保持セット（retain set）」（保持すべきデータ）に対する性能を低下させます。

提示される中心的な問いは、過剰な忘明を避けつつ、データの影響を効果的に除去できる、より精密な最適化目的関数が存在するかどうかです。

2. 手法：DareU フレームワーク

著者らは、LLMのアンラーニングを予測損失の最小化問題ではなく、データ脱属性化（data de-attribution）問題として定式化した最初のフレームワークであるDareU（Data Attribution-based REinforcement Learning for Unlearning）を提案します。

コア概念：データ脱属性化

DareUは、予測損失を最大化するのではなく、LLMが生成した応答に対するデータ所有者への**属性スコア（attribution score）**を減少させることを目的としています。

• 属性関数（Attribution Function）： 関数 $DA(i, y_d)$ は、データ所有者 $i$ のデータセットが生成 $y_d$ に影響を与えた可能性を示す正規化されたスコア $\in [0, 1]$ を割り当てます。
• 目的： 所有者 $F$ に属する忘却セット $D_F$ に対して、期待属性スコアを最小化することを目指します：
  $$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$$
  理想的には、アンラーニング後、忘却データに対する属性スコアは0に近くなり、一方でモデルは保持セットの所有者に対しては依然として属性を持つ状態になります。これは、すべてのサンプルに対して一貫したターゲット値（0）を提供し、崩壊した意味不明な出力に偏ることを防ぎます。

強化学習（PPO）による実装

属性関数はスカラーのフィードバックを提供するため、強化学習（RL）の報酬モデルとして自然に機能します。著者らは、LLMを整列（align）させるために**近接方策最適化（Proximal Policy Optimization: PPO）**を採用しています：

1. 報酬シグナル： 報酬は属性スコアから導出されます。安定性を高めるため、スコアは対数ベースの関数 $\chi$ を通じて変換され、確率を $[-1, 0]$ の範囲にマッピングします。ここで、属性スコアが低いほど高い報酬が得られます。
2. 効率的な報酬計算： すべてのトークンに対して属性関数を呼び出す高い計算コストを避けるため、属性スコアは $\kappa$ トークンごとに計算され、その間のトークンにブロードキャストされます。分散を抑えるために、プレフィックス平均ベースの報酬が計算されます。
3. 蒸留による正則化： 保持セット（$D_R$）に対するモデルの有用性を維持するために、蒸留正則化項が追加されます。この項は、現在のアンラーニング済み方策と、保持セットにおける元の方策との間のKLダイバージェンスを最小化し、非忘却データに対する破滅的な忘却を防ぎます。
4. 属性分類器（$D_{Ac}$）： 理想的な属性関数（例：Leave-One-Out、シャプレー値）は計算コストが高いため、著者らは生成された応答のデータ所有者を予測する軽量なLLM分類器（LoRAを使用）を訓練します。この分類器はアンラーニングの前にオフラインで訓練され、PPOプロセス中は固定されます。

3. 主な貢献

1. 新しい最適化目的： 本論文は、LLMのアンラーニングのための精密な目的としてデータ脱属性化を導入し、予測損失ベースの手法における不整合性と不安定性の問題に対処しました。
2. DareU フレームワーク： 著者らは、PPOの設定内でデータ属性報酬を利用する最初のアンラーニング・フレームワークを提案しました。これは、忘却の質（影響の除去）とモデルの有用性（保持データの性能維持）のトレードオフを効果的にバランスさせます。
3. 実証的検証： 広範な実験により、DareUが既存のベースライン（GA、GDiff、SCRUB、およびIDKやNPOのような選好最適化手法を含む）と比較して、モデルの有用性を大幅に低下させたり意味不明なテキストを生成したりすることなく、効果的なアンラーニングを実現できることを示しました。

4. 実験結果

フレームワークは、Llama2-7BおよびQwen3-8Bモデルを用い、2つのベンチマーク（TOFU：質問回答、ArXiv：テキスト補完）で評価されました。

• アンラーニングの有効性： DareUは、両方のデータセットにおいて、再学習（Retraining）というゴールドスタンダードに最も近いDF（忘却セット）のROUGEスコアを達成し、優れた忘却の質を示しました。
• モデルの有用性： 過剰な忘却（低いDR ROUGE）に陥ることが多い勾配上昇法（GA）やGDiffとは異なり、DareUは保持セット（$D_R$）およびテストセット（$D_{test}$）において高いROUGEスコアを維持しました。
• バランス（ToWスコア）： DareUは、忘却、保持、およびテストの各セットにおけるアンラーニング済みモデルと再学習済みモデルの差を集計した指標であるTug-of-War (ToW) スコアにおいて最高値を記録しました。これにより、DareUが忘却の質と有用性のバランスを他のどのベースラインよりも良く取れていることが確認されました。
• 堅牢性：
  • 意味不明な生成の減少： DareUは、GAやSCRUBと比較して、支離滅裂または意味不明な応答を大幅に少なく生成しました。
  • 敵対的堅牢性： パラフレーズされた忘却クエリや、忘却セットと保持セットの間の意味的な重複に対しても、有効性を維持しました。
  • 分類器の精度： 属性分類器の精度を人工的に低下させた場合でも、フレームワークは堅牢性を保ちました。
• 効率性： DareUは、RLによる生成を行うため、単純な予測損失ベースの手法よりも計算コストがかかりますが、フル再学習と比較すれば大幅に効率的であり、SCuReNewtonのような二次の最適化手法とも同等のレベルです。

5. 意義と主張

本論文は、DareUがLLMのアンラーニングに対して、より精密で安定した最適化の視点を提供すると主張しています。フォーカスを「誤差の最大化」から「属性のゼロ化」へとシフトすることで、勾配上昇法に内在するモデル崩壊や一貫性のないターゲットといった落とし穴を回避しています。

著者らは、効率的な近似として軽量な分類器を使用しているものの、核心的な貢献は脱属性化の目的関数自体にあると強調しています。このアプローチは、損失ベースの手法の可変なターゲットに対し、すべての忘却サンプルに対して一貫したターゲット（スコア0）を提供するため、理論的に優れていると断言しています。

認められた限界事項：

• 計算コスト： DareUは単純なファインチューニングやGAよりも計算コストが高いですが、より優れたパフォーマンスを得るための正当なトレードオフを提供します。
• 属性への依存： この手法は、属性分類器を訓練するために学習データ（またはそのサブセット）へのアクセスを必要とします。これは、アクセス不可能な事前学習データの削除への適用を制限する可能性があります。
• 近似： 分類器の使用は近似です。今後の研究では、性能をさらに向上させるために、より正確で効率的な属性関数を統合できる可能性があります。

結論として、本論文はDareUを、膨大な再学習コストを必要とせずに、LLMの有用性を維持しながらデータの影響を効果的に除去し、「忘れられる権利」を遵守するための最先端のソリューションとして位置付けています。