技術要約：バイナリ報酬を超えて：強化学習によるアンラーニングにおける報酬設計の比較研究

問題提起

機械学習アンラーニング（Machine Unlearning: MU）は、学習済み大規模言語モデル（LLM）から特定の知識（例：個人データ、著作権物）を選択的に削除することを目指すものである。これは、フル再学習に伴う膨大なコストを回避するために不可欠な技術であり、GDPRやEU AI法などの規制によってその能力がますます求められている。

近年のアプローチでは、アンラーニングを「検証可能な報酬を用いた強化学習（Reinforcement Learning with Verifiable Rewards: RLVR）」、具体的にはグループ相対方策最適化（Group Relative Policy Optimization: GRPO）を用いた問題として定式化している。このフレームワークでは、禁止された概念の不在を検証するために、出力から直接計算される報酬に対してモデルを最適化する。しかし、PURGEのような既存の手法は、スパースなバイナリ報酬に依存している。これらの報酬は、生成された内容に禁止項目が「一つも含まれない」場合にのみ1を返し、それ以外の場合は0を返す。このスパース性はノイズの多い学習信号を生み出し、生成された回答がアンラーニングの成功に対して「どの程度近いか」という情報（勾配情報）をモデルに提供できない。この制限が、強化学習によるアンラーニング（Reinforcement Unlearning: RUL）をより複雑なタスクへとスケールさせる際のボトルネックとなり、収束を遅らせる要因となっている。

手法

著者らは、**検証可能性（verifiability）とスパース性（sparsity）**を切り離すための原理的なフレームワークを提案している。彼らは、報酬は（元の学習データにアクセスすることなく計算可能であるという点で）完全に検証可能でありながら、高密度で情報量の多い信号を提供できると主張している。

1. 報酬分解フレームワーク

本論文では、$\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$ と定義される汎用的な報酬構造を導入する。

• 情報コンポーネント ($I$): 禁止一致オペレータ（禁止項目の出現回数のカウント）および補助的なサイド情報（例：意味グラフ）からデータを抽出する。
• 変換関数 ($\Gamma$): 抽出された情報を報酬範囲 $[0, 1]$ にマッピングする。
• 仮説: 情報コンポーネントと変換関数を変化させることで、検証可能性を損なうことなく、より密度の高い学習信号を作成できる。

2. 提案される報酬関数

著者らは、標準的なバイナリ報酬よりも高い「情報の階層（Information Hierarchy）」に位置する2つの新しい報酬関数を、このフレームワークを用いて実装している。

• 指数関数的報酬 (Exponential Reward):

  • メカニズム: 禁止概念の総出現回数 ($m$) を情報コンポーネントとして使用する。
  • 数式: $\phi_{exp}(y) = \exp(-m/\tau)$、ここで $\tau$ は減衰定数である。
  • 効果: 段階的なペナルティを提供する。単なるバイナリの0/1ではなく、違反の数が増えるにつれて報酬が滑らかに減少するため、バイナリのベースラインよりも密度の高い信号を提供する。

• PageRankに着想を得た報酬 (PageRank Inspired Reward):

  • メカニズム: 禁止概念間の意味的な関係性を活用する。禁止項目をノードとし、エッジに（埋め込みのコサイン類似度による）意味的類似性を設定した意味グラフを構築する。
  • 数式: 主要なターゲットエンティティに偏ったパーソナライズドPageRankアルゴリズムを適用し、各項目の重要度重み ($w_j$) を計算する。この報酬は、これらの重みに基づいて違反に対してペナルティを課す。
  • 効果: 意味的に中心的な概念（例：ターゲットとなるエンティティ自体）の違反に対して、周辺的な関連事項よりも高いペナルティを割り当てる。これにより、最も情報量の多い違反へと最適化を導く信号が生成される。

3. 理論的分析

本論文では、GRPOにおける収束速度の理論的分析を行っている。提案手法は、密な報酬がバイナリ報酬と比較して、より安定したアドバンテージ推定（アドバンテージ項 $\hat{A}$ における低分散）を維持すると仮定している。

• バイナリ報酬: 成功確率が0または1に近づくと「アドバンテージの崩壊（advantage collapse）」が発生し、勾配消失を招く。
• 密な報酬: 学習を通じて報酬分布の非ゼロの分散を維持するため、より大きな有効ステップサイズと高速な収束を可能にする。

実験設定

• ベンチマーク: 100人の実在する著名人に関するアンラーニングを評価する、Real World Knowledge Unlearning (RWKU)。
• モデル: Phi-3-Mini-4K-Instruct (3.8B パラメータ)。
• ベースライン:
  • Base: アンラーニング前の元のモデル。
  • Binary (PURGE): 標準的なスパース・バイナリ報酬。
• 指標:
  • Forget (忘却): 空所補充 (FB)、質問応答 (QA)、敵対的攻撃 (AA) におけるROUGE-Lのリコール。低いほど良い。
  • Neighbor (隣接知識): ターゲットに隣接する知識の保持。高いほど良い。
  • MIA: メンバーシップ推論攻撃スコア（プライバシー）。
  • Utility (有用性): 一般的な能力（MMLU、推論、真実性など）。高いほど良い。

主な結果

20個のアンラーニングターゲットに対し、1,500ステップの学習を実施した。

1. 収束速度: 両方の提案報酬は、学習効率の面でバイナリのベースラインを大幅に上回った。

   • PageRank Softmax バリアントは、バイナリのベースラインと同じレベルの忘却性能に到達するのに、約3倍少ない学習ステップで到達した。
   • ステップ500において、PageRank Softmaxはベースラインに対して37.1%の改善を達成したが、バイナリのベースラインがその閾値に達するのはステップ1,500になってからであった。

2. アンラーニング性能:

   • PageRank Softmax は、すべての指標（FB, QA, AA）において最強の忘れる性能を示し、バイナリおよび指数減衰のベースラインを一貫して上回った。
   • Exponential Decay もバイナリのベースラインを改善するが、PageRankと比較すると一般的に効果は劣る。

3. 有用性と隣接知識の保持:

   • 決定的なことに、この効率性の向上は、モデルの一般的な有用性や隣接知識の保持を犠牲にすることなく達成された。有用性指標（GA, RA, TRU, FAC, FLU）は、すべての報酬設計において安定しており、ベースラインモデルからの変化は最大でも0.014であった。
   • 隣接スコアはすべての手法で一様に低下しており、このトレードオフは報酬設計そのものではなく、最適化の目的関数によって駆動されていることを示している。

4. アブレーション研究:

   • Exponential Decay: 減衰定数 $\tau$ が極めて重要である。$\tau=0.5$ が、勾配の情報性と最適化の圧力のバランスをとる上で最適であることが判明した。$\tau$ が小さすぎると（$\tau=0.1$）、ほぼバイナリに近いスパース性に逆戻りし、大きすぎると（$\tau \ge 1.0$）、寛容になりすぎる。
   • PageRank バリアント: 生のPageRankスコアに温度スケール付きのソフトマックスを適用する Softmax バリアントは、標準的なPageRankやLinearバリアントよりも優れた性能を示した。Softmaxは、重みの冪乗則分布を効果的に平坦化し、意味的な順序を維持しながらペナルティの質量をより均等に分散させる一方で、Linearスケーリングは歪みを生じさせた。

意義と主張

本論文は、報酬設計が強化学習によるアンラーニングの効率における主要なドライバーであると主張している。

• 理論的貢献: 報酬の誘導バイアス（inductive bias）と最適化速度の間のトレードオフを定式化し、検証可能性が必ずしもスパース性を必要としないことを示した。
• 実用的影響: ExponentialおよびPageRank報酬を導入することで、著者らは、スケーラブルで効率的な機械学習アンラーニングへの実用的な道筋を提供した。結果として、強力な忘却性能を維持しながら、アンラーニングプロセスを最大3倍加速できることが示された。
• 今後の方向性: 本研究は、元の学習データにアクセスせずに検証可能な、適応型報酬への道を開いており、「報酬の情報階層」がさらに探索可能であることを示唆している。

著者らは、バイナリ報酬を超えていくことは、単なる実装上の微調整ではなく、学習信号の構造における根本的な改善であり、これによりRULをより困難なアンラーニングタスクへとスケールさせることが可能になると結論づけている。