技術要約：Replay What Matters: 効率的なLLM強化学習によるアンラーニングのためのオフポリシー・リプレイ

問題提起

大規模言語モデル（LLM）のアンラーニング（知識の忘却）は、事前学習済みモデルから有害な知識（著作権コンテンツ、プライベート情報など）を除去することを目的としているが、フル再学習を行うには膨大なコストがかかる。RULEのような最近の強化学習（RL）ベースのアプローチは、アンラーニングを「拒絶行動」の学習として定式化している。すなわち、「忘却セット（forget set）」に関連するクエリに対しては拒絶するように教える一方で、「保持セット（retain set）」および「境界セット（boundary set）」に関する応答は維持させる手法である。

しかし、著者らは、RULEなどの手法で採用されている第2段階のオンポリシー最適化（具体的にはGRPO）における決定的な非効率性を指摘している。トレーニング中、顕著な**ハード・イージー格差（hard–easy disparity）**が生じる：

1. イージーなケース（Easy Cases）: 多くのプロンプトが急速に高報酬状態へと収束する。トレーニングの後半段階でこれらのプロンプトをサンプリングし続けても、有益な勾配信号（アドバンテージ $\approx 0$）はほとんど得られず、計算リソースを浪費する。
2. ハードなケース（Hard Cases）: 忘却と保持の間の意味的な境界付近にあるプロンプトは、トレーニングを通じて低報酬のまま留まることが多い。標準的なオンポリシー設定では、これらのハードなケースに対して生成された低報酬のロールアウトは、一度使用された後に破棄されてしまうが、これらにはモデルの失敗モードに関する貴重な情報が含まれている。

このようなダイナミクスは、最適化が進んだイージーなケースに計算資源が無駄に使われる一方で、ハードなケースが最適化不足のまま残されるという、不適切なトレーニング効率をもたらす。これは、モデルの汎用的な能力（保持品質：Retain Quality）を損なう可能性がある。

手法：ReRULE

これを解決するために、著者らはRULEフレームワークに統合されたオフポリシー・リプレイ強化メカニズムであるReRULE（Replay-enhanced Reinforcement UnLEarning）を提案する。

フレームワークの概要

ReRULEは、RULEの2段階構造を維持している：

• 第1段階（拒絶ステアリング：Rejection Steering）: 拒絶用データセットを用いた教師あり微調整（SFT）により、モデルの拒絶能力をウォームスタートさせる。
• 第2段階（拒絶境界の最適化：Refusal Boundary Optimization）: 忘却クエリと保持クエリの境界を洗練させるためのRLベースの最適化を行う。

ReRULEのパイプライン

核心となる革新は第2段階にあり、ここでReRULEはリプレイバッファとハイブリッド・トレーニングを導入する：

1. ハードケースの特定と保存:
   GRPOトレーニングの初期段階において、システムは各プロンプトに対して生成されたロールアウト・グループの平均報酬を監視する。グループの平均報酬が定義済みの閾値 $\tau$ を下回った場合、それは「ハードケース」と分類され、リプレイバッファ $\mathcal{B}$ に格納される。このバッファは、モデルの現在の失敗モードを表す低報酬の軌跡を蓄積する。

2. ハイブリッド・トレーニング（オフポリシー更新）:
   バッファに十分な数のハードケース（$|\mathcal{B}| \ge B_{min}$）が含まれ、ウォームアップ期間（$t \ge T_{warm}$）が完了すると、ReRULEはハイブリッド・トレーニング体制を起動する。各ステップにおいて、以下の処理を行う：

   • 標準的なオンポリシー更新: 現在のポリシー $\pi_\theta$ からの新鮮なサンプルを用いた標準的なGRPO更新。
   • オフポリシー・リプレイ更新: リプレイバッファ $\mathcal{B}$ から抽出されたサンプルを用いた追加の勾配更新。

3. インポータンス・サンプリング（重要度サンプリング）:
   ロールアウトを生成したポリシー（$\pi_{\theta_{old}}$）と現在のポリシー（$\pi_\theta$）の間の分布シフトを補正するため、ReRULEはインポータンス・サンプリングを採用する。オフポリシーの勾配は以下のように計算される：
   $$\nabla_\theta J_{off}(\theta) = \mathbb{E}_{g \sim \mathcal{B}} \left[ \mathbb{E}_{y \sim \pi_{\theta_{old}}} \left[ \tilde{\rho}(y|x) \nabla_\theta \log \pi_\theta(y|x) \hat{A}(x, y) \right] \right]$$
   ここで、$\tilde{\rho}(y|x)$ はクリップおよび正規化されたインポータンス・ウェイトである。これにより、新しい高価なサンプリングを必要とせずに、困難なケースに対して再学習を行うことが可能となる。

主な貢献

1. トレーニングの非効率性の特定: 本論文は、LLMのアンラーニングにおけるGRPOのオンポリシー学習が、イージーなケースでの収穫逓減と、ハードなケースの活用不足に苦しみ、「ハード/イージー格差」を引き起こすことを経験的に示した。
2. ReRULEの提案: 低報酬のハードケースのロールアウトを保存し、インポータンス・サンプリングを用いた更新によって再利用する、オフポリシー・リプレイメカニズムを導入した。これにより、計算の焦点をさらなる最適化を必要とする境界ケースへと転換する。
3. 理論的分析: 著者らは、ReRULEが純粋なオンポリシーのRULEと比較して、ハードケースに対してよりタイトな収束境界を提供することを理論的に証明した。ハード領域における実効的なトレーニングトークン数が増加すること（$N_{H}^{ReRULE} = N_{H}^{on} + \eta_\rho N_{H}^{off}$）により、ハード領域における探索誤差を減少させる。
4. 実験的検証: 3つのベンチマーク（RWKU, MUSE-Books, TOFU）において、本手法の有効性を検証した。

実験結果

著者らは、MUSE-Books、RWKU、TOFUの3つのデータセットを用いて、GA、NPO、SimNPO、およびオリジナルのRULEを含むベースラインと比較評価を行った。

• MUSE-Books（著作権コンテンツのアンラーニング）: ハリー・ポッターのコンテンツを含むこの設定では、ハードケースの割合が高い。ReRULEは、Forget Quality（忘却品質）においてトップクラスの性能を維持しつつ、Retain Quality（保持品質）をRULEの46.3から56.2へと大幅に向上させた。なお、トレーニング時間はわずか5–11%（6.8時間から7.1時間へ）の増加にとどまった。
• RWKU（実世界の知識）: ReRULEは最高のForget Qualityを達成し、Forget Naturalness（忘却の自然さ）とRetain Qualityの両方でトップ2の性能を維持し、ハードケースにおける効率性においてRULEを上回った。
• TOFU（エンティティ・アンラーニング）: この設定では、忘却セットが小さく、一般的に容易（ハードケースが少ない）である。ReRULEはRULEに対して限定的な改善しか示さなかった。これは、リプレイメカニズムが顕著なハード/イージー格差が存在する場合に最も有益であるという著者の仮説を裏付けている。
• アブレーション研究:
  • ハードケースの選択をランダムな保存に置き換えると、性能が標準的なRULEのレベルまで低下した。これは、ハードなケースを標的にすることが極めて重要であることを裏付けている。
  • 閾値 $\tau$ の変動実験では、閾値を高く設定しすぎると（イージーなケースを含めると）効率が低下し、最適な設定（MUSEでは0.4）が選択性とバッファサイズのバランスをとっていることが示された。

意義と主張

本論文は、ReRULEがRLベースのアンラーニングに対するコスト効率の高い強化策であることを主張している。困難なケースからの「失敗した」ロールアウトを再利用することで、アンラーニングのタスクにおいてしばしば損なわれがちな重要な指標である**Retain Quality（保持品質）**を、フル再学習や大幅な計算量の追加なしに向上させる。

著者らは、この手法が**条件的（conditional）**であることを強調している。その恩恵は、イージーなプロンプトとハードなプロンプトの間に大きな格差があるシナリオ（例：MUSE-Books）で最も顕著であり、単純な設定（例：TOFU）では利得が限定的である。これは、リプレイメカニズムが、最適化不足のハードなケースという非効率性を特に対象としているという仮説を支持している。本研究は、特定の有害な知識を除去しながら、モデルの一般的な有用性を維持するための、より効率的で堅牢なマシン・アンラーニングへの実用的な一歩として位置づけられる。