Technisches Resümee: Replay What Matters: Off-Policy Replay für effizientes Reinforcement Unlearning von LLMs

Problemstellung

Das Unlearning von Large Language Models (LLMs) zielt darauf ab, gefährliches Wissen (z. B. urheberrechtlich geschützte Inhalte, private Informationen) aus vortrainierten Modellen zu entfernen, ohne die prohibitiven Kosten eines vollständigen Retrainings zu verursachen. Jüngste Reinforcement Learning (RL)-basierte Ansätze, wie etwa RULE, formulieren das Unlearning als das Erlernen eines Verhaltens der Verweigerung um: Das Modell wird darauf trainiert, Anfragen im Zusammenhang mit einem „Forget Set“ abzulehnen, während es gleichzeitig Antworten auf ein „Retain Set“ und ein „Boundary Set“ beibehält.

Die Autoren identifizieren jedoch eine kritische Ineffizienz in der Stage-2-On-Policy-Optimierung (speziell unter Verwendung von GRPO), die in Methoden wie RULE eingesetzt wird. Während des Trainings entsteht eine ausgeprägte Hard–Easy Disparity (Hard-Easy-Disparität):

1. Easy Cases (Einfache Fälle): Viele Prompts konvergieren schnell gegen Zustände mit hohem Reward. Die fortgesetzte Stichprobenentnahme (Sampling) dieser Prompts in späteren Trainingsstadien liefert kaum informatives Gradientensignal (Advantage $\approx 0$), verbraucht aber erhebliche Rechenressourcen.
2. Hard Cases (Schwierige Fälle): Prompts nahe der semantischen Grenze zwischen Vergessen und Behalten bleiben oft über das gesamte Training hinweg bei niedrigem Reward. In Standard-On-Policy-Settings werden die mit geringem Reward generierten Rollouts für diese schwierigen Fälle nach einem einzigen Gebrauch verworfen, obwohl sie wertvolle Informationen über die Fehlermodi des Modells enthalten.

Diese Dynamik führt zu einer suboptimalen Trainingseffizienz, bei der Rechenleistung für konvergierte „Easy Cases“ verschwendet wird, während „Hard Cases“ unteroptimiert bleiben, was potenziell die Fähigkeit des Modells beeinträchtigt, die allgemeine Nützlichkeit (Retain Quality) zu bewahren, während spezifische Ziele vergessen werden sollen.

Methodik: ReRULE

Um dies zu adressieren, schlagen die Autoren ReRULE (Replay-enhanced Reinforcement UnLEarning) vor, einen Off-Policy-Replay-Erweiterungsmechanismus, der in das RULE-Framework integriert ist.

Framework-Übersicht

ReRULE behält die zweistufige Struktur von RULE bei:

• Stage 1 (Rejection Steering): Supervised Fine-Tuning (SFT) auf einem Verweigerungsdatensatz, um das Verweigerungsvermögen des Modells vorzuwärmen (Warm-start).
• Stage 2 (Refusal Boundary Optimization): RL-basierte Optimierung zur Verfeinerung der Grenze zwischen Verweis- und Behaltensabfragen.

Die ReRULE-Pipeline

Die Kerninnovation findet in Stage 2 statt, wo ReRULE einen Replay-Buffer und ein Hybrid-Training einführt:

1. Identifizierung und Speicherung von Hard-Cases:
   Während des frühen GRPO-Trainings überwacht das System den mittleren Reward der Rollout-Gruppen, die für jeden Prompt generiert wurden. Wenn der mittlere Reward einer Gruppe unter einen vordefinierten Schwellenwert $\tau$ fällt, wird sie als „Hard Case“ klassifiziert und in einem Replay-Buffer $\mathcal{B}$ gespeichert. Dieser Buffer akkumuliert Rollouts mit niedrigem Reward, die die aktuellen Fehlermodi des Modells repräsentieren.

2. Hybrid-Training (Off-Policy Updates):
   Sobald der Buffer eine ausreichende Anzahl an Hard Cases ($|\mathcal{B} \ge B_{min}$) enthält und eine Warm-up-Phase ($t \ge T_{warm}$) abgeschlossen ist, aktiviert ReRULE ein hybrides Trainingsregime. In jedem Schritt führt es aus:

   • Standard On-Policy Update: Ein Standard-GRPO-Update unter Verwendung frischer Samples aus der aktuellen Policy $\pi_\theta$.
   • Off-Policy Replay Update: Ein zusätzliches Gradienten-Update unter Verwendung von Samples, die aus dem Replay-Buffer $\mathcal{B}$ gezogen wurden.

3. Importance Sampling:
   Um den Verteilungsdrift zwischen der Policy, die die gespeicherten Rollouts generiert hat ($\pi_{\theta_{old}}$), und der aktuellen Policy ($\pi_\theta$) zu korrigieren, verwendet ReRULE Importance Sampling. Der Off-Policy-Gradient wird berechnet als:
   $$\nabla_\theta J_{off}(\theta) = \mathbb{E}_{g \sim \mathcal{B}} \left[ \mathbb{E}_{y \sim \pi_{\theta_{old}}} \left[ \tilde{\rho}(y|x) \nabla_\theta \log \pi_\theta(y|x) \hat{A}(x, y) \right] \right]$$
   wobei $\tilde{\rho}(y|x)$ ein geclipptes und normalisiertes Importance-Gewicht ist. Dies ermöglicht es dem Modell, auf schwierigen Fällen nachzutrainieren, ohne dass ein neues, teures Sampling erforderlich ist.

Wichtigste Beiträge

1. Identifizierung von Trainingseffizienzmängeln: Die Arbeit zeigt empirisch auf, dass On-Policy-GRPO beim LLM-Unlearning unter abnehmenden Grenzerträgen bei „Easy Cases“ und einer Unterausnutzung von „Hard Cases“ leidet, was die Konvergenz behindert.
2. Vorschlag von ReRULE: Die Autoren führen einen Off-Policy-Replay-Mechanismus ein, der Rollouts von Hard-Case-Problemen speichert und diese mittels Importance-Sampling-Updates wiederverwendet. Dies lenkt den Fokus der Berechnung auf Grenzfälle, die einer weiteren Optimierung bedürfen.
3. Theoretische Analyse: Die Autoren liefern einen theoretischen Beweis, dass ReRULE im Vergleich zu reinem On-Policy-RULE eine engere Konvergenzschranke für Hard Cases liefert. Durch Erhöhung der effektiven Anzahl der Hard-Region-Trainingstoken ($N_{H}^{ReRULE} = N_{H}^{on} + \eta_\rho N_{H}^{off}$) reduziert die Methode den Explorationsfehler in der Hard-Region.
4. Empirische Validierung: Umfangreiche Experimente über drei Benchmarks (RWKU, MUSE-Books, TOFU) validieren die Effektivität der Methode.

Experimentelle Ergebnisse

Die Autoren evaluierten ReRULE gegenüber Baselines wie GA, NPO, SimNPO und dem ursprünglichen RULE über drei Datensätze hinweg:

• MUSE-Books (Urheberrechtlich geschütztes Unlearning): Dieses Szenario, das Harry-Potter-Inhalte umfasst, weist einen hohen Anteil an Hard Cases auf. ReRULE verbesserte die Retain Quality signifikant von 46,3 (RULE) auf 56,2, während es eine erstklassige Forget Quality beibehielt. Die Trainingszeit erhöhte sich nur um 5–11 % (von 6,8h auf 7,1h).
• RWKU (Real-World Knowledge): ReRULE erreichte die beste Forget Quality und hielt eine Top-2-Performance bei Forget Naturalness und Retain Quality, wobei es RULE in der Effizienz bei Hard Cases übertraf.
• TOFU (Entity Unlearning): In diesem Szenario ist das Forget Set kleiner und generell einfacher (weniger Hard Cases). ReRULE zeigte nur begrenzte Verbesserungen gegenüber RULE, was die Autoren darauf zurückführen, dass der Replay-Mechanismus am meisten von einem ausgeprägten Hard/Easy-Disparitätsverhältnis profitiert.
• Ablationsstudien:
  • Das Ersetzen der Hard-Case-Selektion durch Random Storage führte dazu, dass die Performance auf das Niveau von Standard-RULE sank, was bestätigt, dass das gezielte Anvisieren von Hard Cases entscheidend ist.
  • Die Variation des Schwellenwerts $\tau$ zeigte, dass eine zu hohe Einstellung (die auch einfachere Fälle einschließt) die Effizienz verringert, während die optimale Einstellung (0,4 für MUSE) die Balance zwischen Selektivität und Buffer-Größe hält.

Bedeutung und Ansprüche

Das Paper behauptet, dass ReRULE eine kosteneffiziente Erweiterung für RL-basiertes Unlearning bietet. Durch das Recycling von „fehlgeschlagenen“ Rollouts aus Hard Cases verbessert es die Retain Quality des unlearned Modells – eine kritische Metrik, die bei Unlearning-Aufgaben oft beeinträchtigt wird – ohne ein vollständiges Retraining oder signifikanten zusätzlichen Rechenaufwand zu erfordern.

Die Autoren betonen, dass die Methode konditional ist: Ihre Vorteile sind in Szenarien mit einer signifikanten Disparität zwischen einfachen und schwierigen Prompts (z. B. MUSE-Books) am ausgeprägtesten. In einfacheren Settings (z. B. TOFU) sind die Gewinne marginal, was die Hypothese stützt, dass der Replay-Mechanismus gezielt die Ineffizienz unteroptimierter Hard Cases adressiert. Die Arbeit positioniert ReRULE als praktischen Schritt zu effizienterem und robusterem Machine Unlearning, insbesondere zur Bewahrung der allgemeinen Modellnützlichkeit bei gleichzeitiger Entfernung spezifischen gefährlichen Wissens.