Technische Samenvatting: GROM (Gradient-Free Rapid One-Shot Machine Unlearning)

Probleemstelling

Large Language Models (LLM's) onthouden vaak gevoelige, private of auteursrechtelijk beschermde informatie uit hun trainingscorpora. Machine unlearning is het mechanisme dat vereist is om deze specifieke kennis selectief te wissen. De huidige state-of-the-art benaderingen vertrouwen op iteratieve, tijdens de training plaatsvindende unlearning via fine-tuning (bijv. gradient ascent, preference optimization of distillatie), maar deze methoden lijden onder drie kritieke inefficiënties:

1. Computationele Kosten: Zelfs met parameter-efficiënte technieken zoals LoRA vereist gradiëntgebaseerde optimalisatie meerdere epochs en backpropagation, wat duur en traag is.
2. Gebrek aan Analytische Formulering: Deze methoden missen een expliciete gesloten vorm (closed-form solution), waardoor beoefenaars gedwongen worden om stap-voor-stap gradiëntafdaling te gebruiken om een 'unlearned' staat te benaderen.
3. Oppervlakkig Vergeten: Recent werk geeft aan dat iteratieve fine-tuning doelgerichte kennis vaak slechts verbergt in kleine gewichtsaanpassingen. Bijgevolg kan het simpelweg kwantiseren van het unlearned model (bijv. naar 4-bit) veel van de inhoud die het had moeten wissen, herstellen.

Methodologie

De auteurs stellen GROM voor, een nieuwe one-shot unlearning-benadering die afstapt van iteratieve optimalisatie ten gunste van een directe, exacte analytische oplossing. De methode formuleert unlearning als een ridge-regularized least-squares optimalisatieprobleem.

Kernformulering

Gegeven een gewichtsmatrix $W \in \mathbb{R}^{m \times n}$ (specifiek de MLP down-projectie of de LM head), zoekt GROM naar een enkele additieve update $P$ waarvoor geldt: $W \leftarrow W + P$. Het doel is simultaan:

1. Behoud van Retain-gedrag: Zorgen dat de output op retain-data ($X_r$) ongewijzigd blijft ($PX_r \approx 0$).
2. Sturen van Forget-outputs: De output op forget-data ($X_f$) verschuiven naar een doel $D$ dat de gememoriseerde inhoud onderdrukt ($(W+P)X_f \approx WX_f + D$).

Dit wordt geformaliseerd als het minimaliseren van het volgende objectief:
$$\min_{P} \frac{w_r}{r} \|PX_r\|_F^2 + \frac{w_f}{s} \|PX_f - D\|_F^2 + \mu \|P\|_F^2$$
waarbij $w_r, w_f$ de wegingen zijn voor het behoud van retain en het sturen van forget, en $\mu$ een ridge-regularisatieterm is.

Gesloten Vorm Oplossing (Closed-Form Solution)

De optimizer voor dit probleem is uniek en afgeleid in gesloten vorm, waardoor iteratieve benadering volledig wordt vermeden:
$$P^* = \frac{w_f}{s} D X_f^\top A^{-1}$$
waarbij $A = \frac{w_r}{r} X_r X_r^\top + \frac{w_f}{s} X_f X_f^\top + \mu I_n$.

Belangrijke Componenten

• Gradient-Free: De update wordt berekend met enkel forward passes over de forget- en retain-data om "keys" (inputs tot $W$) te verzamelen. Geen backpropagation of convergentie-iteraties zijn vereist.
• Doelontwerp ($D$):
  • Token Onderdrukking: Voor benchmarks die generatie meten (TOFU, MUSE), stuurt $D$ outputs weg van specifieke 'gold tokens'. Een specificiteitsgewicht $\alpha_j$ wordt toegepast om alleen tokens te onderdrukken die kenmerkend zijn voor de forget-set, terwijl de utility op gedeelde vocabulaire behouden blijft.
  • Representatie Corruptie: Voor benchmarks die de nauwkeurigheid bij meerkeuzevragen meten (WMDP), corrumpeert $D$ de representatie door forget-outputs naar een vaste willekeurige richting te sturen, aangezien token-logits minder relevant zijn.
• Laalselectie: GROM gebruikt een logit-lens attributiescore ($S_\ell = F_\ell - R_\ell$) om lagen te identificeren die direct bijdragen aan de forget-specifieke token-logits. Het selecteert een aaneengesloten band van late lagen met de hoogste gemiddelde scores.
• Exacte Auditbaarheid: Omdat $P^*$ een expliciete functie is van de data, leidt het paper een methode in gesloten vorm af (met behulp van de Sherman-Morrison-Woodbury identiteit) om de exacte invloed van een enkele forget-exemplaar op de uiteindelijke edit te berekenen, wat precieze auditing van verwijderingsverzoeken mogelijk maakt.

Belangrijkste Bijdragen

1. Closed-Form Unlearning Formulering: Het paper formuleert machine unlearning wiskundig als een exact optimalisatieprobleem met een analytische oplossing in gesloten vorm, waardoor de overhead en instabiliteit van iteratieve fine-tuning wordt omzeild.
2. Gradient-Free Efficiëntie: GROM berekent optimale additieve updates met enkel gradient-free forward passes, wat het tot twee ordes van grootte sneller maakt dan gradiëntgebaseerde benaderingen (bijv. seconden vs. minuten).
3. State-of-the-Art Trade-offs: De methode bereikt Pareto-optimale forgetting-utility trade-offs over vijf benchmarks (TOFU-5%, TOFU-10%, MUSE-Books, MUSE-News, WMDP).
4. Kwantiseringsrobuustheid: In tegenstelling tot gradiëntgebaseerde baselines verwijdert de closed-form edit van GROM de doelgerichte inhoud daadwerkelijk uit de gewichten in plaats van het te verbergen. Het weerstaat aanvallen via lage-bit kwantisering die bij andere methoden de 'vergeten' inhoud zouden herstellen.

Experimentele Resultaten

De auteurs evalueerden GROM tegen een breed scala aan baselines, inclus_ief gradiëntgebaseerde methoden (GA, GradDiff, NPO, SimNPO), preference-gebaseerde methoden (IDKDPO, AltPO) en locate-then-edit editors (ROME, MEMIT, AlphaEdit).

• Snelheid: GROM past updates toe in seconden (bijv. 0,2–1,8 minuten op een NVIDIA H100), terwijl gradiëntgebaseerde baselines 2,4 tot 62,5 minuten duren. Op grotere corpora (MUSE Books) is GROM $\sim 180\times$ sneller dan SimNPO.
• Prestaties:
  • TOFU: GROM behaalt de hoogste Final Score en Model Utility (MU) op zowel de 5% als 10% splits, waarbij het de "over-forgetting" of "under-forgetting" faalmodi van andere methoden vermijdt.
  • MUSE: GROM bereikt de beste Final Score op zowel de News- als de Books-datasets. Cruciaal is dat het op MUSE Books de hoogste retain utility behoudt terwijl het letterlijke memorisatie bijna volledig elimineert.
  • WMDP: GROM behaalt de beste Final Score door een balans te vinden tussen het onderdrukken van gevaarlijke kennis en het behoud van algemene capaciteiten (MMLU), waarbij het baselines overtreft die utility opofferen voor suppressie.
  • ZsRE: Bij evaluatie in de fact-editing harness van ZeroUnlearn presteert GROM beter dan getunede locate-then-edit editors qua effectiviteit en generalisatie, terwijl de specificiteit behouden blijft.
• Kwantiseringsrobuustheid: In 4-bit kwantiserings-tests behoudt GROM lage niveaus van forget-memorization die vergelijkbaar zijn met het gouden retrained model. In contrast hiermee vertonen sterke gradiëntgebaseerde baselines zoals SimNPO een scherp herstel van gememoriseerde inhoud (bijv. de stijging van bijna-nul naar de oorspronkelijke niveaus van verbatim regurgitatie).

Betekenis en Claims

Het paper beweert dat GROM een fundamentele verschuiving in machine unlearning vertegenwoordigt door iteratieve optimalisatie te vervangen door een directe analytische oplossing. De auteurs stellen dat deze benadering:

• De Efficiëntie-bottleneck Oplost: Het maakt unlearning mogelijk op grote modellen (7–8B parameters) waar training-gebaseerde benaderingen onhaalbaar zijn op beperkte hardware.
• Echte Verwijdering Garandeert: Door inhoud uit de gewichten te verwijderen in plaats van deze te maskeren, biedt GROM een robuustere garantie tegen herstel via kwantisering.
• Auditing Mogelijk Maakt: De closed-form natuur maakt de exacte berekening van de invloed van individuele datapunten mogelijk, wat inspeelt op de behoefte aan verantwoording bij verzoeken tot gegevensverwijdering.

De auteurs positioneren GROM als de eerste one-shot methode die de unlearning-prestaties van iteratieve, optimalisatiegebaseerde methoden evenaart en overtreft, wat suggereert dat het de weg vrijmaakt voor efficiënte unlearning in scenario's waar traditionele fine-tuning onpraktisch is.