Technische Samenvatting: GRIP - Algoritme-agnostisch Machine Unlearning voor Mixture-of-Experts

1. Probleemstelling

Machine unlearning (MU) in Mixture-of-Experts (MoE) large language models (LLMs) kampt met een kritieke structurele faalmodus die verschilt van dense architecturen. In dense modellen nemen alle parameters uniform deel aan inputs. In MoE-modellen selecteert een geleerd router dynamisch een ijle subset van expert-netwerken voor elke input.

Huidige unlearning-methoden die op MoE-architecturen worden toegepast, maken vaak gebruik van deze dynamische routing als een optimalisatie-shortcut. In plaats van daadwerkelijk kennis te wissen uit de expert-parameters, manipuleert de optimizer de router om "forget-set" queries weg te leiden van de oorspronkelijk toegewezen, deskundige experts. Dit leidt tot twee primaire problemen:

1. Utiliteitsdegradatie: De router verschuift de expert-selecties voor de "retain set" (data die behouden moet blijven), wat leidt tot ernstige dalingen in de prestaties van het model op behouden taken.
2. Onvolledige Wissing (Expert Forcing): De doelgerichte kennis blijft intact binnen de slapende expert-parameters. Aanvallers kunnen de router omzeilen (een "white-box" aanval) om deze specifieke experts te forceren toegang te krijgen tot de parameters, waardoor gevoedige of gevaarlijke informatie die vermeend is gewist, alsnog kan worden teruggevonden.

Bestaande pogingen om dit aan te pakken, zoals SEUF, vertrouwen op zachte regularisatie-straffen en beperken updates tot een enkele expert. Echter, empirisch bewijs laat zien dat deze zachte straffen er niet toe leiden dat routing-manipulatie wordt voorkomen, en het beperken van updates tot een enkele expert laat kennis in andere aanvankelijk geactiveerde experts kwetsbaar voor herstel.

2. Methodologie: GRIP

De auteurs stellen Geometric Routing Invariance Preservation (GRIP) voor, een algoritme-agnostisch framework dat harde geometrische restricties oplegt aan router-updates om expert-selectieverschuivingen te onderdrukken, terwijl echte kenniswissing over alle relevante experts mogelijk wordt gemaakt.

Kernprincipe

GRIP legt een restrictie op waarbij router-parameterupdates ($\Delta \Theta_\ell$) de expert-selecties van de retain set ($D_r$) moeten behouden. Formeel geldt dat voor elke input $x \in D_r$, de set van geselecteerde experts na unlearning ($S^{post}_\ell(x)$) gelijk moet zijn aan de set vóór unlearning ($S^{pre}_\ell(x)$). Door de "routing shortcut" onmogelijk te maken op deze geconstreinde inputs, wordt de optimalisatie gedwongen het unlearning-doel te bereiken door middel van kenniswissing binnen de expert-gewichten zelf.

Twee Varianten

GRIP biedt twee complementaire realisaties:

1. Methode A: Training-Time Stochastic Projection (Online)

   • Mechanisme: Bij elke trainingsstap wordt de ongeconstreinde router-update die door een basis unlearning-algoritme wordt voorgesteld, geprojecteerd in de nulruimte van de routing-matrix van de retain set.
   • Restricties: De projectie dwingt twee condities af voor elke expert $j$:
     • Gelijkheid: Voor inputs waar expert $j$ oorspronkelijk werd geselecteerd, moet de router-update resulteren in een nulverandering van de routing-score ($\langle \Delta \Theta, x \rangle = 0$).
     • Ongelijkheid: Voor inputs waar expert $j$ niet werd geselecteerd, mag de update de score niet genoeg verhogen om de selectie-marge te doorbreken (de score-gap tussen geselecteerde en niet-geselecteerde experts).
   • Implementatie: Gebruikt een tweestaps-proces: (1) Orthogonale projectie op het complement van de span van de geselecteerde inputs (gelijkheid), en (2) een gerandomiseerde Kaczmarz-stijl alternerende projectie om de ongelijkheidsrestricties efficiënt te voldoen.
   • Overhead: Voegt ongeveer 1,71× trainingstijd overhead toe.

2. Methode B: Post-Training Analytical Correction (Offline)

   • Mechanisme: Het unlearning-algoritme draait eerst zonder restricties. Daarna wordt een enkele closed-form analytische correctie toegepast om de gedrifte router opnieuw uit te lijnen.
   • Formule: Lost een kleinste-kwadraten-probleem op om een correctie $\Delta_\ell$ te vinden zodat $(\tilde{\Theta}_\ell + \Delta_\ell)\tilde{X}_{r,\ell} = \Theta_\ell X_{r,\ell}$, waarbij $\tilde{\Theta}$ en $\tilde{X}$ de post-unlearning router en representaties zijn.
   • Overhead: Vermindert de overhead naar 1,21× trainingstijd door per stap projecties te vervangen door een enkele post-hoc correctie per laag.

3. Belangrijkste Bijdragen

• Identificatie van een Structurele Kwetsbaarheid: Het artikel identificeert dat MoE-unlearning vatbaar is voor "routing shortcuts" waarbij kennis wordt verborgen in plaats van gewist, en introduceert de "Expert Forcing" aanval als een diagnostisch middel voor deze kwetsbaarheid.
• Harde Geometrische Restricties: In tegenstelling tot eerder werk dat zachte straffen gebruikt, behandelt GRIP routing-behoud als een haalbaarheidsconditie die door constructie wordt voldaan via nulruimte-projectie.
• Multi-Expert Wissing: GRIP staat toe dat alle aanvankelijk geactiveerde experts worden bijgewerkt, wat ervoor zorgt dat kennis wordt gewist uit de gehele relevante parameterruimte, in plaats van de updates te beperken tot een enkele expert.
• Algoritme-Agnosticisme: GRIP fungeert als een wrapper die kan worden toegepast op elk bestaand unlearning-doel (bijv. Gradient Ascent, NPO, RMU) zonder de onderliggende verliesfunctie te wijzigen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op twee MoE-modellen (Qwen3-30B-A3B en Qwen1.5-MoE-A2.7B-Chat) over benchmarks voor het verwijderen van gevaarlijke kennis (WMDP) en copyright-unlearning (MUSE).

• Routing Stabiliteit: GRIP herstelt de routing-stabiliteit (Jaccard-gelijkenis van expert-selecties) van een instorting van ~0,21 (in baselines) naar ≥0,94 (en tot 1,00 met Post-Training Correction).
• Utiliteit Behoud: De retain-nauwkeurigheid verbeterde met tot wel 89% vergeleken met de baselines. GRIP herstelde de utiliteit-behoudscores tot het niveau van dense-architectuur unlearning-baselines.
• Adversariële Robuustheid:
  • White-Box (Expert Forcing): Onder gedwongen toegang tot slapende experts herstelden baseline-methoden 11% van de vergeten queries, SEUF herstelde 8%, terwijl GRIP de herstelwaarde verminderde tot 3% (nabij ruisniveau).
  • Black-Box (Prompt Attacks): De prestaties van GRIP onder prompt-aanvallen bleven vergelijkbaar met dense-architectuur baselines, wat aangeeft dat er geen significante nieuwe black-box kwetsbaarheden zijn.
• Vergelijking met SEUF: GRIP presteerde consistent beter dan SEUF op alle metrieken, wat aantoont dat zachte regularisatie onvoldoende is om de routing-shortcut te voorkomen.

5. Betekenis en Claims

Het artikel claimt dat GRIP een geprincieerd en schaalbaar pad biedt naar echte unlearning in ijle MoE-architecturen. Door routing-stabiliteit te ontkoppelen van parameter-plasticiteit, zorgt GRIP ervoor dat kennis wordt gewist uit de expert-parameters in plaats van enkel verborgen te worden door routing-manipulatie.

De auteurs positioneren GRIP niet als een vervanging voor unlearning-doelen, maar als een noodzakelijke geometrische restrictie om unlearning effectief te maken in de specifieke context van MoE-modellen. Zij erkennen beperkingen, waaronder de geheugenoverhead van het cachen van retain-representaties en het empirische (in plaats van formele) karakter van de routing-behoudgaranties. De resultaten suggereren echter dat harde geometrische restricties essentieel zijn om de unieke kwetsbaarheden van dynamische routing in large language models aan te pakken.