Multi-Objective Reference-Aligned Machine Unlearning

Technische Samenvatting: Multi-Objective Reference-Aligned Machine Unlearning (RAUL)

Probleemstelling
Machine unlearning (MU) beoogt de invloed van specifieke trainingsvoorbeelden (de "forget set", $F$) te verwijderen uit een ingezet model, terwijl de prestaties op de resterende gegevens (de "retain set", $R$) behouden blijven. Bestaande benaderingen die gebruikmaken van benaderingen vertrouwen doorgaans op single-objective optimalisatie, zoals gradient ascent (het maximaliseren van de loss op $F$) of random relabeling. De auteurs stellen dat deze benaderingen catastrofaal vergeten (catastrophic forgetting) induceren omdat de optimalisatiedynamiek van "vergeten" (het afstoten van correcte voorspellingen) conflicteert met "behoud" (het behouden van correcte voorspellingen op $R$). Dit conflict zorgt ervoor dat het model afwijkt van zijn vooraf getrainde kennis, wat resulteert in een aanzienlijk verlies aan bruikbaarheid op de retain set.

Methodologie: Reference-Aligned UnLearning (RAUL)
Het artikel stelt RAUL voor, een multi-objective optimalisatie (MOO) raamwerk dat unlearning herformuleert als een gezamenlijke optimalisatie van vergeten en behoud, in plaats van een enkelvoudige adversariële taak.

1. Doelstelling Formulering:

   • Retention Objective ($L_{retain}$): Standaard cross-entropy minimalisatie op de retain set $R$ om de bruikbaarheid van het model te behouden.
   • Reference-Based Forgetting Objective ($L_{forget}$): In plaats van de loss op $F$ te maximaliseren, minimaliseert RAUL de Kullback-Leibler (KL) divergentie tussen de voorspellingen van het model op $F$ en een referentieverdeling ($p_{ref}$) die een "onbekende" verdeling representeert. Dit stemt de zekerheid van het model op vergeten samples af op hoe het zou reageren op data die het nog nooit is tegengekomen.
     $$\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$$

2. Referentieverdelingsstrategieën:
   Het artikel introduceert twee strategieën om $p_{ref}$ te instantiëren:

   • Uniform Distribution (UniDist): Stelt $p_{ref}(y) = 1/C$ (waarbij $C$ het aantal klassen is). Dit fungeert als een principieel baseline die geen extra data vereist, en stimuleert maximale onzekerheid op vergeten samples. Het minimaliseren van de KL naar een uniforme verdeling is gelijk aan het maximaliseren van de voorspellingsentropie.
   • Held-out Distribution (HeldDist): Berekent een empirische referentieverdeling vanaf een disjuncte, onbekende dataset ($D_{ref}$) die geen deel uitmaakte van de oorspronkelijke training, validatie of test-sets. Dit biedt een stabiel anker dat het gedrag van werkelijk onbekende data nabootst, wat potentieel een betere retentie-stabiliteit biedt.

3. Optimalisatie via Jacobian Descent:
   Het probleem wordt behandeld als een bi-objective optimalisatie: $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$. Om dit op te lossen zonder handmatig de doelstellingen te wegen (wat kan leiden tot conflicterende gradiënten), gebruikt de auteur Jacobian descent met de UPGrad (Unconflicting Projection of Gradients) aggregator.

   • De gradiënten van de twee doelstellingen ($g_R$ en $g_F$) worden gestapeld in een Jacobian-matrix.
   • UPGrad projecteert elke gradiënt op de duale kegel van alle doelstelling-gradiënten en middelt deze.
   • Deze aggregatie vindt een Pareto-stationair punt waar de update-richting niet één doelstelling verhoogt terwijl de andere wordt verlaagd, wat het gradiëntconflict effectief oplost.

Belangrijkste Bijdragen

• Herformulering van Unlearning: Verschuift het paradigma van adversariële loss-maximalisatie naar referentie-afgestemde voorspelling, waarbij de forgetting-doelstelling wordt beperkt om modeldrift te voorkomen.
• Multi-Objective Raamwerk: Modelleert expliciet de spanning tussen vergeten en behoud als een bi-objective probleem, dat wordt opgelost via Pareto-stationaire optimalisatie (Jacobian descent) in plaats van lineaire scalarisatie.
• Referentiestrategieën: Stelt twee verschillende referentieverdelingen voor (Uniform en Held-out) om het forgetting-gedrag te controleren, wat een afweging biedt tussen data-vrije implementatie en retentie-stabiliteit.
• Stabiele Optimalisatie: Demonstreert dat het vervangen van onbegrensde loss-maximalisatie door begrensde KL-alignment de gradiëntconflicten vermindert, wat leidt tot stabielere updates.

Experimentele Resultaten
De auteurs evalueerden RAUL op beeldclassificatietaken (CIFAR-10 met ResNet-18) onder 10% en 50% random forgetting ratio's, waarbij ze vergeleken met baselines inclusief Gradient Ascent (GA), Random Relabeling (RL), Influence Functions (IU) en SalUn.

• Prestatiekloof: RAUL-varianten bereikten de kleinste gemiddelde prestatiekloven ten opzichte van volledige hertraining.
  • Bij 10% forgetting bereikte HeldDist-RAUL met UPGrad de beste gemiddelde kloof van 2.23, waarmee het de sterkste baseline (IU op 6.06) versloeg en GA (16.90) aanzienlijk verbeterde.
  • Bij 50% forgetting, waar baselines zoals GA instortten (kloof van 49.19), bereikte UniDist-RAUL met UPGrad de beste kloof van 6.75, terwijl HeldDist-RAUL varianten kloven rond de 9.22 behielden.
• Retentie vs. Vergeten Afweging:
  • HeldDist-RAUL gaf prioriteit aan behoud, waarbij het een hoge Retain Accuracy (RA ~98.89%) en Test Accuracy (TA ~92.12%) behaalde met conservatief vergeten.
  • UniDist-RAUL bood een agressiever forgetting-profiel (hogere Unlearning Accuracy) terwijl het nog steeds de laagste totale kloof tot hertraining behield.
• Privacy Metrieken: RAUL-methoden behielden Membership Inference Attack (MIA) scores die dicht bij de hertrainings-baseline lagen (bijv. ~15.31 vs. 13.13 voor hertraining), terwijl GA daalde naar bijna willekeurige niveaus (1.93), wat aangeeft dat RAUL invloed verwijdert zonder de instabiliteit van adversariële aanvallen.
• Stabiliteit: RAUL-varianten vertoonden aanzienlijk lagere standaarddeviaties in prestaties vergeleken met GA en $\ell_1$-sparse methoden, wat de stabiliteit van de referentie-afgestemde updates bevestigt.

Significantie en Claims
Het artikel claimt dat RAUL het fundamentele knelpunt van het expliciete conflict tussen vergeten en behoud aanpakt. Door de onbegrensde loss-maximalisatie te vervangen door een begrensde KL-alignment naar een referentieverdeling, zorgt de methode voor:

1. Vermindering van Gradiëntconflict: De MOO-formulering met UPGrad-aggregatie zorgt ervoor dat updates de retain set niet verslechteren terwijl de target set wordt vergeten.
2. Voorkomen van Catastrofaal Vergeten: De begrensde aard van de forgetting-doelstelling voorkomt dat het model te ver afwijkt van zijn vooraf getrainde kennis.
3. Biedt Flexibiliteit: Het raamwerk biedt een keuze tussen een data-vrije benadering (UniDist) en een data-afhankelijke, hogere-stabiliteit benadering (HeldDist).

De auteurs concluderen dat hoewel UniDist-RAUL dient als een robuuste fallback die geen extra data vereist, de beschikbaarheid van een held-out set toelaat dat HeldDist-RAUL een strakkere retentie bereikt. Ze merken op dat toekomstig werk zal onderzoeken hoe dit uitgebreid kan worden naar generatieve modellen, LLM's, en het gebruik van Multi-Objective Evolutionary Algorithms (MOEAs) voor meer diverse Pareto-optimale oplossingen.