OFMU: Optimization-Driven Framework for Machine Unlearning

Technische Samenvatting van OFMU: Optimization-Driven Framework voor Machine Unlearning

Probleemstelling
Large Language Models (LLMs) en andere deep learning-modellen die getraind zijn op enorme corpora bevatten vaak gevoelige, auteursrechtelijk beschermde of schadelijke informatie. Regelgeving zoals de AVG (GDPR) schrijft een "recht om vergeten te worden" voor, wat vereist dat modellen de invloed van specifieke gegevens (de forget set, $D_f$) verwijderen zonder vanaf nul te hoeven hertrainen, terwijl de prestaties op de resterende gegevens (de retain set, $D_r$) behouden blijven.

Bestaande modelgebaseerde unlearning-methoden formuleren dit doorgaans als een gescalariseerd multi-objectief probleem, waarbij forgetting- en retention-losses worden gecombineerd met vaste gewichten. Het artikel identificeert drie kritieke beperkingen in deze aanpak:

1. Statische Weging: Vaste gewichten slagen er niet in zich aan te passen aan de dynamische aard van unlearning, waarbij de vroege stappen prioriteit moeten geven aan forgetting en latere stappen zich moeten richten op het herstel van de bruikbaarheid (utility).
2. Instabiliteit: Scalarisatie leidt tot instabiele trainingsdynamiek. Als het forget-objectief domineert, stort de bruikbaarheid van het model in; als het retain-objectief domineert, blijft het vergeten incompleet.
3. Gradiënt-verstrengeling (Gradient Entanglement): Op "moeilijk te vergeten" samples zijn gradiënten voor forgetting en retention sterk gekoppeld. Agressieve updates om kennis te verwijderen veroorzaken vaak disproportionele nevenschade aan behouden kennis.

Methodologie: OFMU
De auteurs stellen OFMU voor (Optimization-Driven Framework for Machine Unlearning), een penalty-gebaseerd bi-level optimalisatieframework dat de doelstellingen expliciet scheidt in een hiërarchische structructuur. De kernfilosofie is dat forgetting een niet-onderhandelbaar primair doel is, terwijl utility-behoud een secundair doel is dat voorwaardelijk is aan succesvol forgetting.

1. Bi-Level Formulering:

   • Inner Maximization (Forgetting): Het innerlijke probleem zoekt naar parameters $\theta^*$ die de loss op de forget set maximaliseren terwijl de gelijkenis tussen de forget- en retain-gradiënten wordt geminimaliseerd. Dit wordt gedefinieerd door de doelstelling $\Phi(\theta) = L_f(\theta) - \beta \cdot \text{Sim}(\nabla L_f, \nabla L_r)$, waarbij $\beta$ de penalty voor gradiënt-decorrelatie regelt.
   • Outer Minimization (Utility): Het buitenste probleem minimaliseert de loss op de retain set $L_r(\theta)$, onder de voorwaarde dat de parameters stationaire punten zijn van het innerlijke objectief ($\nabla \Phi(\theta) = 0$).

2. Penalty-gebaseerde Herformulering:
   Het direct oplossen van het bi-level probleem is computationeel prohibitief vanwege de noodzaak van herhaalde innerlijke maximisatie en hogere-orde afgeleiden. OFMU herformuleert dit tot een single-level onbeperkt probleem met behulp van een penalty-term:
   $$F(\theta) = L_r(\theta) + \rho \|\nabla \Phi(\theta)\|^2$$
   Hier is $\rho$ een penalty-parameter die de stationariteit van het innerlijke objectief afdwingt. Naarmate $\rho \to \infty$, voldoet de minimizer van $F(\theta)$ aan de oorspronkelijke bi-level restricties.

3. Two-Loop Algoritme:
   Om schaalbaarheid te garanderen, ontwikkelen de auteurs een two-loop algoritme:

   • Inner Loop: Voert $T$ stappen van gradient ascent uit op $\Phi(\theta)$ om forgetting te maximaliseren en gradiënten te decorreleren.
   • Outer Loop: Voert een gradient descent stap uit op $F(\theta)$ om de utility te herstellen. Deze stap omvat het berekenen van een Hessian-vectorproduct (via automatic differentiation) om de penalty term $\|\nabla \Phi(\theta)\|^2$ af te handelen.
   • Penalty Schedule: De penalty-parameter $\rho$ wordt over de iteraties heen verhoogd om de handhaving van de innerlijke stationariteitsconditie geleidelijk te versterken.

Belangrijkste Bijdragen

• Nieuw Framework: Introductie van OFMU, een bi-level framework dat prioriteit geeft aan forgetting boven utility-behoud, waarmee de inherente asymmetrie van de unlearning-taak wordt gevangen.
• Schaalbaar Algoritme: Ontwikkeling van een two-loop algoritme met bewijsbare convergentiegaranties dat de computationele knelpunten van traditionele bi-level optimalisatie (bijv. volledige innerlijke convergentie) vermijdt.
• Similarity-Aware Penalty: Ontwerp van een penalty-term die de forget- en retain-gradiënten dynamisch decorreleert, wat destructieve interferentie tijdens updates mitigeert.
• Theoretische Analyse: Rigoureuze convergentieanalyse die aantoont dat het algoritme convergeert naar een $\epsilon$-stationair punt in zowel convexe als niet-convexe settings, met specifieële bounds op suboptimaliteit.

Experimentele Resultaten
De auteurs evalueerden OFMU op taal- en visuele benchmarks:

• Taal (TOFU Benchmark): Gebruikmakend van LLaMA-2-7B en LLaMA-3.2-1B, werd OFMU getest op het verwijderen van 1%, 5% en 10% van de dataset.
  • Prestaties: OFMU bereikte een superieur evenwicht tussen Forgetting Quality (FQ), Model Utility (MU) en Forget Truth Ratio (FTR).
  • Vergelijking: In tegen tegenstelling tot Gradient Ascent (GA) en Gradient Difference (GradDiff), die een hoge FQ bereikten maar waarbij de utility instortte (MU $\approx$ 0), behield OFMU een hoge utility (bijv. MU $\approx$ 0,65 op LLaMA-2 voor 5% forgetting) terwijl het sterke forgetting afdwong. Het presteerde beter dan baselines zoals NPO en RMU in algemene genormaliseerde scores.
• Visie (CIFAR-10): Getest onder class-wise en random forgetting settings.
  • Class-wise: OFMU bereikte een Unlearning Accuracy (UA) van 81,51% en een Retain Accuracy (RA) van 93,51%, wat een betere trade-off biedt dan Influence Unlearning (IU), dat een hogere UA had maar computationeel duurder was.
  • Random: In de uitdagende random forgetting scenario (10% van de data), bereikte OFMU een UA van 7,71%, wat de retraining (6,79%) licht overtreft, terwijl het robuust bleef tegen Membership Inference Attacks (MIA).

Betekenis en Claims
Het artikel claimt dat OFMU de fundamentele instabiliteit van gescalariseerde unlearning-methoden aanpakt door de hiërarchische aard van het probleem te erkennen. Door forgetting als een primaire restrictie af te dwingen voordat utility wordt geoptimaliseerd, bereikt OFMU state-of-the-art trade-offs over zowel taal- als visuele taken. De auteurs stellen dat hun aanpak de volgende biedt:

• Stabiliteit: Consistente prestaties, zelfs op moeilijk te vergeten samples waar andere methoden falen.
• Robuustheid: Sterkere weerstand tegen membership inference attacks vergeleken met bestaande baselines.
• Theoretische Onderbouwing: Een geprincipeerde aanpak met convergentiegaranties in niet-convexe regimes, wat verder gaat dan heuristische wegingsschema's.

Het artikel concludeert dat hoewel OFMU een significante stap voorwaarts vertegenwoordigt, toekomstig werk de mogelijkheden kan verkennen van continual unlearning scenario's, adaptieve penalty-schema's en de toepassing op grotere foundation models en multimodale data.