🤖 AI

Exploring Nonlinear Pathway in Parameter Space for Machine Unlearning

Dit artikel stelt Mode Connectivity Unlearning (MCU) voor, een nieuw kader dat niet-lineaire mode-connectiviteit en adaptieve strategieën benut om gewichtsverstrengeling in bestaande methoden te overwinnen, waardoor een spectrum van vergetelheidsmodellen wordt gegenereerd dat effectief een evenwicht bewaart tussen vergetelkwaliteit en voorspellende prestaties met verminderde computerkosten.

Oorspronkelijke auteurs: Yingdan Shi, Ren Wang

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yingdan Shi, Ren Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hoogopgeleide AI-kok hebt die duizenden recepten uit zijn hoofd kent. Plotseling vraagt een klant de kok om een specifiek recept te "vergeten" (misschien omdat het ingrediënt nu verboden is, of omdat de klant wil dat hun gegevens worden verwijderd).

De oude manier om dit te doen, was de kok vertellen: "Vergeet dat ene recept," en hopen dat ze magisch alleen die ene gedachte konden wissen zonder de rest van het menu in de war te sturen. Vaak werkte dit niet goed. De kok zou het recept dan wel vergeten, maar ook de vaardigheid verliezen om vergelijkbare gerechten te maken (bijwerkingen), of ze zouden het verboden gerecht toch blijven bereiden.

Een andere oude methode was als proberen een verward knoop van hoofdtelefoondraden op te lossen door gewoon aan één uiteinde te trekken. Het artikel noemt dit "lineaire updates". Het probleem is dat de kennis van de kok een complex, verward web is. Aan één draad trekken (het slechte recept) zorgt er vaak voor dat andere draden (goede recepten) per ongeluk strakker worden getrokken of losser raken, waardoor het hele menu in de war raakt.

De Nieuwe Oplossing: Het "Mode Connectivity Unlearning" (MCU) Kader

Dit artikel stelt een slimmere, flexibelere manier voor om te "vergeten". In plaats van gewoon aan een draad te trekken of helemaal opnieuw te beginnen, behandelen ze de kennis van de AI als een landschap van heuvels en valleien.

Hier is hoe hun nieuwe methode werkt, opgesplitst in eenvoudige concepten:

1. De "Pad"-Analogie

Stel je voor dat de huidige kennis van de AI een punt is op een kaart. De "perfect vergeten" toestand is een ander punt op de kaart.

Oude Methode: Probeerde een rechte lijn te trekken tussen de twee punten. Maar omdat het terrein vol zit met verborgen kliffen en valleien (niet-lineaire complexiteit), leidt een rechte lijn vaak tot een ramp (slechte prestaties).
Nieuwe Methode (MCU): In plaats van een rechte lijn vinden ze een gekruld, kronkelend pad dat de twee punten veilig verbindt. Dit pad vermijdt de kliffen en houdt de andere vaardigheden van de kok intact.

2. Het "Spectrum" van Oplossingen

Normaal gesproken krijg je bij het proberen iets te vergeten slechts één enkel resultaat: een nieuwe versie van de kok.

De Innovatie van het Artikel: Hun methode geeft je niet slechts één resultaat. Het onthult een heel spectrum aan koks langs dat gekrulde pad.
Waarom dit belangrijk is: Stel je voor dat je een "laag-risico" datapunt hebt dat je zachtjes wilt vergeten, en een "hoog-risico" datapunt dat je volledig wilt vergeten.
- Je kunt een kok kiezen aan het begin van het pad die nog veel onthoudt, maar het specifieke slechte datapunt is vergeten.
- Je kunt een kok kiezen aan het einde van het pad die het slechte datapunt zeer grondig heeft vergeten, zelfs als ze iets minder vaardig zijn in andere dingen.
- Het Voordeel: Je kunt de "smaak" van vergeten kiezen die past bij je behoeften, zonder de hele kok opnieuw te hoeven trainen.

3. Het "Slimme Masker" (De Filter)

Om dit proces snel en efficiënt te maken, gebruiken de auteurs een filterstrategie.

Denk aan het brein van de AI als miljoenen neuronen die updatebaar zijn. Het updaten van allemaal is traag en duur.
De methode van het artikel legt een masker over het brein. Het zegt: "Update alleen de neuronen die cruciaal zijn voor het slechte recept, en laat de neuronen voor de goede recepten volledig met rust."
Dit is als de kok vertellen: "Verander alleen de manier waarop je uien snijdt voor dit ene gerecht; raak niet aan hoe je brood bakt." Dit maakt het proces veel sneller (tot 75% sneller in hun tests) zonder de kwaliteit te schaden.

4. De "Zelfaanpassende" Straf

Normaal gesproken moet je raden hoe hard je moet proberen om de AI te laten vergeten. Als je te hard probeert, breekt je het model; te zacht, en het vergeet niet.

Het artikel introduceert een zelfaanpassende knop. Naarmate de AI leert te vergeten, draait deze knop zichzelf automatisch.
Als de AI te veel vergeet (goede vaardigheden verliest), draait de knop de druk omlaag. Als het niet genoeg vergeet, draait de knop de druk omhoog. Dit verwijdert de noodzaak voor mensen om de juiste instellingen te raden.

Samenvatting van Resultaten

De auteurs hebben dit getest op taken voor beeldherkenning (zoals het onderscheiden van katten van honden). Ze ontdekten dat:

Hun methode beter presteerde dan alle bestaande "vergeten"-technieken.
Het stabieler was, wat betekent dat het niet per ongeluk de vaardigheid van de AI om andere dingen te herkennen verbrak.
Het werkte zelfs wanneer de startende "vergeten"-poging rommelig of onvolmaakt was.

In het kort: Dit artikel vervangt de onhandige, rechte lijnpoging om gegevens uit een AI te verwijderen door een soepel, gekruld en aanpasbaar pad. Het geeft ons een heel menu van "gedeeltelijk vergeten" modellen om uit te kiezen, zodat we specifieke gegevens kunnen verwijderen zonder de rest van het brein van de AI te ruïneren.

Technische Samenvatting: Het Verkennen van een Niet-lineair Pad in de Parameterruimte voor Machine Unlearning

Probleemstelling

Machine Unlearning (MU) heeft tot doel de invloed van specifieke trainingsdata uit een getraind model te verwijderen om te voldoen aan privacyregels en gebruikersverzoeken. Hoewel het opnieuw trainen vanaf nul de gouden standaard is, is dit computatief onhaalbaar. Bijgevolg zijn benaderende MU-methoden ontstaan, waarbij een mainstream aanpak vertrouwt op lineaire taak-aritmetiek (bijvoorbeeld het aftrekken van een vector voor een te vergeten taak van het oorspronkelijke model).

De auteurs identificeren twee kritieke beperkingen in bestaande lineaire benaderingen:

Gewichtskoppeling (Weight Entanglement): Moderne classificatoren vertonen hoogdimensionele, niet-lineaire kenmerken. Eenvoudige lineaire updates falen vaak om de invloed van de te vergeten data uitsluitend te lokaliseren. In plaats daarvan interfereren de taakvectoren met de te behouden data, waardoor de noodzakelijke voorwaarden voor succesvolle lineaire bewerking worden geschonden.
Beperking tot één Model: Bestaande methoden leveren doorgaans één enkel unlearning-model op. Het optimale stoppunt voor unlearning varieert echter tussen verschillende datapunten binnen de te vergeten set. Een enkel model kan niet gelijktijdig optimale vergeten voor alle punten bereiken zonder herhaalde, kostbare training.

Het artikel stelt twee centrale vragen:

(V1) Kunnen we loskomen van lineaire update-beperkingen en MU op een niet-lineaire manier verkennen?
(V2) Kunnen we een spectrum van effectieve MU-modellen identificeren in plaats van slechts één?

Methodologie: Mode Connectivity Unlearning (MCU)

De auteurs stellen Mode Connectivity Unlearning (MCU) voor, een raamwerk dat gebruikmaakt van mode-connectiviteit om een niet-lineair unlearning-pad in de parameterruimte te zoeken.

1. Constructie van een Niet-lineair Pad

In plaats van een lineaire interpolatie, construeert MCU een glad pad tussen twee eindmodellen met behulp van een kwadratische Bézier-curve:

$\theta_o$ (Oorspronkelijk Model): Getraind op de volledige dataset $D_{train}$ .
$\theta_p$ (Pre-unlearning Model): Verkregen door een bestaande MU-methode toe te passen om de invloed van te vergeten data $D_f$ te verwijderen. Dit model biedt een directionele verschuiving in de richting van vergeten.
$\theta_c$ (Controlemodel): Een leerbare parameter die de trajectvorm bepaalt.
Paddefinitie: Het pad $\phi_{\theta_c}(t)$ wordt gedefinieerd als:
$\phi_{\theta_c}(t) = (1-t)^2\theta_o + 2(1-t)t\theta_c + t^2\theta_p$
waarbij $t \in [0, 1]$ . Dit genereert een continu spectrum van unlearning-modellen $\theta_u$ langs de curve.

2. Optimalisatiedoel

Het raamwerk optimaliseert het controlemodel $\theta_c$ om een balans te vinden tussen vergeten en behoudprestaties. De verliesfunctie is:
$\mathcal{L}_{mcu} = \mathbb{E}_{t \sim U(0,1)}[\mathcal{L}(D_r; \phi_{\theta_c}(t)) - \beta \cdot \mathcal{L}(D_f; \phi_{\theta_c}(t))]$
waarbij $\mathcal{L}$ de cross-entropy-verlies is, $D_r$ de te behouden data is, en $\beta$ de coëfficiënt voor de unlearning-boete is.

3. Parametermasker-strategie

Om de efficiëntie te verhogen, introduceert MCU een parametermasker dat alleen een subset van parameters bijwerkt, waardoor gradientberekeningen voor de rest worden omzeild. Het masker $m$ wordt afgeleid door:

Filteren ( $m_r$ ): Parameters die zeer invloedrijk zijn voor te behouden data $D_r$ uitsluiten (gebaseerd op gradientgrootte).
Behouden ( $m_f$ ): Parameters die cruciaal zijn voor te vergeten data $D_f$ behouden.
Eindmasker: $m = m_r \ \& \ m_f$ .
Deze strategie vermindert de computatiekosten aanzienlijk (gerapporteerd als een snelheidswinst van 75,23% in experimenten) terwijl de effectiviteit behouden blijft.

4. Adaptieve Unlearning-boete

Om de noodzaak van empirische hyperparameter-tuning te elimineren, stellen de auteurs een adaptieve $\beta$ -strategie voor. De coëfficiënt $\beta$ wordt dynamisch aangepast bij elke batch op basis van het gat tussen waargenomen nauwkeurigheden en kalibratiedoelen:

Als de vergeten nauwkeurigheid al voldoende is (of te veel is vergeten), wordt $\beta$ ingesteld op 0.
Als vergeten onvoldoende is maar de behoudprestaties stabiel zijn, wordt een lichte $\beta$ (0,1) toegepast.
Anders wordt een sterkere $\beta$ (0,5) gebruikt.
Dit stelt het raamwerk in staat om adaptief de kwaliteit van vergeten en voorspellende prestaties in evenwicht te brengen zonder handmatige ingreep.

5. Modelselectie

In tegenstelling tot methoden die één enkel model opleveren, identificeert MCU een optimaal unlearning-model en een effectief unlearning-gebied langs het pad. Het optimale model wordt geselecteerd door het gemiddelde gat te minimaliseren tussen de prestaties van het unlearning-model en de opnieuw getrainde baseline (RT) over te vergeten, te behouden en testdatasets.

Belangrijkste Bijdragen

Niet-lineair Perspectief: Het artikel is het eerste dat MU onderzoekt vanuit een niet-lineair perspectief, waarbij het ingaat op het probleem van gewichtskoppeling dat inherent is aan lineaire taak-aritmetiek.
Spectrum van Modellen: Het introduceert het concept van het verkennen van unlearning-paden, waardoor een spectrum van modellen wordt geboden in plaats van één enkel punt, wat flexibiliteit biedt om functionaliteit of vergetenkwaliteit te prioriteren op basis van specifieke behoeften.
Plug-and-Play Raamwerk: MCU is ontworpen om naadloos te integreren met bestaande MU-methoden (bijvoorbeeld NegGrad+, SalUn), waardoor hun prestaties consistent worden verbeterd, ongeacht de kwaliteit van het initiële pre-unlearning-model.
Efficiënt Maskeren: De voorgestelde parametermasker-strategie bereikt vergelijkbare unlearning-effectiviteit als element-voor-element maskers, maar vermindert de trainingstijd aanzienlijk door gradientberekeningen voor gemaskeerde parameters volledig te omzeilen.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op beeldclassificatietaken (CIFAR-10, ImageNet-100, Tiny-ImageNet) met behulp van diverse architecturen (PreResNet, ViT, VGG).

Prestaties: MCU en zijn adaptieve variant (MCU $\beta$ ) behaalden consistent de top twee overall prestaties over scenario's met willekeurige data-vergeten en per klasse vergeten. Bij per klasse vergeten op ImageNet-100 presteerde MCU $\beta$ bijna even goed als de opnieuw getrainde (RT) baseline.
Vergelijking met Lineaire Methoden: De resultaten benadrukten de superioriteit van niet-lineair unlearning ten opzichte van lineaire methoden zoals NegTV. Lineaire methoden hadden moeite met de afweging tussen onvoldoende vergeten en te veel vergeten, terwijl MCU een stabiel evenwicht handhaafde.
Robuustheid: MCU $\beta$ toonde robuustheid over verschillende pre-unlearning-modellen (inclusief verslechterde modellen zoals Gradient Ascent) en variërende proporties van te behouden data (presteerde goed zelfs met slechts 10-30% van de te behouden data).
Efficiëntie: De parametermasker-strategie verkleinde de looptijd aanzienlijk in vergelijking met baselines, terwijl de adaptieve $\beta$ -strategie de noodzaak van hyperparameter-zoekopdrachten wegnam.

Betekenis en Beweringen

Het artikel beweert dat MCU een effectievere en flexibeler oplossing biedt voor machine unlearning door voorbij de beperkingen van lineaire updates te gaan. Door een continu spectrum van unlearning-modellen bloot te leggen, wordt de fundamentele beperking aangepakt dat een enkel model niet optimaal kan dienen voor alle te vergeten punten.

De auteurs benadrukken dat MCU dient als een plug-and-play raamwerk dat kan worden geïntegreerd met elke bestaande MU-methode om de effectiviteit te verbeteren. Het vermogen om verschillende punten langs het pad te selecteren, stelt practitioners in staat zich aan te passen aan evoluerende risicobeoordelingen (bijvoorbeeld een datapunt dat in de loop van de tijd gevoeliger wordt) zonder de kosten van opnieuw trainen. Het werk suggereert dat het verkennen van niet-lineaire paden in de parameterruimte een haalbare en noodzakelijke richting is om gewichtskoppeling te overwinnen en hoogwaardig machine unlearning te bereiken.