🤖 machine learning

Rethinking Federated Unlearning via the Lens of Memorization

Dit artikel stelt Federated Memorization Pruning (FedMemPrune) voor, een nieuwe aanpak voor federatief vergeten die gebruikmaakt van een nieuw Grouped Memorization Evaluation-maatstaf om unieke gememoriseerde informatie te onderscheiden en te verwijderen terwijl overlappende patronen behouden blijven, waardoor effectief vergeten wordt bereikt zonder de bruikbaarheid van het model te schaden.

Oorspronkelijke auteurs: Jiaheng Wei, Yanjun Zhang, He Zhang, Leo Yu Zhang, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaheng Wei, Yanjun Zhang, He Zhang, Leo Yu Zhang, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Het "Recht op Vergetelheid" in een Groepschat

Stel je een groep vrienden (clients) voor die samen een enkele, superslimme studiegids (een machine learning-model) willen maken. Ze kunnen hun privé-notities niet delen omdat ze te persoonlijk zijn, dus delen ze in plaats daarvan alleen hun "aha!"-momenten en samenvattingen (modelupdates) met een centrale leraar (de server). Dit is Federated Learning.

Maar wat gebeurt er als een vriend, laten we hem "Alex" noemen, besluit de groep te verlaten en eist dat de studiegids alles vergeet wat Alex ooit heeft bijgedragen? Dit is Federated Unlearning.

De wet (zoals de AVG) zegt dat Alex een "Recht op Vergetelheid" heeft. De gemakkelijke manier om dit te doen, is de hele studiegids wegwerpen en opnieuw te beginnen met de overige vrienden. Maar dat kost eeuwen en veel energie. Het paper stelt dat de huidige "snelle oplossing"-methodes eigenlijk fouten maken.

Het Probleem: De Baby Weggooen met het Badwater

De auteurs betogen dat bestaande methodes te agressief zijn. Ze proberen alles gerelateerd aan Alex te wissen, zelfs de dingen die Alex heeft geleerd die eigenlijk door iedereen anders gedeeld werden.

De Analogie:
Stel je voor dat de groep leert om een cake te bakken.

Gedeelde Kennis: Iedereen is het erover eens dat je bloem en eieren nodig hebt. Dit is algemene kennis.
Alex's Unieke Geheugen: Alex heeft een specifieke, rare truc om eieren te breken die niemand anders gebruikt. Dit is "memorisatie".

Als Alex vertrekt, proberen de huidige methodes alle kennis over eieren te verwijderen, zelfs het feit dat je ze nodig hebt. Dit schaadt de overige vrienden omdat ze nog steeds eieren nodig hebben om de cake te bakken. Het model wordt slechter in bakken voor iedereen anders.

Het paper vraagt zich af: Moeten we de gedeelde kennis verwijderen alleen omdat Alex weg is? Het antwoord is Nee. We moeten alleen Alex's unieke trucs (memorisatie) verwijderen, terwijl we de gedeelde regels (overlappende informatie) behouden.

De Oplossing: "Memorization Pruning" (FedMemPrune)

De auteurs stellen een nieuwe methode voor genaamd FedMemPrune. Denk hierbij aan een slimme redacteur voor de studiegids.

In plaats van hele pagina's te wissen, kijkt de redacteur naar de specifieke zinnen die alleen Alex heeft geschreven en verwijdert alleen die.

Hoe het werkt (De Drie Stappen):

Het Vinden van "Redundante" Notities:
Het systeem kijkt naar de notities van de overige vrienden. Het vraagt zich af: "Welke delen van de studiegids worden niet gebruikt of bijgewerkt door de overige vrienden?"
- Analogie: Als de overige vrienden allemaal schrijven over "bloem", maar één alinea gaat alleen over "Alex's rare eiertruc", dan is die alinea "redundant" voor de groep. Het is waarschijnlijk waar Alex's unieke geheugen zit.
Resetten van het Geheugen:
Het systeem neemt die specifieke "redundante" delen van de studiegids en maakt ze schoon (herinitialiseert ze). Het verwijdert ze niet zomaar; het zet ze terug naar een lege staat, alsof je een whiteboard uitveegt.
Finetunen:
De overige vrienden bekijken de gids snel samen om ervoor te zorgen dat de secties over "bloem" en "eieren" nog steeds perfect zijn. Omdat de gedeelde kennis nooit werd aangeraakt, blijft de gids uitstekend voor iedereen anders.

Waarom Dit Beter Is

Het paper testte dit tegen andere methodes en vond drie grote voordelen:

Beter "Vergeten": Het verwijdert Alex's unieke trucs beter dan andere methodes.
Beter "Onthouden": Het houdt de gedeelde kennis van de groep intact, zodat de studiegids niet slechter wordt voor de andere vrienden.
Eerlijkheid: Het behandelt de overige vrienden gelijk. Sommige methodes raken per ongeluk de vrienden die de meeste vergelijkbare notities hadden als Alex, maar deze methode beschermt hen.
Snelheid: Het is veel sneller dan opnieuw beginnen vanaf nul (opnieuw trainen), wat ongeveer 50% van de tijd bespaart.

Het "Gegroepeerde Memoriseren"-Scorebord

De auteurs realiseerden zich ook dat we een betere manier nodig hebben om te controleren of het vergeten heeft gewerkt. Je kunt niet alleen kijken naar het eindcijfer; je moet specifieke vragen controleren.

Ze creëerden een nieuwe test genaamd Grouped Memorization Evaluation.

Ze nemen de vragen die aan Alex werden gesteld en sorteren ze op hoe "uniek" of "gememoriseerd" ze waren.
Ze controleren of de nieuwe studiegids faalt op de unieke vragen (goed!) maar nog steeds slaagt op de gemeenschappelijke vragen (ook goed!).
Dit bewijst dat het systeem niet zomaar gokt; het vergeet specifiek de juiste dingen.

Samenvatting

Kortom, dit paper zegt: Wees geen brute kracht als je moet vergeten.

Als je de bijdrage van een persoon uit een groepsproject wilt verwijderen, verbrand dan niet het hele project. Identificeer in plaats daarvan de specifieke, unieke delen die alleen die persoon kende, wis die uit en laat de rest van het team de gedeelde delen opfrissen. Dit houdt het project sterk, eerlijk en snel.

Technische Samenvatting: Federated Unlearning Heroverwogen door de Lens van Memorizatie

Probleemstelling
Federated Learning (FL) wordt steeds vaker geacht machine unlearning te ondersteunen om te voldoen aan privacyregels zoals de AVG en de CCPA (het "recht om vergeten te worden"). Hoewel het opnieuw trainen van een model vanaf nul na het verwijderen van de data van een client de gouden standaard is voor unlearning, brengt dit onaanvaardbare reken- en communicatiekosten met zich mee. Bestaande benaderingen voor federated unlearning (FU) proberen dit opnieuw trainen te benaderen door representaties te verstoren, historische updates te gebruiken of gradiëntascentie toe te passen. De auteurs betogen echter dat deze methoden vaak het cruciale onderscheid over het hoofd zien tussen overlappende informatie (gedeelde generaliseerbare patronen tussen de client die moet worden vergeten en de overige clients) en unieke memorisatie-informatie (client-specifieke details). Huidige algoritmen proberen vaak de invloed van de volledige dataset die moet worden vergeten te elimineren, waardoor ze per ongeluk ook overlappende patronen verwijderen. Dit leidt tot inefficiënt unlearning (het falen om specifieke gememoriseerde data te verwijderen) en onrechtvaardigheid (een disproportionele verslechtering van de prestaties van overige clients die vergelijkbare patronen delen met de client die moet worden vergeten).

Methodologie
Het artikel presenteert een raamwerk dat is gebaseerd op informatietheorie en het concept van memorisatie, wat leidt tot de ontwikkeling van Federated Memorization Pruning (FedMemPrune).

Theoretische Grondslag (Informatiedecompositie):
De auteurs formaliseren unlearning met behulp van Partial Information Decomposition. Zij definiëren de informatie die een model leert van de vereniging van data die moet worden vergeten ( $D_u$ ) en resterende data ( $D_r$ ) als bestaande uit:
- Synergetische Informatie: Gezamenlijk geleverd door $D_u$ en $D_r$ .
- Redundante/Overlappende Informatie ( $F_g$ ): Gedeeld tussen $D_u$ en $D_r$ .
- Unieke/Memorisatie-informatie ( $F_m$ ): Specifiek voor $D_u$ .
De auteurs betogen dat het synergetische component verwaarloosbaar is in algemene unlearning-scenario's. Daarom zou het doel van unlearning niet moeten zijn om alle informatie van $D_u$ te wissen, maar specifiek de unieke memorisatie-informatie ( $F_m$ ) te verwijderen terwijl de overlappende informatie ( $F_g$ ) behouden blijft. Het verwijderen van $F_g$ schaadt generalisatie en rechtvaardigheid, terwijl het verwijderen van $F_m$ de gewenste "vergeten"-werking bereikt zonder de bruikbaarheid te offeren.
Evaluatiemetaal: Groepsgebaseerde Memorisatie-evaluatie (GME):
Om het gebrek aan fijnmazige evaluatiemetaals aan te pakken, introduceren de auteurs GME. Deze metaal berekent een memorisatiescore voor elk voorbeeld in de dataset die moet worden vergeten, gedefinieerd als het verschil in de waarschijnlijkheid van correcte classificatie tussen een model getraind op $D_u \cup D_r$ en een model dat alleen is getraind op $D_r$ . Voorbeelden worden vervolgens gegroepeerd op basis van deze scores (bijvoorbeeld hoog-memoriserend versus laag-memoriserend). De effectiviteit van unlearning wordt gemeten aan de hand van hoe nauw de prestaties van het onthouden model op deze subgroepen overeenkomen met de opnieuw getrainde baseline, met name gericht op het verwijderen van hoog-memoriserende voorbeelden.
Algoritme: FedMemPrune:
FedMemPrune is een drie-trapsbenadering gebaseerd op pruning:
- Fase 1 (Locatie van Memorisatieparameters): Het algoritme identificeert redundante parameters in het globale model. Deze worden gedefinieerd als parameters die minimale gradiëntupdates ontvangen van de overige clients ( $D_r$ ). De hypothese is dat parameters die cruciaal zijn voor $D_r$ overlappende/generaliseerbare kennis coderen, terwijl redundante parameters de unieke memorisatie coderen die specifiek is voor $D_u$ .
- Fase 2 (Resetten): De geïdentificeerde redundante parameters worden herbegint met de oorspronkelijke initialisatiestrategie (bijvoorbeeld Kaiming Uniform), waardoor de gememoriseerde informatie effectief wordt gewist.
- Fase 3 (Finetunen): Het model wordt gefinetuned op de overige clients ( $D_r$ ) om de generalisatieprestaties te herstellen en de overlappende representaties te reconstrueren.

Belangrijkste Bijdragen

Conceptuele Verschuiving: Het artikel herdefinieert federated unlearning als een proces van het verwijderen van client-specifieke memorisatie in plaats van het wissen van alle data-invloed, en betoogt dat overlappende informatie moet worden behouden om de bruikbaarheid en rechtvaardigheid van het model te handhaven.
Nieuwe Metaal: De introductie van Groepsgebaseerde Memorisatie-evaluatie (GME), die een evaluatie op voorbeeldniveau van de effectiviteit van unlearning mogelijk maakt, en onderscheid maakt tussen het vergeten van gememoriseerde staartdata en het behoud van generaliseerbare hoofddata.
Voorgesteld Algoritme: De ontwikkeling van FedMemPrune, dat gebruikmaakt van parameterredundantie ten opzichte van resterende data om selectief memorisatie-informatie te verwijderen.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op CIFAR-10, CIFAR-100 en EMNIST onder zowel IID- als Non-IID-instellingen, waarbij FedMemPrune werd vergeleken met baselines zoals Halimi et al. (gradiëntascentie), Liu et al. (Fisher Information Matrix), FedRecovery, FedAU, FedOSD en NoT.

Effectiviteit van Unlearning: FedMemPrune komt nauw overeen met de prestaties van de opnieuw getrainde baseline, met name binnen hoog-memoriserende subgroepen. Bijvoorbeeld, op CIFAR-100 (Non-IID) bereikte de methode classificatie-accuraaties op hoog-memoriserende groepen (bijvoorbeeld 27,25% versus 21,74% voor de baseline) die aanzienlijk dichter bij het opnieuw getrainde model lagen dan andere baselines, die vaak faalden om hoog-memoriserende data te vergeten of te veel vergeten.
Generalisatieprestaties: Door overlappende informatie te behouden, handhaaft FedMemPrune een hoge testaccuraatheid op het behouden dataset, vaak presterend boven andere unlearning-baselines en naderend aan de opnieuw getrainde baseline (bijvoorbeeld 63,33% op CIFAR-100 IID).
Rechtvaardigheid: De methode toont superieure lokale rechtvaardigheid, waarbij de variantie in prestatieveranderingen over overige clients wordt geminimaliseerd. Dit bevestigt dat het behoud van overlappende informatie een disproportionele verslechtering voorkomt voor clients die data delen met de client die moet worden vergeten.
Efficiëntie: FedMemPrune bereikt de doelprestatie in ongeveer 50% minder tijd in vergelijking met volledig opnieuw trainen, omdat het de noodzaak om het volledige model vanaf nul opnieuw te trainen vermijdt.

Betekenis en Claims
De auteurs claimen dat hun werk zowel theoretische inzichten als praktische strategieën biedt voor het versterken van federated unlearning. Door onderscheid te maken tussen memorisatie en overlappende informatie, betogen zij dat effectief unlearning alleen op het eerste moet zijn gericht. Het artikel stelt dat FedMemPrune succesvol robuust en efficiënt unlearning bereikt zonder de bruikbaarheid van behouden kennis of de rechtvaardigheid onder clients te offeren. Het werk benadrukt dat huidige evaluatieprotocollen ontoereikend zijn en dat een perspectief dat rekening houdt met memorisatie noodzakelijk is om federated unlearning-mechanismen rigoureus te beoordelen en te verbeteren. De auteurs benadrukken dat hun aanpak bijzonder geschikt is voor scenario's waarin de dataset die moet worden vergeten niet beschikbaar is tijdens de unlearning-fase, omdat het vertrouwt op de gradiënten van de overige clients om te identificeren wat moet worden verwijderd.