Technische Samenvatting: Een Empirische Studie naar Stabiliteits- en Rechtvaardigheidseffecten van Federated Unlearning voor Vertrokken Cliënten onder Non-IID Data

1. Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk zonder de ruwe data te centraliseren, maar privacyregelgeving (bijv. GDPR, HIPAA) vereist het "Recht om Vergeten te Worden" (RTBF). Dit vereist Federated Unlearning (FU): het verwijderen van de invloed van een vertrekkende cliënt uit een globaal model. Terwijl bestaand onderzoek zich richt op het optimaliseren van de efficiëntie en volledigheid van unlearning, wordt de collaterale effecten op de resterende cliënten grotendeels genegeerd.

Specifiek, wanneer een cliënt wordt ontleerd (unlearned), kan de resulterende perturbatie van het globale model niet gelijkmatig worden verdeeld. Onder Non-IID data (waarbij de datadistributies van cliënten significant verschillen), kan deze perturbatie:

1. De algehele modelkwaliteit verslechteren (Stabiliteitskosten).
2. Specifieke resterende cliënten of demografische groepen onevenredig schaden (Rechtvaardigheidskosten / Fairness Cost), wat potentieel de bias tegen ondervertegenwoordigde groepen versterkt.

De huidige literatuur mist een empirisch begrip van wie deze kosten draagt en hoe deze schalen met data-heterogeniteit, cliëntprofielen en unlearning-methoden. Dit artikel adresseert deze kloof door middel van een gecontroleerde meetstudie in plaats van het voorstellen van een nieuw unlearning-algoritme.

2. Methodologie

Studiedesign

De auteurs voerden een factoriële meetstudie uit over de volgende variabelen:

• Datasets: Twee tabeldatasets met gevoelige attributen (Adult, COMPAS) en twee beelddatasets (MNIST, CIFAR-10).
• Heterogeniteit: Gecontroleerd via Dirichlet label-distributie scheefheid ($\alpha \in \{10, 1, 0.5, 0.1, 0.05\}$), variërend van bijna-IID tot extreme scheefheid.
• Profielen van Vertrokken Cliënten: Typisch, Rare-Pattern (houdt ondervertegenwoordigde intersecties vast), Large (hoog datavolume) en Small.
• Unlearning-methoden: FedEraser, Projected Gradient Ascent (PGA), Fine-tuning, Continue-to-train, en een Retrain-from-scratch referentie.
• Aggregatieprotocollen: FedAvg en FedProx.
• Vertrekmoment: Vroeg vertrek versus vertrek nabij convergentie.

Evaluatiekader

De studie vergelijkt drie modellen voor elke configuratie:

1. $M_{orig}$: Het basismodel getraind met alle cliënten.
2. $M_{unl}$: Het model geproduceerd door de unlearning-operator.
3. $M_{ret}$: De Retrain Reference, vanaf nul getraind op de resterende cliënten alleen. Dit dient als de contrafactuele ankerplaats.

Belangrijkste Metrieken:

• Verificatie van Vergeten (Voorwaarde): Voordat kosten geïnterpreteerd kunnen worden, verifieert de studie of unlearning daadwerkelijk heeft plaatsgevend. Hiervoor wordt een Backdoor Attack Success Rate (ASR) probe (geïmplanteerd in de vertrokken cliënt) en Membership Inference Attacks (MIA) gebruikt. Een methode wordt alleen als geldig beschouwd als deze de ASR reduceert tot het niveau van de retrain reference ($M_{ret}$).
• Stabiliteit: Gemeten via output divergentie (KL-divergentie) tussen $M_{unl}$ en $M_{ret}$, accuratesse-gaten en kalibratiefout.
• Prestatie-rechtvaardigheid (Performance Fairness): Gemeten via de dispersie ($\sigma_{cl}$), de slechtste accuratesse ($a_{min}$) en de range ($\Gamma$) van per-cliënt accuratessen onder de resterende cliënten.
• Groepsrechtvaardigheid (Group Fairness): Gemeten via verschuivingen in Demographic Parity (DP) en Equalized Odds (EO) gaten ten opzichte van $M_{ret}$.

3. Belangrijkste Bijdragen

1. Uniform Meetprotocol: Het artikel stelt een reproduceerbare benchmark vast voor de bijwerkingen van FU, verankerd aan een van-scratch retrain reference en integrerend van verificatie van vergeten met stabiliteits- en rechtvaardigheidsmetrieken.
2. Empirische Karakterisering: Het biedt een brede karakterisering van hoe unlearning-kosten variëren over methoden, datasets en gecontroleerde non-IID condities, waarbij specifiek de impact van cliëntprofielen en heterogeniteit wordt geïsoleerd.
3. Identificatie van Verborgen Trade-offs:
   • Stabiliteit–Rechtvaardigheid–Vergeten Trade-off: De studie onthult dat geaggregeerde metrieken (zoals globale accuratesse) geconcentreerde schade maskeren. Een model kan globaal stabiel lijken terwijl de prestaties voor specifieke cliënten of groepen ernstig verslechteren.
   • Efficiëntie vs. Vergeten: Het artikel toont aan dat "goedkope" methoden (Fine-tuning, Continue-to-train) vaak alleen efficiënt lijken omdat ze falen om te unlearnen. Omgekeerd brengen methoden die invloed echt verwijderen (FedEraser, PGA) hogere stabiliteitskosten met zich mee.
4. Praktische Richtlijnen: De auteurs distilleren bewijs-gebaseerde richtlijnen voor het selecteren van FU-methoden op basis van heterogeniteitsniveaus en rechtvaardigheidseisen, en stellen de code en configuraties beschikbaar om rechtvaardigheidsbewuste FU-research te ondersteunen.

4. Belangrijkste Resultaten

Verificatie van Vergeten

• FedEraser en PGA hebben de geïmplanteerde backdoor-invloeden succesvol verwijderd, waardoor de ASR tot het niveau van de retrain reference werd gereduceerd.
• Fine-tuning en Continue-to-train faalden om de invloed te verwijderen; hun lage ASR-reductie gaf aan dat ze slechts verder trainden op de resterende data zonder de specifieke bijdrage van de vertrokken cliënt te wissen.
• Conclusie: Kostenmetrieken zijn betekenisloos zonder een geverifieerde "forgetting gate".

Stabiliteit en Heterogeniteit (RQ1 & RQ4)

• Impact van Heterogeniteit: Stabiliteitskosten (gemeten via KL-divergentie) groeien monotoon met dataskeu (scheefheid). Bij extreme scheefheid ($\alpha=0.05$) is de kost ongeveer 100x hoger dan in bijna-IID settings.
• Impact van Cliëntprofiel: Het verwijderen van een Large of Rare-Pattern cliënt is aanzienlijk duurder (tot 56x drift) dan het verwijderen van een typische of kleine cliënt.
• Timing: Vertrekmomenten nabij convergentie zijn ~7x duurder dan vroeg vertrek vanwege de verdunning van invloed over de tijd.

Geaggregeerde vs. Gedistribueerde Schade (RQ2)

• Geaggregeerde Stabiliteit Maskeert Geconcentreerde Schade: De globale accuratesse blijft vaak bijna behouden (bijv. $\Delta Acc \approx 0.018$), maar de per-cliënt accuratesse dispersie ($\sigma_{cl}$) kan enorm zijn (bijv. 0.428).
• Implicatie: Operators die alleen de globale accuratesse monitoren, zullen ernstige degradatie die een minderheid van de resterende cliënten treft, missen.

Groepsrechtvaardigheid (RQ3)

• Rare-Pattern Vertrek: Het unlearnen van een cliënt die een zeldzaam patroon vasthoudt (bijv. de intersectie van een minderheidsgevoelige groep), veroorzaakt grote, onvoorspelbare verschuivingen in de rechtvaardigheidsgaten (DP en EO) van groepen.
• Directionaliteit: De richting van de verschuiving (het verbreden of vernauwen van bias) is dataset-afhankelijk en kan niet worden voorspeld door stabiliteitsmetrieken.
• Onafhankelijkheid: Schade aan groepsrechtvaardigheid treedt niet noodzakelijkerwijs gelijktijdig op met stabiliteitsschade; een systeem kan globaal stabiel zijn maar onrechtvaardig voor specifieke groepen.

Aggregatieprotocol

• FedProx vs. FedAvg: De gemeten bijwerkingen bleven onveranderd onder FedProx. Dit geeft aan dat de kosten inherent zijn aan unlearning onder heterogeniteit, en geen artefacten zijn van het FedAvg-aggregatiemechanisme.

5. Betekenis en Claims

Het artikel claimt een stabiliteit–rechtvaardigheid–vergeten trade-off bloot te leggen die verborgen is door geaggregeerde metrieken. De primaire betekenis ligt in:

1. Correctie van Misconcepties: Het daagt de aanname uit dat goedkope unlearning-methoden efficiënt zijn. Het beargumenteert dat een lage kost vaak duidt op niet-verwijdering, terwijl effectieve verwijdering echte stabiliteitskosten met zich meebrengt.
2. Operationeel Risico: Het benadrukt dat het honoreren van RTBF-verzoeken er de diensten voor specifieke resterende instellingen stilzwijgend kan verslechteren of de bias tegen beschermde groepen kan versterken—risico's die onzichtbaar zijn voor standaard monitoring.
3. Fundament voor Toekomstig Werk: Door een open bewijslast te bieden, betoogt het artikel dat het ontwerpen van "rechtvaardigheidsbewuste unlearning"-methoden eerst een begrip vereist van deze collaterale kosten. Het stelt dat toekomstige methoden niet alleen een "forgetting gate" moeten passeren, maar ook residuele fouten moeten herverdelen om geconcentreerde schade te voorkomen.

De auteurs blijven bescheiden over de reikwijdte en merken op dat hun bevindingen gebaseerd zijn op kleine, interpreteerbare modellen en cross-silo settings met volledige participatie. Ze stellen echter dat de kwalitatieve structuur van de bevindingen (de trade-offs en het maskeren van geconcentreerde schade) robuust is over verschillende datasets en aggregatieprotocollen.