Technische Samenvatting: FinP: Fairness-in-Privacy in Federated Learning door het aanpakken van Dispariteiten in Privacyrisico's

1. Probleemstelling

Federated Learning (FL) verzacht de risico's van massale datacentralisatie, maar slaagt er niet in om een rechtvaardige privacybescherming voor alle deelnemende cliënten te waarborgen. In mensgerichte FL-omgevingen leidt statistische heterogeniteit (niet-IID data) tot een ongelijkmatige verdeling van privacyrisico's. Specifiek zijn cliënten met unieke of uitschieter-datadistributies (bijv. individuen met specifieke fysieke beperkingen in Human Activity Recognition) vatbaar voor lokale overfitting. Deze overfitting zorgt ervoor dat hun lokale modellen unieke datapunten memoriseren, waardoor ze onevenredig kwetsbaar worden voor Source Inference Attacks (SIA).

In tegen tegenstelling tot Membership Inference Attacks (MIA), die bepalen of een record werd gebruikt tijdens de training, identificeert SIA de specificende cliënt die dat record heeft gegenereerd. Dit doorbreekt pseudonimiteit door gevoelige data te koppelen aan een real-world context (apparaat of locatie). Bestaande privacyverdedigingen, zoals Differential Privacy (DP), voegen vaak uniforme ruis toe die de globale bruikbaarheid (utility) verslechtert zonder de dispariteit in per-cliënt blootstelling op te lossen; in sommige gevallen verergeren ze de onrechtvaardigheid zelfs door goed vertegenwoordigde cliënten te straffen terwijl ze de afwijkende updates van scheve cliënten niet maskeren. Het artikel identificeert een kritieke kloof: het gebrek aan een framework dat fairness-in-privacy formaliseert en afdwingt, waarbij wordt gewaarborgd dat geen enkele groep een onevenredige last van privacykwetsbaarheid draagt.

2. Methodologie: Het FinP-framework

FinP is een nieuw framework dat is ontworpen om fairness-in-privacy te operationaliseren door zowel de symptomen (ongelijke risico-aggregatie) als de grondoorzaken (lokale overfitting) van privacy-dispariteit aan te pakken. Het maakt gebruik van een gesloten lus, tweeledige verdedigingsstrategie bestaande uit interventies aan de serverzijde en de cliëntzijde.

2.1 Dreigingsmodel

Het framework opereert onder een "honest-but-curious" server-aanname. De server voert het FL-protocol getrouw uit, maar probeert gevoelige cliëntinformatie te extraheren uit modelupdates en krommingsmetrieken (curvature metrics). De primaire dreiging is een tweestapsaanval:

1. Membership Inference Attack (MIA): Bepalen of een doelwit datapunt $x$ deel uitmaakt van de globale trainingsset.
2. Source Inference Attack (SIA): Indien $x$ is bevestigd als onderdeel van de trainingsset, het identificeren van de specifieke cliënt $C_i$ die dit heeft gegenereerd.

2.2 Interventie aan de Cliëntzijde: Collaboratieve Overfitting Reductie

Om de grondoorzaak van kwetsbaarheid (lokale overfitting) aan te pakken, introduceert FinP een feedbackgestuurd regularisatiemechanisme:

• Relatieve Overfitting Schatting: Cliënten schatten lokaal hun overfittingniveau in met behulp van de hoogste Hessiaanse eigenwaarde ($\lambda_{max}$) en de Hessiaanse trace ($H_T$) van hun lokale model. Deze metrieken karakteriseren de scherpte van het loss-landschap; scherpere landschappen duiden op ernstige overfitting.
• Relatieve Rangschikking ($\rho_k$): De server aggregeert deze scalaire metrieken om een relatieve overfitting-rang ($\rho_k$) voor elke cliënt te berekenen, die hun kwetsbaarheid relatief aan de federatie weergeeft. Deze rang wordt als gerichte feedback terug naar de cliënt verzonden.
• Adaptieve Regularisatie: Bij ontvangst van $\rho_k$ wijzigt de cliënt de lokale loss-functie door een regularisatieterm toe te voegen die begrensd wordt door de Lipschitz-constante (benaderd door de Jacobiaanse spectrale norm). De aangepaste loss is:
  $$L^*_k = L_k + \beta \cdot \rho_k \cdot ||J_k||$$
  Hierbij is $\beta$ een taakafhankelijke parameter. Cliënten met hogere relatieve overfitting-rangen ($\rho_k$) worden onderworpen aan sterkere regularisatie, wat hen dwingt om meer generaliseerbare representaties te leren en hun vatbaarheid voor SIA te verminderen.

2.3 Interventie aan de Serverzijde: Adaptieve Aggregatie

Om de symptomen van dispariteit aan te pakken, past de server de aggregatiegewichten van cliëntupdates dynamisch aan:

• Risico Kwantificering: De server gebruikt de relatieve overfitting-rang van de cliënt ($\rho_k$) als een proxy voor het privacyrisico.
• Adaptive Lightweight Aggregation (ALA): De server berekent aggregatiegewichten ($\alpha_k$) die omgekeerd evenredig zijn aan de riscorang:
  $$\alpha_k = \frac{1 - \rho_k}{\sum_{i=1}^K (1 - \rho_i)}$$
  Dit mechanisme vermindert de invloed van zeer kwetsbare cliënten op het globale model, waardoor voorkomt dat hun gememoriseerde, uitschieter-representaties de globale parameters onevenredig vormgeven.
• Alternatieve Baseline: Het artikel evalueert ook een PCA-gebaseerde strategie voor risico-kwantificering, maar benadrukt ALA als de computationeel efficiënte, schaalbare oplossing die geschikt is voor implementatie in de echte wereld.

3. Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

1. Formele Definitie: Het introduceert een formele definitie van fairness-in-privacy (FinP) die is afgestemd op real-world human-centric machine learning systemen, met de focus op de rechtvaardige verdeling van privacyrisico's.
2. Operationalisering: Het operationaliseert de meting van FinP binnen FL, specif으로 door kwetsbaarheden voor Source Inference Attacks (SIA) te kwantificeren.
3. Nieuw Framework: Het stelt een tweeledig technisch framework voor dat adaptieve server-zijde aggregatie en cliënt-zijde Hessian-gebaseerde regularisatie combineert om FinP te optimaliseren.
4. Empirische Validatie: Het biedt uitgebreide evaluaties op real-world (HAR) en standaard (FEMNIST, CIFAR-10) datasets, waarbij significante winsten in privacy-fairness worden aangetoond met minimale impact op de globale bruikbaarheid.

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie datasets: Human Activity Recognition (HAR), CIFAR-10 en FEMNIST, waarbij FinP werd vergeleken met standaard FedAvg, state-of-the-art heterogeniteitsverdedigingen (FedAlign) en Differential Privacy (DP-SGD).

4.1 Verbeteringen in Privacy Fairness

• HAR Dataset: FinP verminderde de Coefficient of Variation (CoV) voor de SIA-nauwkeurigheid van 0,94 (Baseline) naar 0,89, wat de Fairness Index (FI) met 5,56% verbeterde. Het verminderde de Equal Opportunity Difference (EOD) met 5,45%, wat wijst op een meer uniforme succesratio van de adversary over de cliënten.
• CIFAR-10 Dataset: FinP bereikte een verbetering van 43,1% in de Fairness Index voor voorspellingsverlies (FI(Loss)) ten opzichte van FedAlign. Het verminderde de EOD met 57,14%, wat wiskundig een meer uniforme True Positive Rate voor de adversary garandeert.
• Absolute Privacy: Op CIFAR-10 verminderde FinP de gemiddelde SIA-nauwkeurigheid van ~30,86% (FedAvg) naar 10,07%, wat effectief de succesratio van de aanval reduceert tot het niveau van willekeurige gokken (1/10).

4.2 Bruikbaarheid en Efficiëntie

• Model Bruikbaarheid: In tegenstelling tot de typische privacy-utility trade-off, behield FinP de globale modelbruikbaarheid of verbeterde het deze zelfs licht. Op CIFAR-10 bereikte FinP een testnauwkeurigheid van 78,46%, marginaal hoger dan de 77,62% van FedAvg. Op HAR was de degradatie minimaal (ongeveer 1,75%).
• Efficiëntie: Het framework vereiste slechts een marginale toename in communicatierondes om te convergeren (bijv. 10 rondes versus 9 voor de baseline in HAR).
• Vergelijking met DP: Er werd vastgesteld dat Differential Privacy (DP-SGD) de bruikbaarheid drastisch verslechtert (bijv. een daling van 34,7% in nauwkeurigheid op HAR) terwijl het er niet in slaagt de empirische privacy-fairness te verbeteren; het verslechtert de Fairness Index vaak zelfs.

4.3 Ablatie Studies

• Component Synergie: Het volledige closed-loop systeem (Server + Cliënt) leverde de hoogste fairness-winsten op. Server-zijde aggregatie alleen pakte symptomen aan, maar was onvoldoende voor structurele fairness; cliënt-zijde regularisatie alleen verminderde overfitting, maar miste de globale coördinatie om de risicoverdeling te balanceren.
• Computationele Praktischeerbaarheid: De Adaptive Lightweight Aggregation (ALA) strategie bereikte nagenoeg dezelfde fairness-verbeteringen als de computationeel dure PCA-gebaseerde baseline, maar verbruikte slechts 17% van de rekentijd.

5. Betekenis en Claims

Het artikel claimt dat FinP rechtvaardige privacybescherming vestigt door de dispariteiten in kwetsbaarheid met maximaal 57,14% te verminderen, terwijl de globale modelbruikbaarheid binnen een marginale ±1,75% van de standaard federated baselines blijft.

De auteurs stellen dat FinP significant is omdat:

1. Het de focus verschuift van gemiddelde privacygaranties naar een rechtvaardige risicoverdeling, waarmee wordt ingegaan op de "zero trust" realiteit waar enige lekkage onvermijdelijk is.
2. Het aantoont dat sterke fairness-in-privacy garanties niet ten koste hoeven te gaan van de modelbruikbaarheid; in feite kan het straffen van gelokaliseerde memorisatie het framework helpen om de generalisatie en globale nauwkeurigheid te verbeteren.
3. Het een schaalbare, praktische oplossing biedt (via ALA) die de computationele knelpunten van traditionele methoden vermijdt, waardoor het levensvatbaar is voor resource-beperkte, real-world FL-implementaties.
4. Het beleidsmakers en systeemontwerpers tastbare metrieken biedt (zoals EOD en FI) om rechtvaardige bescherming af te dwingen en het publieke vertrouwen in AI-systemen te bevorderen.

Het artikel concludeert dat zonder expliciet de ongelijkmatige verdeling van risico aan te pakken, FL het risico loopt de sociale ongelijkheden te versterken die het juist probeert te omzeilen, en dat FinP een structureel mechanisme biedt om deze digitale ongelijkheid te voorkomen.