Approximate and Weighted Data Reconstruction Attack in Federated Learning

Technische Samenvatting: Benaderende en Gewogen Dataherconstructie-aanval in Federatief Leren

Probleemstelling
Federatief Leren (FL) stelt meerdere clients in staat om gezamenlijk machine learning-modellen te trainen zonder ruwe data te delen, een paradigma dat breed wordt toegepast in privacygevoelige domeinen zoals gezondheidszorg en autonome voertuigen. Hoewel FL vaak als privacybehoudend wordt beschouwd, hebben recente studies aangetoond dat tegenstanders de privé trainingsdata van clients kunnen terugwinnen uit gedeelde modelupdates via dataherconstructie-aanvallen.

Een kritieke beperking van bestaande aanvalsmethoden is hun onvermogen om effectief de veelgebruikte Federated Averaging (FedAvg)-algoritme aan te pakken in realistische scenario's. In standaard FedAvg voeren clients meerdere lokale trainings-epochen ($E > 1$) uit over meerdere mini-batches ($B > 1$) voordat ze een enkele geaccumuleerde modelupdate naar de server sturen. Bestaande aanvallen, die vaak vertrouwen op het repliceren van de trainingsdynamiek van de client, falen in dit "multi-stap"-regime omdat de server (aanvaller) geen zicht heeft op de tussentijdse modeltoestanden en de specifieke volgorde van data-shuffling die bij elke epoch plaatsvindt. Dit "ontbrekende-dynamiek"-probleem maakt het herconstructieprobleem voor huidige methoden grotendeels onoplosbaar.

Methodologie: Benaderende en Gewogen Aanval (AWA)
Om de onoplosbaarheid van het herconstrueren van data uit multi-stap FedAvg-updates aan te pakken, stellen de auteurs de Benaderende en Gewogen Aanval (AWA)-methode voor. De aanpak bestaat uit twee hoofdcomponenten:

1. Interpolatie-gebaseerde Benadering:
   De kerninnovatie is het omzetten van het onoplosbare multi-epoch herconstructieprobleem in een oplosbaar probleem. In plaats van te proberen de exacte verborgen trainingsdynamiek na te bootsen (wat onbekende data-shuffling impliceert), benadert de aanvaller de tussentijdse modelupdates voor elke epoch.

   • De methode interpol lineair tussen de initiële modelparameters ($\theta$) en de bijgewerkte parameters ($\theta^+$) die van de client zijn ontvangen.
   • Voor een client die over $E$ epochen traint, worden de benaderde parameters $\tilde{\theta}_e$ aan het einde van epoch $e$ berekend als: $\tilde{\theta}_e = \theta + \frac{e}{E}(\theta^+ - \theta)$.
   • De benaderde update voor elke epoch wordt vervolgens afgeleid als het verschil tussen opeenvolgende geïnterpoleerde parameters. Dit stelt de aanvaller in staat het multi-epoch probleem te behandelen als een reeks onafhankelijke single-epoch (Scenario 3) problemen, wat de rekenkundige overhead aanzienlijk verlaagt en de noodzaak om de exacte mini-batch-indeling te kennen, omzeilt.

2. Lagen-gewijze Gewogen Verliesfunctie:
   Met het besef dat verschillende lagen in een neurale netwerk verschillend bijdragen aan de kwaliteit van de herconstructie, introduceren de auteurs een gewogen verliesfunctie.

   • Lineaire Weging: Gewichten worden toegewezen aan verschillende lagen op basis van de netwerkarchitectuur (bijvoorbeeld convolutie-, batchnormalisatie- en volledig verbonden lagen). De gewichten nemen lineair toe van de eerste tot de laatste laag van elk type.
   • Foutgedreven Versterking: Om bias te voorkomen en de aanval verder te verfijnen, identificeert de methode lagen met grote matchingfouten (gebaseerd op het gemiddelde en de variantie van de updates) en wijst hen een vast, versterkt gewicht toe.
   • Bayesiaanse Optimalisatie: Omdat het handmatig afstemmen van deze gewichten inefficiënt is, maken de auteurs gebruik van Bayesiaanse optimalisatie om systematisch de optimale gewichtsparameters te bepalen. De objectieffunctie minimaliseert de cosinusafstand tussen de gereconstrueerde modelupdate en de doelbenaderde update.

Belangrijkste Bijdragen
Het artikel schetst drie hoofdcontributies:

1. Haalbaarheid in Realistische FedAvg: De voorgestelde interpolatie-gebaseerde benadering maakt dataherconstructie-aanvallen haalbaar en effectief in realistische FedAvg-scenario's met meerdere lokale epochen en mini-batches, een setting waarin eerdere methoden worstelen.
2. Systematische Gewichtsoptimalisatie: De introductie van een lagen-gewijze gewogen verliesfunctie, waarbij gewichten worden afgestemd via Bayesiaanse optimalisatie, verbetert de herconstructiekwaliteit aanzienlijk in vergelijking met ongewogen of empirisch gewogen benaderingen.
3. Architectuurbewustzijn en Schaalbaarheid: De methode is ontworpen om architectuurbewust te zijn in plaats van gebonden aan een specifieke netwerkstructuur. Het kan data herconstrueren uit updates die op verschillende stadia van de training zijn gelekt en toont robuustheid over variërende datasetgroottes en trainingsconfiguraties.

Experimentele Resultaten
De auteurs hebben AWA geëvalueerd op ImageNet-data met een ResNet18-architectuur, waarbij ze het vergeleken met state-of-the-art methoden: iDLG, AGIC en GENG.

• Prestatiemetrics: AWA presteerde consequent beter dan bestaande methoden op meerdere metrics: Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) en Learned Perceptual Image Patch Similarity (LPIPS). Bijvoorbeeld, in een scenario met 8 afbeeldingen, 32 epochen en 1 mini-batch, behaalde AWA een PSNR van 15,11 en een SSIM van 0,800, vergeleken met respectievelijk 10,71 en 0,468 voor GENG.
• Visuele Kwaliteit: Gereconstrueerde afbeeldingen via AWA vertoonden scherpere contouren en behielden rijkere textuurdetails in vergelijking met de wazige of vervormde outputs van andere methoden.
• Schaalbaarheid: De methode bleef effectief zelfs naarmate het aantal afbeeldingen ($N$), epochen ($E$) en mini-batches ($B$) toenam. Terwijl andere methoden (iDLG, AGIC) computatieel onpraktisch werden voor grote $N$ (bijvoorbeeld $N \ge 64$), behield AWA hoge herconstructiekwaliteit.
• Ablatiestudies: Experimenten bevestigden dat hoewel interpolatie de mogelijk makende stap is voor multi-epoch aanvallen, de lagen-gewijze lineaire weging de meest significante prestatiewinst bood, met foutgedreven versterking die verdere consistente verfijning biedt.

Betekenis en Beweringen
Het artikel beweert dat de AWA-methode kritieke privacykwetsbaarheden in huidige FL-systemen blootlegt, en specifiek aantoont dat de aanname van veiligheid in multi-stap FedAvg-updates gebrekkig is. Door succesvol ruwe trainingsdata te herconstrueren uit geaggregeerde modelupdates in realistische settings, onderstreept het werk de dringende behoefte aan robuuste verdedigingsmechanismen. De auteurs positioneren hun bevindingen als een motivatie voor het ontwikkelen van rigoureuze tegenmaatregelen om de beveiligingsgaranties van FL-frameworks te versterken tegen dergelijke privacy-inbreuken. Het werk stelt geen verdediging voor, maar benadrukt juist de ernst van de dreiging om toekomstig beveiligingsonderzoek te informeren.