Integrating Homomorphic Encryption and Synthetic Data in FL for Privacy and Learning Quality

Deze paper introduceert Alt-FL, een privacy-bewust federatief leerframework dat homomorfische encryptie combineert met synthetische data en een wisselende trainingsstrategie om zowel de modelnauwkeurigheid met 13,4% te verhogen als de encryptiekosten met tot 48% te verlagen.

De kern

Stel je voor dat je een groep vrienden hebt die allemaal een geheim recept voor de beste taart ter wereld willen leren, maar niemand wil zijn eigen geheime ingrediëntenlijst aan de ander laten zien. Ze willen samen een "super-recept" maken, maar ze mogen hun eigen notitieboekjes niet uit elkaar halen.

Dit is precies wat Federated Learning (Federatief Leren) doet in de digitale wereld: computers werken samen om slim te worden, zonder hun privé-data (zoals foto's of medische gegevens) te delen.

Maar er is een probleem:

1. Privacy: Als ze hun "geüpdate recept" (de model-parameters) naar de centrale server sturen, kunnen slimme hackers soms terugrekenen wat de originele ingrediënten waren.
2. Snelheid & Kosten: Om dit te voorkomen, gebruiken ze een techniek genaamd Homomorf Versleuteling. Dit is alsof je je recept in een onbreekbare, zware kluis stopt voordat je het verstuurt. De server kan er wel mee rekenen, maar kan het niet openen. Het nadeel? Het is erg zwaar en traag om die kluizen te openen en te sluiten bij elke ronde.

De auteurs van dit paper (Yenan Wang en collega's) hebben een slimme oplossing bedacht die ze Alt-FL noemen. Laten we het uitleggen met een analogie uit het dagelijks leven.

De Oplossing: De "Wisselstroom" Strategie

Stel je voor dat de groep vrienden een spelletje doet om het perfecte recept te vinden. In plaats van elke ronde hun echte, dure ingrediënten te gebruiken en die in een zware kluis te stoppen, doen ze het als volgt:

Ronde 1: De Echte Ingrediënten (Authentieke Ronde)

• Ze gebruiken hun echte, privé-geheime ingrediënten.
• Ze maken een update van het recept.
• Belangrijk: Omdat dit gevoelige data is, stoppen ze het recept in de zware, dure kluis (versleuteling) en sturen het naar de server.
• Doel: Privacy beschermen.

Ronde 2: De Kunstmatige Ingrediënten (Synthetische Ronde)

• Nu gebruiken ze niet hun echte ingrediënten, maar een lijst met kunstmatige, nep-ingredienten die ze zelf hebben gegenereerd. Deze lijken op de echte, maar bevatten geen echte privacy-informatie.
• Ze maken een update van het recept op basis van deze nep-ingredienten.
• Belangrijk: Omdat het nep is, hoeven ze het niet in een kluis te stoppen! Ze sturen het gewoon open en bloot.
• Doel: Snelheid en kosten besparen (geen zware kluizen nodig).

Het Magische Effect:
Ze wisselen deze twee rondes af.

1. De nep-rondes helpen het recept om "slimmer" te worden door het dataset evenwichtiger te maken (alsof je een bakkerij helpt door extra oefenmateriaal te gebruiken). Dit maakt het eindresultaat (de taart) vaak beter en nauwkeuriger.
2. De echte-rondes zorgen ervoor dat de privacy gewaarborgd blijft, maar omdat ze maar de helft (of minder) van de tijd hoeven te versleutelen, besparen ze enorm veel tijd en energie.

Waarom is dit zo goed?

De paper laat zien dat deze "wisselstroom"-methode (Alt-FL) drie grote voordelen heeft:

1. Beter Resultaat (De Taart smaakt lekkerder):
   Door de kunstmatige data te gebruiken, wordt het model beter in het herkennen van patronen. De auteurs vonden dat hun taak (taart maken) 13,4% beter werd dan wanneer ze alleen de zware, versleutelde methode gebruikten.

2. Veilig tegen Hackers (De Dief kan niets zien):
   Ze hebben getest of hackers (die proberen de originele foto's terug te rekenen uit de versleutelde berichten) er nog steeds in slagen. Het antwoord is nee. Zelfs als hackers proberen om de "nep-rondes" te hacken, vinden ze alleen nep-data. De echte data blijft veilig, net zo goed als bij de zware, dure methode.

3. Veel Sneller en Goedkoper (Minder zware kluizen):
   Omdat ze in de "nep-rondes" geen versleuteling nodig hebben, besparen ze tot 48% aan rekenkracht en tijd. Het is alsof je 48% minder brandstof verbruikt voor dezelfde reis.

Samenvattend

Stel je voor dat je een lange reis maakt met een zware rugzak (versleuteling).

• Oude manier: Je draagt de rugzak de hele weg. Je bent veilig, maar je bent moe en traag.
• Nieuwe manier (Alt-FL): Je draagt de rugzak alleen als je door een gevaarlijk bos loopt (echte data). Als je door een veilig park loopt (nep-data), zet je de rugzak even af en loop je sneller.

Het resultaat? Je komt sneller aan, je bent minder moe, en je hebt zelfs een betere kaart (model) gemaakt onderweg, zonder dat je ooit in gevaar bent geweest. Dat is de kracht van Alt-FL.

Technische samenvatting

Titel: Integratie van Homomorf Versleuteling en Synthetische Data in Federated Learning voor Privacy en Leerkwaliteit

Auteurs: Yenan Wang, Carla Fabiana Chiasserini, en Elad Michael Schiller (Chalmers University of Technology).

---

1. Het Probleem

Federated Learning (FL) staat bekend als een privacyvriendelijke methode voor het gezamenlijk trainen van machine learning-modellen zonder dat ruwe client-data gedeeld hoeft te worden. Desondanks staan FL-systemen voor twee fundamentele uitdagingen:

• Privacy vs. Performance: Om privacy te garanderen, worden vaak cryptografische technieken zoals Homomorf Versleuteling (HE) gebruikt. HE stelt echter een zware last op de rekenkracht en bandbreedte door de grote omvang van versleutelde tekst (ciphertext) en de dure encryptie/decryptie-operaties.
• Leerqualiteit en Data-Heterogeniteit: Client-data in FL is vaak niet-identiek en onafhankelijk (non-IID) en kan onbalans vertonen, wat de convergentie en nauwkeurigheid van het globale model beïnvloedt.
• Aanvalsvectoren: Zelfs zonder ruwe data-overdracht, kunnen aanvallers via methoden zoals Deep Leakage from Gradients (DLG) gevoelige informatie reconstrueren uit gedeelde modelupdates of gradients.

De kernvraag is hoe men de privacy kan waarborgen (via HE) en de leerkwaliteit kan verbeteren (via data-balancering), zonder dat de resource-kosten (rekenkracht en bandbreedte) onbeheersbaar worden.

2. Methodologie: Alternating Federated Learning (Alt-FL)

De auteurs stellen Alt-FL voor, een nieuw framework dat Federated Averaging (FedAvg) combineert met een interleaving-strategie (afwisselend gebruik) van authentieke en synthetische data.

Kerncomponenten:

• Selectieve Homomorf Versleuteling (Selective HE): In plaats van het volledige model te versleutelen, worden alleen de gevoelige parameters versleuteld op basis van een gevoeligheidsmetriek. Dit verlaagt de overhead.
• Synthetische Data: Clienten genereren of ontvangen synthetische datasets die statistisch vergelijkbaar zijn met de authentieke data, maar disjunct (geen overlap) zijn. Deze data wordt gebruikt om de lokale datasets te balanceren.
• Afwisselend Trainen (Interleaving): Het trainingsproces wisselt af tussen twee soorten rondes, gestuurd door een instelbare parameter $\rho$ (de verhouding van synthetische rondes):
  1. Authentieke Rondes: Clients trainen met hun echte, privacygevoelige data. De modelupdates worden versleuteld (via Selective HE) voordat ze naar de server worden gestuurd.
  2. Synthetische Rondes: Clients trainen met de synthetische data. De modelupdates worden onversleuteld (plaintext) naar de server gestuurd. Omdat de data synthetisch is, vormt dit geen privacyrisico voor de echte gebruikersdata.

Werkingsprincipe:
Het model dat uit een authentieke ronde komt, wordt in de volgende synthetische ronde verder getraind op synthetische data, en vice versa. Dit zorgt ervoor dat het model profiteert van de diversiteit van de synthetische data (verbeterde convergentie en nauwkeurigheid) terwijl de versleutelingskosten worden beperkt tot alleen de rondes met echte data.

3. Belangrijkste Bijdragen

• Alt-FL Framework: Het eerste framework dat Selective HE combineert met een afwisselend gebruik van authentieke en synthetische data in FL.
• Privacy-beveiliging: Demonstreert dat het gebruik van plaintext-transmissie tijdens synthetische rondes geen privacylekken veroorzaakt voor de authentieke data, en dat Selective HE effectief is tegen DLG-aanvallen.
• Efficiëntie-verbetering: De strategie reduceert de encryptie/decryptie-overhead aanzienlijk door het aantal versleutelde rondes te verminderen, zonder de privacy te compromitteren.
• Verbeterde Leerprestaties: Door het toevoegen van synthetische data worden de datasets gebalanceerd, wat leidt tot een hogere modelnauwkeurigheid.

4. Resultaten

De auteurs hebben Alt-FL getest op de CIFAR-10 dataset met een LeNet-5 architectuur en vergeleken met benchmarks (volledig versleuteld FedAvg en Selective HE zonder interleaving).

• Nauwkeurigheid: Alt-FL resulteert in een 13,4% hogere modelnauwkeurigheid in vergelijking met de standaard Selective HE-benchmark (zonder synthetische data). De synthetische data helpt bij het overwinnen van heterogeniteit in de client-data.
• Privacy (DLG-aanvallen):
  • Bij synthetische rondes (plaintext) is de kans op het reconstrueren van authentieke beelden verwaarloosbaar klein. De vergelijkingsmetrieken (UQI, MSSSIM, VIF) tonen aan dat de gereconstrueerde beelden sterk verschillen van de originele beelden.
  • De privacybescherming tijdens authentieke rondes (via Selective HE) is robuust en vergelijkbaar met state-of-the-art methoden.
• Kostenreductie:
  • De encryptie- en decryptietijd wordt met tot 48% verlaagd door het verminderen van het aantal rondes waarin versleuteling nodig is.
  • De totale hoeveelheid verzonden ciphertext (bandbreedte) neemt af met 39,1% (bij $\rho=0,5$) ten opzichte van de benchmark.
• Convergentie: Het model heeft iets meer rondes nodig om te convergeren (van 77 naar 92 rondes bij $\rho=0,5$) vanwege het gebruik van verschillende data-types, maar dit wordt ruimschoots gecompenseerd door de lagere versleutelingskosten en de hogere eindnauwkeurigheid.

5. Betekenis en Conclusie

Dit paper toont aan dat het integreren van synthetische data in Federated Learning niet alleen de leerkwaliteit kan verbeteren, maar ook een strategisch middel is om de zware rekenlast van Homomorf Versleuteling te verminderen.

De Alt-FL-benadering biedt een praktische oplossing voor privacy-kritieke toepassingen (zoals zorg en finance) waar:

1. Strikte privacy-eisen gelden (via HE).
2. Beperkte bandbreedte en rekenkracht beschikbaar zijn.
3. Hoge modelnauwkeurigheid vereist is.

Door slim af te wisselen tussen versleutelde en onversleutelde rondes, bereiken de auteurs een optimale balans tussen privacy, prestaties en resource-efficiëntie, waardoor FL schaalbaarder wordt voor real-world implementaties. De code is openbaar beschikbaar op GitHub voor reproduceerbaarheid.