VFEFL: Privacy-Preserving Federated Learning against Malicious Clients via Verifiable Functional Encryption

Dit artikel introduceert VFEFL, een privacy-beschermend federatief leerframework dat verifieerbare functionele encryptie gebruikt om zowel data-privacy te waarborgen als kwaadaardige clients te detecteren zonder afhankelijkheid van niet-colluderende dubbele servers of vertrouwde derden.

De kern

Stel je voor dat een groep vrienden samen een geweldig recept voor een nieuwe taart wil bedenken. Iedereen heeft zijn eigen geheim ingrediënt (zijn eigen data), maar niemand wil dat de anderen weten wat er precies in hun eigen keukenkastje zit.

In de wereld van computers noemen we dit Federated Learning. In plaats van dat iedereen zijn geheime ingrediënten naar één grote keuken (de server) stuurt, sturen ze alleen een verslag van wat ze hebben gedaan. De server mixt deze verslagen tot één groot recept.

Het probleem:

1. Lekken: Als je het verslag in "gewone tekst" (onversleuteld) stuurt, kan een slimme spion (een hacker) het verslag terugrekenen en jouw geheim ingrediënt achterhalen.
2. Sabotage: Een boze vriend (een kwaadaardige client) kan een vervalst verslag sturen. Bijvoorbeeld: "Ik heb 100 kilo suiker gebruikt!" of "Ik heb het recept volledig omgekeerd!" Hierdoor wordt de hele taart on eetbaar.

De meeste bestaande oplossingen hebben een probleem: ze hebben twee onafhankelijke bewakers nodig die nooit samenzweren, of ze hebben een vertrouwde derde nodig. Dat is in de echte wereld vaak lastig te regelen.

De oplossing: VFEFL (De "Verifieerbare Magische Doos")

Dit papier introduceert VFEFL, een slim systeem dat dit probleem oplost zonder extra bewakers. Het gebruikt een techniek die we Verifiable Functional Encryption noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen:

1. De Magische Doos (Verifieerbare Functionele Versleuteling)

Stel je voor dat elke vriend zijn verslag in een magische, onbreekbare doos stopt.

• Privacy: De server kan de doos niet openen om te zien wat er binnenin zit. Hij ziet alleen een glimmende doos.
• De Truc: De server heeft een speciale sleutel die de doos niet opent om te lezen, maar om er direct een totaalsom uit te halen. Hij kan bijvoorbeeld de "smaak" van alle doosjes samenvoegen zonder de individuele recepten te zien.
• Verificatie: Dit is het nieuwe en slimme deel. De vriend die de doos stuurt, moet ook een magisch stempel (een wiskundig bewijs) meesturen. Dit stempel zegt: "Ik zweer dat ik de doos correct heb gevuld met mijn eigen verslag, en dat ik niet probeer de server te bedriegen."

2. De Boze Vrienden (Kwaadaardige Clients)

Wat gebeurt er als een boze vriend probeert de taart te saboteren?

• De Norm-Controle: In het verleden konden boze vrienden hun verslag "opblazen" (bijvoorbeeld door te zeggen dat ze een enorme hoeveelheid suiker gebruikten), waardoor hun verslag het hele recept overstemde.
• De Nieuwe Regel: VFEFL heeft een nieuwe regel: "We kijken niet alleen naar wat je zegt, maar ook naar hoe groot je verslag is."
  • De server vergelijkt het verslag van de vriend met een basisverslag (een standaard taartrecept dat de server zelf heeft getest).
  • Als een vriend een verslag stuurt dat er totaal anders uitziet dan de basis, of als hij probeert zijn verslag "op te blazen" met enorme getallen, dan wordt dat verslag genegeerd.
  • Het is alsof de server zegt: "Je zegt dat je 1000 kilo suiker hebt gebruikt? Dat past niet in onze keuken. Ik neem je verslag niet mee."

3. Geen Extra Bewakers Nodig

De meeste andere systemen zeggen: "We hebben twee bewakers nodig die nooit met elkaar praten, zodat ze niet samen kunnen samenzweren."
VFEFL zegt: "Nee, dankjewel!"
Het systeem is zelfstandig. Het werkt met één server en de vrienden zelf. Door de slimme wiskundige "magische stempels" weten ze zeker dat iedereen eerlijk speelt, zonder dat er een derde persoon nodig is om te controleren.

Samenvatting in het Kort

Dit papier presenteert een nieuwe manier om samen te werken aan een AI-model (zoals een taartrecept) waarbij:

1. Niemand je geheimen leest (Privacy).
2. Boze spelers de taart niet kunnen verpesten (Robuustheid tegen aanvallen).
3. Iedereen kan bewijzen dat hij eerlijk is zonder zijn geheimen te onthullen (Verifieerbaarheid).
4. Het werkt in een simpele opstelling zonder extra bewakers of vertrouwde derden.

Het is alsof je een groep vrienden hebt die samen een meesterwerk maken, waarbij iedereen zijn eigen geheim bewaart, maar waar iedereen weet dat niemand probeert de hele groep voor de gek te houden. En het beste van alles? Ze hoeven hiervoor geen extra bewakers in te huren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "VFEFL: Privacy-preserving federated learning against malicious clients via verifiable functional encryption" in het Nederlands.

Titel: VFEFL: Privacy-bewuste Federated Learning tegen kwaadaardige clients via verifieerbare functionele encryptie

1. Probleemstelling

Federated Learning (FL) is een gedistribueerd leerparadigma dat samenwerking tussen clients mogelijk maakt zonder lokale data te delen. Ondanks zijn voordelen voor privacy, introduceert FL nieuwe veiligheidsrisico's:

• Privacylekken: De overdracht van lokale modellen in platte tekst (plaintext) is kwetsbaar voor model inversion attacks, waarbij aanvallen de oorspronkelijke trainingsdata kunnen reconstrueren.
• Kwaadaardige Clients (Byzantine Attacks): Door de gedistribueerde aard van FL is het systeem vatbaar voor aanvallen van kwaadaardige clients. Deze kunnen de nauwkeurigheid van het globale model drastisch verlagen door valse modellen te uploaden, of de decryptie verstoren door onjuiste sleutels of ciphertexts te gebruiken.
• Beperkingen van bestaande oplossingen: Bestaande methoden voor privacy en robustheid vereisen vaak een "non-colluding dual-server" architectuur (twee servers die niet samenzweren) of een vertrouwde derde partij. Dit introduceert extra complexiteit, kosten en afhankelijkheden die niet ideaal zijn voor basis-FL-architecturen (één server, meerdere clients).

Het doel is een FL-systeem te ontwerpen dat privacy garandeert, resistent is tegen kwaadaardige clients, en werkt binnen een standaard één-server architectuur zonder vertrouwde derden.

2. Methodologie

De auteurs stellen VFEFL (Verifiable Functional Encryption Federated Learning) voor, een framework dat gebaseerd is op een nieuw cryptografisch primitief: Cross-Ciphertext Decentralized Verifiable Functional Encryption (CC-DVFE).

A. CC-DVFE Schemabouw
Dit is een verbetering van bestaande Multi-Client Functional Encryption (MCFE) schema's. Het stelt in staat om specifieke relaties over meerdere ciphertexts te verifiëren zonder de data te onthullen.

• Verifieerbaarheid: Het schema gebruikt Zero-Knowledge Proofs (ZKP) om te garanderen dat ciphertexts en functionele decryptiesleutel-shares correct zijn gegenereerd volgens het protocol.
• Cross-Ciphertext Verificatie: In tegenstelling tot eerdere schema's die alleen individuele ciphertexts verifiëren, kan CC-DVFE relaties tussen ciphertexts van verschillende clients verifiëren. Dit is essentieel voor het toepassen van robuuste aggregatieregels.
• Decentralisatie: Het vereist geen centrale autoriteit voor sleutelgeneratie; clients genereren hun eigen sleutels en sleutelshares via een interactief protocol.

B. Nieuwe Robuuste Aggregatieregel
Om kwaadaardige clients te detecteren en te neutraliseren, introduceert VFEFL een nieuwe aggregatieregel die inspiratie put uit FLTrust, maar is aangepast voor encryptie:

1. Baseline Model: De server onderhoudt een klein, schoon dataset ($D_0$) om een vertrouwd baseline-model ($W^t_0$) te trainen.
2. Directionele en Magnitudelijke Controle: De regel meet de gelijkenis tussen het lokale model van een client ($W^t_i$) en het baseline-model.
   • Het gebruikt het inproduct $\langle W^t_i, W^t_0 \rangle$ voor richting.
   • Het normaliseert dit met de grootte van het lokale model $\langle W^t_i, W^t_i \rangle$ om te voorkomen dat kwaadaardige clients hun aanval versterken door de magnitude van hun gradienten kunstmatig op te blazen (zoals bij Scaling Attacks).
3. ReLU-functie: Alleen bijdragen met een positieve correlatie (naar het baseline-model) worden meegenomen via een ReLU-functie.
4. Normalisatie: Het globale model wordt genormaliseerd ten opzichte van het baseline-model om stabiliteit te garanderen.

C. Workflow

1. Setup: Server en clients genereren publieke parameters en sleutels.
2. Training & Encryptie: Clients trainen lokaal, encrypten hun model met CC-DVFE en genereren een ZKP.
3. Key Share: Clients genereren een functionele decryptiesleutel-share (gebaseerd op de gewogen bijdrage) met bijbehorende ZKP.
4. Verificatie: De server verifieert alle ciphertexts en sleutelshares. Onjuiste bijdragen worden geweigerd.
5. Aggregatie & Decryptie: De server combineert de geldige sleutelshares, decrypteert de geaggregeerde resultaten (het inproduct van alle modellen) en past de robuuste aggregatieregel toe om het nieuwe globale model te verkrijgen.

3. Belangrijkste Bijdragen

1. Nieuw Cryptografisch Schema (CC-DVFE): Een formeel gedefinieerd en bewezen schema voor verifieerbare functionele encryptie dat cross-ciphertext relaties ondersteunt, specifiek ontworpen voor FL-scenario's.
2. VFEFL Framework: Een volledig FL-systeem dat privacy (via encryptie) en robustheid (via verifieerbare aggregatie) combineert in een single-server architectuur, zonder afhankelijkheid van niet-samenzwerende servers of vertrouwde derden.
3. Formele Bewijzen:
   • Privacy: Bewezen onder standaard aannames (DDH, Multi-DDH, HSM) dat de server en eavesdroppers geen informatie over lokale data of modellen kunnen afleiden.
   • Verifieerbaarheid: Bewezen dat kwaadaardige clients geen ongeldige ciphertexts of sleutels kunnen injecteren zonder gedetecteerd te worden.
   • Robuustheid: Theoretische garanties dat het globale model binnen een bepaalde grens blijft van het optimale model, zelfs onder aanval.
4. Empirische Evaluatie: Uitgebreide experimenten op MNIST, Fashion-MNIST en CIFAR-10 datasets.

4. Resultaten

De experimentele evaluatie toont aan dat VFEFL de volgende doelen bereikt:

• Fidelity (Nauwkeurigheid): In afwezigheid van aanvallen behoudt VFEFL een nauwkeurigheid die vergelijkbaar is met de standaard FedAvg (bijv. ~99% op MNIST), zonder significant verlies door de encryptie.
• Robuustheid:
  • VFEFL is zeer effectief tegen Gaussian Attacks, Scaling Attacks en Adaptive Attacks.
  • In tegenstelling tot bestaande methoden (zoals Krum of FLTrust zonder encryptie), blijft VFEFL stabiel bij Scaling Attacks omdat de aggregatieregel de magnitude van de modellen controleert.
  • Het onderdrukt succesvol Label Flipping Attacks (ASR daalt aanzienlijk).
• Efficiëntie: Hoewel cryptografische operaties (zoals discrete logaritme berekeningen) rekenkracht kosten, blijft de totale trainingsduur binnen acceptabele grenzen voor praktische toepassing. De communicatie-overhead is beperkt tot het uploaden van ciphertexts en proofs.

5. Betekenis en Impact

Dit paper is significant omdat het een van de eerste oplossingen biedt die privacy en Byzantine-robustheid combineert binnen de meest basale en wijdverspreide FL-architectuur (één server).

• Eliminatie van Vertrouwde Derden: Door het verwijderen van de noodzaak voor "non-colluding servers" of "trusted third parties", maakt VFEFL privacy-bewuste FL toepasbaar in real-world scenario's waar dergelijke infrastructuur ontbreekt.
• Veiligheid tegen Geavanceerde Aanvallen: De combinatie van verifieerbare encryptie en een nieuwe aggregatieregel biedt een sterke verdediging tegen zowel privacy-inbreuken als modelvergiftiging.
• Toekomstperspectief: De methode biedt een blauwdruk voor het ontwerpen van veilige, gedistribueerde leersystemen die zowel data-privacy als systeemintegriteit garanderen zonder de complexiteit van multi-server setups.

Kortom, VFEFL bewijst dat het mogelijk is om een federated learning systeem te bouwen dat zowel privacy-bewust als robuust is tegen kwaadaardige actoren, puur gebaseerd op geavanceerde cryptografie en een slimme aggregatiestrategie, zonder externe vertrouwde entiteiten.