ZK-HybridFL: Zero-Knowledge Proof-Enhanced Hybrid Ledger for Federated Learning

ZK-HybridFL is een beveiligd, decentraal federatief leerframework dat een DAG-ledger combineert met zero-knowledge bewijzen en sidechains om privacy-bewuste modelvalidatie te bieden, wat resulteert in snellere convergentie, hogere nauwkeurigheid en betere weerstand tegen aanvalsen vergeleken met bestaande methoden.

De kern

Stel je voor dat een groep mensen samen een heel slimme kunstmatige intelligentie (een "AI") wil bouwen, maar niemand wil hun eigen geheime gegevens (zoals foto's van hun familie of medische dossiers) delen. Dit is het idee van Federated Learning: iedereen traint het model op hun eigen computer, en alleen de "leerresultaten" worden gedeeld, niet de data zelf.

Het probleem is: hoe weet je dat de resultaten die iemand opstuurt eerlijk zijn? Wat als iemand nep-resultaten stuurt om het hele systeem te saboteren, of gewoon oude resultaten opnieuw opstuurt om tijd te besparen?

De auteurs van dit paper hebben ZK-HybridFL bedacht. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Grote Klas" zonder Toezicht

Stel je een enorme klas voor waar iedereen samen een puzzel oplost.

• De oude manier (Centraal): Er is één meester die alle stukjes verzamelt. Als de meester ziek wordt, stopt het spel.
• De nieuwe manier (Decentraliseerd): Iedereen werkt samen zonder meester. Maar nu kan elke leerling zeggen: "Ik heb dit stukje gevonden!" terwijl ze eigenlijk een nepstukje hebben. Of ze sturen een oud stukje op dat al eerder gebruikt is.
• De huidige oplossing: Meestal vragen ze: "Laat eens zien of je stukje past op deze openbare puzzel." Maar dit is gevaarlijk. Als je je eigen stukje aanpast om op die openbare puzzel te passen, heb je je eigen geheime stukje misschien wel verpest. En boeven kunnen hun nepstukjes zo aanpassen dat ze op de openbare puzzel wel passen, maar het hele plaatje verpesten.

2. De Oplossing: ZK-HybridFL

De auteurs bouwen een nieuw systeem met drie magische onderdelen:

A. De "Onzichtbare Magiër" (Zero-Knowledge Proofs)

Dit is het coolste deel. Stel je voor dat je een leerling hebt die zegt: "Ik heb mijn huiswerk gemaakt, en ik heb een 10 gehaald."

• Huidige manier: De leraar vraagt: "Laat je huiswerk zien." Dan weet de leraar alles over je huiswerk (en misschien je geheime antwoorden).
• ZK-HybridFL manier: De leerling gebruikt een magische magische doos (een Zero-Knowledge Proof). Ze stopt haar huiswerk in de doos, draait aan een knop, en de doos geeft een groen lampje af met de tekst: "Ik heb bewezen dat dit huiswerk correct is en een 10 heeft, zonder dat ik het huiswerk zelf heb laten zien."

In het systeem betekent dit: een computer kan bewijzen dat het model correct is getraind op zijn eigen geheime data, zonder die data ooit te onthullen. De "magie" is wiskundig onweerlegbaar.

B. De "DAG-Boekhouding" (DAG Ledger)

In plaats van één lange rij blokken (zoals een traditionele blockchain), gebruiken ze een DAG (Directed Acyclic Graph).

• Vergelijking: Denk aan een traditionele blockchain als een enkele treinbaan. Als er een trein vastzit, stopt alles. Een DAG is meer zoals een spinnenweb van wegen. Als één weg vastzit, kunnen auto's (de data) gewoon een andere weg nemen.
• Dit maakt het systeem veel sneller en schaalbaarder. Het kan duizenden computers aan, zonder dat het vastloopt.

C. De "Wraakende Orakels" (Challenge Mechanism)

Wat als iemand toch probeert te bedriegen? Bijvoorbeeld door een heel klein, onzichtbaar stukje gif in zijn update te stoppen?

• Het systeem heeft een uitdagingsmechanisme. Stel, een leerling zegt: "Die update van die ander is nep!"
• Dan komen er Orakels (betrouwbare toezichthouders) kijken. Ze checken de "magische doos" van de verdachte.
• De straf: Als de verdachte inderdaad bedriegt, wordt hij uit het spel gegooid en moet hij zijn "inzet" (geld of reputatie) verliezen. Als de leerling die de ander beschuldigde, onterecht was, moet hij zijn inzet verliezen. Dit zorgt ervoor dat mensen alleen beschuldigen als ze zeker weten dat er iets mis is.

3. Waarom is dit beter dan de rest?

De auteurs hebben dit getest tegen andere systemen (Blade-FL en ChainFL).

• Snelheid: Het is sneller omdat het niet wacht op één meester, maar gebruikt het "spinnenweb" (DAG).
• Veiligheid: Het is veel moeilijker om te bedriegen omdat je niet kunt "kijken" naar de data om te valideren; je moet de magische doos gebruiken.
• Privacy: Je hoeft je geheime data nooit te delen, zelfs niet voor controle.
• Robuustheid: Zelfs als 20% van de deelnemers boeven zijn of lui zijn (en oude resultaten opsturen), blijft het systeem werken en leert het model steeds beter.

Samenvatting in één zin

ZK-HybridFL is als een superveilig, snel en decentraal teamwerk-systeem waar iedereen mag bewijzen dat ze eerlijk werken met een magische doos, zonder hun geheimen te onthullen, en waar boeven en luie mensen direct worden opgespoord en gestraft.

Het is een grote stap voorwaarts om AI samen te bouwen zonder dat we onze privacy opgeven of bang hoeven te zijn voor hackers.

Technische samenvatting

1. Probleemstelling

Federated Learning (FL) staat bekend om het trainen van modellen op gedistribueerde data zonder de data zelf te delen, wat de privacy waarborgt. Echter, bestaande decentrale FL-architecturen (zoals Blade-FL en ChainFL) kampen met ernstige tekortkomingen op het gebied van schaalbaarheid, beveiliging en validatie:

• Privacy-risico's bij validatie: Veel systemen gebruiken openbare datasets om lokale modelupdates te valideren. Dit blootlegt gevoelige informatie via aanvallen zoals gradient inversion of label inference, en de validatie is vaak niet representatief voor de echte, private data.
• Beveiligingskwetsbaarheden: Systemen die vertrouwen op Proof of Work (PoW) hebben een hoog energieverbruik en zijn kwetsbaar voor Byzantine Fault Tolerance (BFT) aanvallen. Andere systemen zijn vatbaar voor "orphanage attacks" (waarbij kwaadaardige nodes hun eigen ongeldige blokken als ouders selecteren) en het doorgeven van verouderde updates door "luie" nodes.
• Schaalbaarheid: Traditionele blockchain-structuren worden vaak een bottleneck bij het groeien van het netwerk, wat leidt tot hoge latentie en lage doorvoer.
• Validatie zonder privacy: Er is een gebrek aan methoden om de correctheid van lokale updates te verifiëren zonder de onderliggende data of het model te onthullen.

2. Methodologie: ZK-HybridFL

De auteurs stellen ZK-HybridFL voor, een hybride decentraal FL-framework dat drie kerncomponenten combineert: een Directed Acyclic Graph (DAG) ledger, sidechains met event-driven smart contracts, en Zero-Knowledge Proofs (ZKPs).

A. Architectuur

1. DAG Ledger (GoShimmer/IOTA Coordicide):

   • In plaats van een lineaire blockchain wordt een DAG gebruikt voor het opslaan van modelupdates. Dit zorgt voor hogere doorvoer en lagere latentie.
   • Blokken worden niet alleen bevestigd op basis van tijd, maar op basis van een Aggregated Weight (AW). Een blok krijgt gewicht als het wordt geverifieerd door andere nodes.
   • Alleen blokken met een geldig ZKP en een lage loss (hoge kwaliteit) krijgen voldoende gewicht om "confirmed" te worden.

2. Sidechain met Event-Driven Smart Contracts (EDSCs):

   • Een dedicated sidechain (gebaseerd op Substrate) draait de complexe logica, zoals het verifiëren van ZKPs, het aggregeren van modellen en het verdelen van beloningen.
   • Dit ontlast de hoofd-DAG van zware berekeningen.
   • Oracle Committee: Een vertrouwde groep nodes (orakels) verifieert off-chain events en publiceert een getekend "EventApproved" log op de sidechain. Dit fungeert als een lichtgewicht consensuslaag voor het triggeren van smart contracts zonder zware consensusprotocollen zoals Raft of PoW.

3. Zero-Knowledge Proofs (ZKPs):

   • Privacy-preserving Validatie: Nodes genereren een ZK-SNARK (Groth16) om te bewijzen dat hun modelupdate correct is berekend op hun private testdata, zonder de data of het model zelf te onthullen.
   • Workflow: Een node commit eerst zijn model en testdata (via KZG-commitments), genereert vervolgens een bewijs (proof) off-chain, en publiceert het resultaat. De verificatie gebeurt on-chain.
   • Predict-then-Prove: Om de trainingstijd niet te vertragen, wordt het bewijs asyncron gegenereerd terwijl de node al doorgaat met de volgende trainingstap.

4. Uitgebreide Defensies (Extended ZKP):

   • Om subtiele aanvallen te voorkomen (zoals het opnieuw indienen van oude modellen met kleine ruis, of het minimaliseren van updates), worden extra bewijzen toegevoegd:
     • Bulletproof: Verifieert dat de norm van de update binnen een dynamisch bereik ligt (geen verouderde of triviale updates).
     • Cosine-SNARK: Verifieert dat er een significante semantische verandering is in de modelactivaties (geen "stalling").

5. Uitdagingmechanisme (Challenge Mechanism):

   • Nodes kunnen verdachte blokken aanvechten via een Graph Reachability Analysis (GRA). Als een blok niet bereikbaar is vanaf de huidige "tips" van de DAG, wordt het gecontesteerd.
   • Orakels verifiëren het bewijs. Als het bewijs ongeldig is, wordt het blok verwijderd en wordt de stake van de aanvaller in beslag genomen (slashing).

3. Belangrijkste Bijdragen

1. Hybride Ledger Systeem: Een innovatieve combinatie van een DAG voor schaalbare opslag en sidechains voor consensus en validatie, wat de bottlenecks van pure PoW- of DAG-systemen opheft.
2. ZKP-gedreven Validatie: Het eerste framework dat ZKPs gebruikt voor publieke validatie van inferentie-correctheid op private data, waardoor openbare datasets overbodig worden en privacy volledig gewaarborgd blijft.
3. Robuustheid tegen Aanvallen: Het systeem is ontworpen om resistent te zijn tegen orphanage attacks, Byzantine nodes (kwaadaardige nodes) en lazy nodes (nodes die niet trainen), dankzij de combinatie van loss-aware aggregatie en economische sancties (slashing).
4. Efficiëntie: Door het gebruik van "predict-then-prove" en sidechains wordt de overhead van ZKPs geminimaliseerd, waardoor sub-seconden verificatie mogelijk is met lage gas-kosten.

4. Resultaten

De auteurs hebben uitgebreide simulaties uitgevoerd met MNIST (beeldclassificatie) en Penn Treebank (taalmodellen) en vergeleken met Blade-FL en ChainFL.

• Leerprestaties:
  • ZK-HybridFL convergeert sneller en bereikt een hogere nauwkeurigheid (bijv. ~98-99% op MNIST) en lagere perplexiteit dan de concurrenten.
  • Zelfs bij 20% kwaadaardige nodes en 10% luie nodes blijft ZK-HybridFL stabiel, terwijl Blade-FL en ChainFL vaak falen of in een lokale optimum blijven steken.
• Schaalbaarheid en Latentie:
  • ZK-HybridFL heeft de laagste latentie (bijv. ~7.7s voor een update rondje bij 15 nodes) en de hoogste doorvoer.
  • ChainFL lijdt onder synchronisatie-overhead tussen shards, en Blade-FL wordt vertraagd door PoW-mining.
• Kosten:
  • De verifiëring van een ZKP kost minder dan 0.1 seconden en verbruikt slechts ~20-24k gas (verwaarloosbaar vergeleken met een bloklimiet van 2M gas).
  • Het genereren van het bewijs is de enige zware taak, maar dit wordt parallel uitgevoerd met de training.
• Robuustheid:
  • Het systeem detecteert en verwijdert effectief ongeldige updates. In vergelijking met ChainFL (dat openbare datasets gebruikt) is ZK-HybridFL veel beter bestand tegen "utility-preserving" aanvallen waarbij kwaadaardige nodes goed presteren op publieke data maar het globale model saboteren.

5. Significantie

ZK-HybridFL biedt een doorbraak in het veld van decentraal machine learning door drie kritieke problemen tegelijk op te lossen:

1. Privacy: Het elimineert de noodzaak voor openbare validatiedatasets, wat privacylekken voorkomt.
2. Veiligheid: Het biedt een wiskundig onderbouwde manier om de integriteit van updates te garanderen zonder vertrouwen in centrale autoriteiten.
3. Schaalbaarheid: Het combineert de snelheid van DAG-technologie met de veiligheid van cryptografische bewijzen, waardoor het geschikt is voor grote, heterogene netwerken (zoals IoT en 5G-UAV's).

De studie toont aan dat het mogelijk is om een volledig decentrale, veilige en privacy-bewuste Federated Learning infrastructuur te bouwen die superieur presteert aan bestaande blockchain-oplossingen, zelfs in vijandige omgevingen.