Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

Technische Samenvatting: Privacy-behoudende en Verifieerbare Benaderende Gedistribueerde Coded Computing

Probleemstelling
Gedistribueerde machine learning-paradigma's, specifs Federated Learning (FL) en Decentralized Learning (DL), maken collaboratieve modeltraining mogelijk zonder de ruwe data te centraliseren. Deze systemen blijven echter kwetsbaar voor twee afzonderlijke dreigingsklassen: privacy-lekken (waarbij aanvallers gevoelige gegevens kunnen afleiden uit modelupdates) en kwaadwillige manipulatie (Byzantine-aanvallen waarbij deelnemers vergiftigde updates injecteren). Bestaande verdedigingen pakken deze bedreigingen doorgaans geïsoleerd aan. Privacy-verbeterende technologieën (PET's) zoals homomorfe encryptie of differential privacy brengen vaak een verbijsterende computationele overhead met zich mee of verslechteren de bruikbaarheid van het model. Omgekeerd mitigeren robuuste aggregatietechnieken kwaadwillig gedrag, maar adresseren zelden privacy-lekken en zijn vaak afgestemd op specifieke architecturen. Bovendien richt het meeste voorgaande werk zich op FL met een centrale aggregator, waardoor gedecentraliseerde settings—waarin data wordt uitgewisseld in plaats van modelupdates—wat betreft verenigde weerstand tegen aanvallers onderbelicht blijven.

Methodologie
De auteurs stellen een verenigd, model-agnostisch framework voor dat privacy en integriteit gezamenlijk aanpakt in zowel FL- als DL-settings. De kern van de technische fundering is Generalized Privacy-aware Berrut Approximated Coded Computing (GPBACC), een privacy-verbeterende coded computing-techniek die toepasbaar is op willekeurige machine learning-modellen.

1. Kernmechanisme (GPBACC):

   • Gebouwd op Berrut Approximated Coded Computing (BACC), dat rationele interpolatie (Berrut barycentrische formulering) gebruikt om de berekening van willekeurige functies te distribueren terwijl stragglers (achterblijvers) worden getolereerd.
   • Privacy-extensie: GPBACC introduceert Gaussische ruis in het coderingsproces. De master node codeert datatensors met behulp van een rationele interpolatiefunctie die wordt uitgebreid met willekeurige ruistermen. Dit creëert een Additive White Gaussian Noise (AWGN) kanaaleffect, wat de wederzijdse informatie beperkt die toegankelijk is voor samenzwerende semi-eerlijke nodes.
   • Generalisatie: In tegenstelling tot eerdere schema's ondersteunt GPBACC multi-source configuraties en willekeurige rank-tensor inputs, waardoor het geschikt is voor deep learning-workloads.

2. Federated Learning (FL) Integratie:

   • In FL, waar een centrale aggregator bestaat, integreert het framework GPBACC met robuuste aggregatiestrategieën (bijv. Coordinate-wise Median, Trimmed Mean, Krum, Multi-Krum).
   • De aggregatieregel wordt ingesteld als de doelunctie $f$ die door de workers wordt geëvalueerd. Het systeem stelt de coding compressie dimensie $K=1$ in om per-coördinaat decodering mogelijk te maken, waardoor de aggregator de robuust geaggregeerde update met hoge numerieke precisie kan reconstrueren ondanks de benaderende aard van de codering.

3. Decentralized Learning (DL) Integratie:

   • In DL, waar geen centrale aggregator bestaat, hanteert het framework een verificatiepipeline die een combinatie van Approximate Decode-and-Compare (ADC) en Group Testing (GT) gebruikt.
   • ADC: Omdat GPBACC gecontroleerde perturbaties introduceert voor privacy, zijn exacte gelijkheidscontroles ontoereikend. ADC stelt een dynamische drempelwaarde ($\tau$) vast op basis van een bootstrap-strategie om te bepalen of gereconstrueerde resultaten van verschillende worker-subsets consistent zijn binnen een acceptabele foutenmarge.
   • Group Testing: Om kwaadwillige workers efficiënt te isoleren zonder volledige decodering, gebruikt het systeem niet-adaptieve pooling matrices. Workers worden gegroepeerd, en hun gepoolde resultaten worden getest tegen de ADC-drempelwaarde. Een ruizige Group Testing decoder (bijv. COMP, DD) identificeert de set van adversariële workers, die vervolgens worden weggefilterd voordat de uiteindelijke reconstructie plaatsvindt.

Belangrijkste Bijdragen

• Verenigd Framework: Definitie van een enkel framework dat gelijktijdig privacy-lekken en kwaadwillig gedrag aanpakt in zowel FL- als DL-paradigma's zonder de toepasbaarheid te beperken tot specifieke modelarchitecturen.
• FL Adaptatie: Voorstel om GPBACC te combineren met robuuste aggregatiestrategieën, waarbij de model-agnostische aard van het coderingsschema behouden blijft.
• DL Adaptatie: Voorstel om GPBACC aan te vullen met approximate decode-and-compare en group testing technieken, wat lichtgewicht verificatie en isolatie van adversariële actoren mogelijk maakt zonder een vertrouwde aggregator.
• Attack-Driven Evaluatie: Een praktische evaluatiemethodologie die expliciet representatieve privacy-aanvallen (Membership Inference Attacks) en kwaadwillig gedrag (Label Flipping, Noise Addition, Gaussian Noise) implementeert om de effectiviteit van het framework empirisch te valideren, in plaats van uitsluitend te vertrouwen op theoretische garanties.

Experimentele Resultaten
Het framework werd geëvalueerd op Convolutional Neural Networks (CNN's) met behulp van de MNIST en CIFAR10 datasets.

• Federated Learning:

  • Privacy: Onder Membership Inference Attacks (RMIA) verminderde GPBACC de Area Under the Curve (AUC) aanzienlijk tot bijna willekeurige niveaus (~0.50), vergelijkbaar met Multi-Key Homomorphic Encryption (MKHE) en Differential Privacy (DP-SVT), maar zonder de ernstige degradatie van de bruikbaarheid die bij DP optreedt.
  • Robuustheid: Onder Label Flipping en Noise Addition aanvallen behield GPBACC in combinatie met robuuste aggregators (Median, Multi-Krum) een hoge nauwkeurigheid, die nauw aansluit bij ongebeschermde robuuste baselines. Hoewel Krum-aggregatie gevoeligheid vertoonde voor de benaderende decoderingsruis, convergeerde het systeem nog steeds.
  • Bruikbaarheid: GPBACC behield de bruikbaarheid van het schone model bijna perfect, met afwijkingen in nauwkeurigheid onder de $4 \times 10^{-4}$ vergeleken met ongebeschermde baselines.

• Decentralized Learning:

  • Robuustheid: Onder noise addition aanvallen stort ongebeschermde DL in (nauwkeurigheid ~0.63), terwijl GPBACC met ADC+GT een hoge nauwkeurigheid behield (>0.96), wat een veerkracht demonstreert die vergelijkbaar is met exact coded computing (ALCC), maar met grotere flexibiliteit.
  • Privacy: De wederzijdse informatie tussen de originele en gecodeerde datasets werd geschat met de KSG-estimator, wat ~1.012 bits opleverde, wat nauw aansluit bij de theoretische privacygrenzen afgeleid uit de informatie-theoretische analyse.

Betekenis en Claims
Het artikel claimt dat de combinatie van privacy-verbeterende coded computing (GPBACC) met paradigma-specifieke weerstand tegen aanvallers een praktische en inzetbare basis biedt voor veilige gedistribueerde machine learning. In tegenstelling tot voorgaande werken die privacy en robuustheid geïsoleerd behandelen of vertrouwen op zware cryptografische primitieven, biedt deze aanpak een verenigde, aanval-gevalideerde oplossing die een balans vindt tussen privacygaranties, robuustheid tegen actieve aanvallers en modelbruikbaarheid. De auteurs benadrukken dat hun bijdrage ligt in het overbruggen van deze kloven over leerparadigma's heen, door een architectuur-onafhankelijk defensiemechanisme te bieden dat geschikt is voor echte implementatie. Het werk claimt niet alle dreigingsmodellen op te lossen, maar demonstreert dat de expliciete, aanval-gestuurde integratie van deze technieken het privacy-lek aanzienlijk vermindert en de veerkracht verbetert in vergelijking met bestaande geïsoleerde verdedigingen.