Proof of Reasoning for Privacy Enhanced Federated Blockchain Learning at the Edge

Technische Samenvatting: Proof of Reasoning voor Privacy-verbeterde Federatieve Blockchain-leren aan de Edge

Probleemstelling
Het artikel behandelt de kritieke uitdagingen van het implementeren van federated learning (FL) binnen Internet of Things (IoT)-omgevingen, met name in de gezondheidszorg. Hoewel deep learning een aanzienlijk potentieel biedt, is het direct trainen op edge-apparaten vaak computationeel te belastend. Bovendien worden bestaande FL-benaderingen geconfronteerd met een dichotomie: gecentraliseerde aggregatie vereist vertrouwen in een server, terwijl gedecentraliseerd blockchain-gebaseerd FL transparantie introduceert die de gegevensprivacy in gevaar brengt. Standaard blockchain-consensusmechanismen (bijv. Proof of Work, Proof of Stake) zijn niet ontworpen voor FL; ze falen in het valideren van de kwaliteit van modelbijdragen zonder de ruwe data of modelgewichten bloot te stellen aan inversie-aanvallen. Daarnaast blijft het onderscheid tussen kwaadaardige modellen en niet-conforme modellen (als gevolg van non-IID datadistributies) moeilijk, en huidige privacy-beschermende technieken zoals homomorfe encryptie of differential privacy brengen vaak hoge computationele kosten met zich mee of verminderen de modelnauwkeurigheid.

Methodologie: Proof of Reasoning (PoR)
De auteurs stellen Proof of Reasoning (PoR) voor, een nieuw consensusmechanisme dat specifiek is afgestemd op federated learning op de blockchain. PoR integreert een driefasig proces dat is ontworpen om privacy te waarborgen terwijl verifieerbare aggregatie mogelijk wordt gemaakt:

1. Privacy-beschermende data-encodering via Masked Autoencoders (MAE):

   • In tegenstelling tot standaard MAEs, waarbij de input tijdens inferentie niet gemaskeerd is, maakt PoR gebruik van een getrainde encoder transformer die tijdens de downstream classificatiefase een hoog percentage inputpatches (bijv. 75–90%) blijft maskeren.
   • Het systeem maakt gebruik van een lichtgewicht encoder (geïmplementeerd aan de edge) en een grotere decoder (gebruikt alleen tijdens de pre-training).
   • De encoder genereert een feature map van de niet-gemaskeerde patches. Deze gecodeerde data is geobfusceerd, waardoor het resistent is tegen menselijke reconstructie en modelinversie-aanvallen, aangezien de decoder niet gedeeld wordt en de inputpatches onvoldoende zijn voor het reconstrueren van de originele afbeelding.

2. Downstream Classifier Training aan de Edge:

   • Een lichtgewicht downstream classifier wordt aan de edge getraind op de gecodeerde feature maps.
   • Deelnemers kunnen lokaal trainen, gebruikmaken van gedistribueerde IoT "mist"-netwerken, of hun training uitbesteden aan externe instellingen, mits zij alleen de gecodeerde data en modelgewichten delen, en niet de ruwe inputs.
   • Om om te gaan met datascarciteit en variantie in federatieve settings, maken de auteurs gebruik van transfer learning (pre-training op ImageNet of domeinspecifieke datasets zoals ChestMnist) en introduceren zij een residual bottleneck layer aan de classifier-architectuur.

3. Blockchain Integratie en Consensus:

   • Deelnemers uploaden een Encoder-Decoder Interface (EDI) transactie naar de blockchain. Deze transactie bevat:
     • De gewichten van de downstream classifier ($\omega_i$).
     • Een gecodeerd datapunt ($\kappa_i$).
     • De output van de classifier op dat datapunt ($\hat{y}_i$).
     • Het grondwaarheid label ($y_i$).
   • Cruciaal is dat de transactie niet de ruwe input ($x_i$) of de encoder-gewichten ($\lambda_i$) bevat, wat ervoor zorgt dat de eenrichtingsnatuur van de encodering inversie voorkomt.
   • PoR Validatie: Het consensusmechanisme verifieert dat de output van elk netwerk op het gecodeerde datapunt binnen een gespecificeerde tolerantie ($\epsilon$) valt.
   • Ranking en Aggregatie: Een scorefunctie ($S_\pi$) evalueert de prestaties van elke classifier over alle geüploade gecodeerde datapunten. Een reductiefunctie ($R_\pi$) aggregeert deze scores om deelnemers te rangschikken. Het globale model wordt vervolgens bijgewerkt op basis van deze rangschikkingen, wat complexe aggregatiebeleid mogelijk maakt dat bijdragen weegt op basis van geverifieerde prestaties in plaats van onverifieerbare steekproefaantallen.

Belangrijkste Bijdragen

• Nieuw Consensusmechanisme: Introductie van PoR, dat generieke consensus (PoW/PoS) vervangt door een mechanisme dat modelbijdragen valideert op basis van werkelijke prestaties op gecodeerde data, waardoor de impact van kwaadaardige modellen wordt gemitigeerd zonder de niet-conforme maar nuttige modellen te elimineren.
• Robuuste Privacy via MAE: Demonstratie dat Masked Autoencoders een hoog maskeringspercentage (tot 90%) kunnen handhaven tijdens downstream taken zonder catastrofaal nauwkeurigheidsverlies, wat het gebruik van gecodeerde data voor validatie mogelijk maakt terwijl modelinversie wordt voorkomen.
• Verifieerbare Aggregatie: Het framework maakt meer geavanceerde aggregatiemethoden mogelijk door het bieden van transparante, verifieerbare prestatiemetrieken (via EDI-transacties) in plaats van te vertrouwen op zelfgerapporteerde statistieken.
• Edge-Geoptimaliseerde Architectuur: Een systeemontwerp dat de computationele complexiteit aan de edge minimaliseert door alleen de lokale training van lichtgewicht classifiers te beperken, terwijl de zware encoder vooraf wordt getraind en gedeeld.

Experimentele Resultaten
De auteurs evalueerden het framework met de Cifar-10, Cifar-100, ImageNet, ChestMnist en PneumoniaMnist datasets:

• Maskeringseffectiviteit: Experimenten op Cifar-10 toonden aan dat hogere maskeringpercentages (bijv. 90%) de downstream classificatienauwkeurigheid verbeterden ondanks de vermindering van de reconstructienauwkeurigheid, wat aangeeft dat de encoder effectieve representaties voor classificatie heeft geleerd. Willekeurige maskering presteerde beter dan correlatiegebaseerde maskering.
• Transfer Learning: Het pre-trainen van MAEs op ImageNet en het bevriezen van de gewichten (behalve de encoder transformer) verbeterde de federatieve prestaties op Cifar-10 aanzienlijk vergeleken met training vanaf nul.
• Medische Beeldvorming: Op de PneumoniaMnist dataset (binaire classificatie) presteerde de federatieve PoR-aanpak ten minste 2,56% beter dan de niet-federatieve baselines. Het systeem bereikte een hoge precisie (tot 98,97%) en recall (tot 97,95%) met een laag aantal epochs tussen aggregatierondes.
• Schaalbaarheid: Het systeem demonstreerde een lage latentie en beheersbare opslaggroei, geschikt voor grootschalige IoT-netwerken.

Betekenis en Claims
Het artikel beweert dat PoR een gebalanceerde oplossing biedt voor privacygevoelige, gedecentraliseerde AI in de gezondheidszorg. Door de validatie van de modelkwaliteit los te koppelen van de blootstelling van ruwe data, maakt PoR veilige samenwerking mogelijk tussen instellingen met verschillende doelen (bijv. private versus publieke ziekenhuizen). De auteurs stellen dat deze aanpak:

• De robuustheid van federatieve netwerken versterkt tegen kwaadaardige aanvallen en vergiftiging (poisoning).
• De computationele complexiteit aan de edge vermindert door de lokale training te beperken tot lichtgewicht classifiers.
• Een verifiebaar alternatief biedt voor standaard federated averaging (FedAvg), dat vertrouwt op onverifieerbare metadata.
• Zich aanpast aan evoluerende regelgeving en netwerkcondities, waardoor continu leren in dynamische IoT-omgevingen wordt ondersteund.

De auteurs concluderen dat hoewel het volledig federeren van de encoder in scenario's met meerdere kanalen privacy-afwegingen met zich meebrengt, het aggregeren van encoder-gewichten vóór het federatieve leren een levensvatbaar compromis biedt. Zij suggereren dat toekomstig werk zich moet richten op single-channel beeldverwerking en domeinspecifieke pre-training om privacy en prestaties verder te optimaliseren.