Proof of Reasoning for Privacy Enhanced Federated Blockchain Learning at the Edge

Sintesi Tecnica: Proof of Reasoning per l'Apprendimento Federato su Blockchain con Potenziamento della Privacy all'Edge

Problematica
Il documento affronta le sfide critiche del deployment dell'apprendimento federato (FL) in ambienti IoT, in particolare nel settore sanitario. Sebbene il deep learning offra un potenziale significativo, l'addestramento diretto sui dispositivi edge è spesso computazionalmente proibitivo. Inoltre, gli approcci FL esistenti affrontano una dicotomia: l'aggregazione centralizzata richiede fiducia in un server, mentre l'apprendimento federato decentralizzato basato su blockchain introduce una trasparenza che compromette la privacy dei dati. I meccanismi di consenso standard della blockchain (ad es. Proof of Work, Proof of Stake) non sono progettati per l'FL; essi non riescono a validare la qualità dei contributi del modello senza esporre i dati grezzi o i pesi del modello ad attacchi di inversione. Inoltre, distinguere tra modelli malevoli e modelli non conformi (dovuti a distribuzioni di dati non-IID) rimane difficile, e le attuali tecniche di preservazione della privacy, come la cifratura omomorfica o la privacy differenziale, spesso comportano elevati costi computazionali o riducono l'accuratezza del modello.

Metodologia: Proof of Reasoning (PoR)
Gli autori propongono la Proof of Reasoning (PoR), un nuovo meccanismo di consenso specificamente adattato per l'apprendimento federato su blockchain. La PoR integra un processo in tre fasi progettato per preservare la privacy consentendo al contempo un'aggregazione verificabile:

1. Codifica dei Dati Preservazione della Privacy tramite Masked Autoencoders (MAE):

   • A differenza degli MAE standard dove l'input non viene mascherato durante l'inferenza, la PoR utilizza un encoder transformer addestrato che continua a mascherare un'alta percentuale di patch di input (ad es. 75–90%) durante la fase di classificazione a valle.
   • Il sistema utilizza un encoder leggero (distribuito all'edge) e un decoder più grande (utilizzato solo durante il pre-addestramento).
   • L'encoder genera una mappa delle caratteristiche dai patch non mascherati. Questi dati codificati sono offuscati, rendendoli resistenti alla ricostruzione umana e agli attacchi di inversione del modello, poiché il decoder non è condiviso e i patch di input sono insufficienti per ricostruire l'immagine originale.

2. Addestramento del Classificatore Downstream all'Edge:

   • Un classificatore downstream leggero viene addestrato all'edge utilizzando le mappe delle caratteristiche codificate.
   • I partecipanti possono addestrare localmente, utilizzare reti "mist" IoT distribuite o esternalizzare l'addestramento a istituzioni esterne, a condizione che condividano solo i dati codificati e i pesi del modello, non gli input grezzi.
   • Per gestire la scarsità e la varianza dei dati nei contesti federati, gli autori utilizzano il transfer learning (pre-addestramento su ImageNet o dataset specifici del dominio come ChestMnist) e introducono uno strato di bottleneck residuo all'architettura del classificatore.

3. Integrazione Blockchain e Consenso:

   • I partecipanti caricano una transazione Encoder-Decoder Interface (EDI) sulla blockchain. Questa transazione contiene:
     • I pesi del classificatore downstream ($\omega_i$).
     • Un datapoint codificato ($\kappa_i$).
     • L'output del classificatore su quel datapoint ($\hat{y}_i$).
     • L'etichetta della verità fondamentale (ground truth) ($y_i$).
   • Fondamentalmente, la transazione non include l'input grezzo ($x_i$) o i pesi dell'encoder ($\lambda_i$), garantendo che la natura unidirezionale della codifica impedisca l'inversione.
   • Validazione PoR: Il meccanismo di consenso verifica che l'output di ciascuna rete sul datapoint codificato rientri in una specifica tolleranza ($\epsilon$).
   • Classificazione e Aggregazione: Una funzione di punteggio ($S_\pi$) valuta le prestazioni di ciascun classificatore su tutti i datapoint codificati caricati. Una funzione di riduzione ($R_\pi$) aggrega questi punteggi per classificare i partecipanti. Il modello globale viene quindi aggiornato in base a queste classifiche, permettendo politiche di aggregazione complesse che pesano i contributi in base alle prestazioni verificate piuttosto che su conteggi di campioni non verificabili.

Contributi Chiave

• Nuovo Meccanismo di Consenso: L'introduzione della PoR, che sostituisce il consenso generico (PoW/PoS) con un meccanismo che valida i contributi del modello basandosi sulle prestazioni reali sui dati codificati, mitigando l'impatto dei modelli malevoli senza eliminare i modelli non conformi ma utili.
• Robustezza della Privacy tramite MAE: Dimostrazione che i Masked Autoencoders possono mantenere alti rapporti di mascheramento (fino al 90%) durante i task a valle senza perdite catastrofiche di accuratezza, consentendo l'uso di dati codificati per la validazione pur prevenendo l'inversione del modello.
• Aggregazione Verificabile: Il framework consente metodi di aggregazione più sofisticati fornendo metriche di prestazione trasparenti e verificabili (tramite transazioni EDI) anziché affidarsi a statistiche auto-dichiarate.
• Architettura Ottimizzata per l'Edge: Un design di sistema che minimizza la complessità computazionale all'edge addestrando solo il classificatore downstream localmente, mentre l'encoder pesante viene pre-addestrato e condiviso.

Risultati Sperimentali
Gli autori hanno valutato il framework utilizzando i dataset Cifar-10, Cifar-100, ImageNet, ChestMnist e PneumoniaMnist:

• Efficacia della Mascheratura: Gli esperimenti su Cifar-10 hanno mostrato che percentuali di mascheratura più elevate (ad es. 90%) hanno migliorato l'accuratezza della classificazione a valle nonostante la riduzione dell'accuratezza di ricostruzione, indicando che l'encoder ha appreso rappresentazioni efficaci per la classificazione. La mascheratura casuale ha superato la mascheratura basata sulla correlazione.
• Transfer Learning: Il pre-addestramento degli MAE su ImageNet e il congelamento dei pesi (eccetto l'encoder transformer) hanno migliorato significativamente le prestazioni federate su Cifar-10 rispetto all'addestramento da zero.
• Imaging Medico: Sul dataset PneumoniaMnist (classificazione binaria), l'approccio federato PoR ha superato i baseline non federati di almeno il 2,56%. Il sistema ha raggiunto un'alta precisione (fino al 98,97%) e un richiamo (recall) fino al 97,95% con un basso numero di epoch tra i round di aggregazione.
• Scalabilità: Il sistema ha dimostrato una bassa latenza e una crescita gestibile dello storage, adatta a reti IoT su larga scala.

Significatività e Claim
Il documento afferma che la PoR offre una soluzione bilanciata per l'IA decentralizzata e sensibile alla privacy in ambito sanitario. Decoupling (scollegando) la validazione della qualità del modello dall'esposizione dei dati grezzi, la PoR consente la collaborazione sicura tra istituzioni con obiettivi differenti (ad es. ospedali privati vs pubblici). Gli autori sostengono che questo approccio:

• Migliora la robustezza delle reti federate contro attacchi malevoli e avvelenamento (poisoning).
• Riduce la complessità computazionale all'edge limitando l'addestramento locale a classificatori leggeri.
• Fornisce un'alternativa verificabile al classico Federated Averaging (FedAvg), che si affida a metadati non verificabili.
• Si adatta alle evoluzioni delle normative sui dati e alle condizioni di rete, supportando l'apprendimento continuo in ambienti IoT dinamici.

Gli autori concludono che, sebbene la federazione completa dell'encoder in scenari multi-canale presenti dei compromessi sulla privacy, l'aggregazione dei pesi dell'encoder prima dell'apprendimento federato offre un compromesso valido. Suggeriscono che il lavoro futuro possa concentrarsi sull'elaborazione di immagini a singolo canale e sul pre-addestramento specifico del dominio per ottimizzare ulteriormente privacy e prestazioni.