Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

Sintesi Tecnica: Calcolo Distribuito Codificato Approssimato, Privato e Verificabile

Definizione del Problema
I paradigmi di apprendimento automatico distribuito, specificamente il Federated Learning (FL) e il Decentralized Learning (DL), consentono l'addestramento collaborativo di modelli senza centralizzare i dati grezzi. Tuttavia, questi sistemi rimangono vulnerabili a due classi distinte di minacce: la fuga di privacy (dove gli avversari inferiscono dati sensibili dagli aggiornamenti del modello) e la manipolazione malevola (attacchi Byzantine dove i partecipanti iniettano aggiornamenti avvelenati). Le difese esistenti affrontano tipicamente queste minacce in modo isolato. Le tecnologie di potenziamento della privacy (PET), come l'omomorfismo crittografico o la privacy differenziale, spesso comportano oneri computazionali proibitivi o degradano l'utilità del modello. Al contrario, le tecniche di aggregazione robusta mitigano il comportamento malevolo ma raramente affrontano la fuga di privacy e sono spesso progettate per architetture specifiche. Inoltre, la maggior parte dei lavori precedenti si concentra sul FL con un aggregatore centrale, lasciando i contesti decentralizzati — dove i dati vengono scambiati anziché gli aggiornamenti del modello — poco esplorati per quanto riguarda una resilienza unificata agli avversari.

Metodologia
Gli autori propongono un framework unificato e agnostico rispetto al modello che affronta congiuntamente privacy e integrità sia negli scenari FL che in quelli DL. Il fondamento tecnico centrale è il Generalized Privacy-aware Berrut Approximated Coded Computing (GPBACC), una tecnica di calcolo codificato per la protezione della privacy applicabile ad arbitrari modelli di machine learning.

1. Meccanismo Core (GPBACC):

   • Costruito sulla base del Berrut Approximated Coded Computing (BACC), che utilizza l'interpolazione razionale (formulazione baricentrica di Berrut) per distribuire il calcolo di funzioni arbitrarie pur tollerando i ritardatari (stragglers).
   • Estensione della Privacy: GPBACC introduce rumore casuale Gaussiano nel processo di codifica. Il nodo master codifica i tensori di dati utilizzando una funzione di interpolazione razionale aumentata da termini di rumore casuale. Ciò crea un effetto di canale Additive White Gaussian Noise (AWNG), limitando l'informazione mutua accessibile ai nodi semi-onesti collusi.
   • Generalizzazione: A differenza degli schemi precedenti, GPBACC supporta configurazioni multi-fonte e input tensoriali di rango arbitrario, rendendolo adatto ai carichi di lavoro del deep learning.

2. Integrazione nel Federated Learning (FL):

   • Nel FL, dove esiste un aggregatore centrale, il framework integra GPBACC con strategie di aggregazione robusta (ad esempio, Coordinate-wise Median, Trimmed Mean, Krum, Multi-Krum).
   • La regola di aggregazione è incorporata come funzione target $f$ valutata dai worker. Il sistema imposta la dimensione di compressione della codifica $K=1$ per consentire la decodifica per coordinata, permettendo all'aggregatore di ricostruire l'aggiornamento aggregato in modo robusto con un'elevata precisione numerica, nonostante la natura approssimata della codifica.

3. Integrazione nel Decentralized Learning (DL):

   • Nel DL, dove non esiste un aggregatore centrale, il framework impiega una pipeline di verifica che combina Approximate Decode-and-Compare (ADC) e Group Testing (GT).
   • ADC: Poiché GPBACC introduce perturbazioni controllate per la privacy, i controlli di uguaglianza esatta sono insufficienti. L'ADC stabilisce una soglia dinamica ($\tau$) basata su una strategia di bootstrap per determinare se i risultati ricostruati da diversi sottoinsiemi di worker siano coerenti entro un intervallo di errore accettabile.
   • Group Testing: Per isolare efficientemente i worker malevoli senza una decodifica completa, il sistema utilizza matrici di pooling non adattive. I worker vengono raggruppati e i loro risultati aggregati vengono testati contro la soglia ADC. Un decoder di Group Testing rumoroso (ad esempio, COMP, DD) identifica l'insieme dei worker avversari, che vengono poi rimossi prima della ricostruzione finale.

Contributi Chiave

• Framework Unificato: Definizione di un singolo framework che affronta simultaneamente la fuga di privacy e il comportamento malevolo in entrambi i paradigmi FL e DL, senza limitazioni di applicabilità a specifiche architetture di modello.
• Adattamento FL: Proposta di combinare GPBACC con strategie di aggregazione robusta, preservando la natura agnostica del modello della codifica.
• Adattamento DL: Proposta di completare GPBACC con tecniche di approximate decode-and-compare e group testing, consentendo una verifica leggera e l'isolamento degli avversari senza un aggregatore fidato.
• Valutazione Guidata dagli Attacchi: Una metodologia di valutazione pratica che implementa esplicitamente attacchi alla privacy rappresentativi (Membership Inference Attacks) e comportamenti malevoli (Label Flipping, Noise Addition, Gaussian Noise) per convalidare empiricamente l'efficacia del framework, piuttosto che affidarsi esclusivamente a garanzie teoriche.

Risultati Sperimentali
Il framework è stato valutato su Reti Neurali Convoluzionali (CNN) utilizzando i dataset MNIST e CIFAR10.

• Federated Learning:

  • Privacy: Sotto attacchi di Membership Inference (RMIA), GPBACC ha ridotto significativamente l'Area Under the Curve (AUC) a livelli vicini al caso casuale (~0.50), paragonabile a Multi-Key Homomorphic Encryption (MKHE) e Differential Privacy (DP-SVT), ma senza il severo degrado dell'utilità osservato con la DP.
  • Robustezza: Sotto attacchi di Label Flipping e Noise Addition, GPBaccia combinato con aggregatori robusti (Median, Multi-Krum) ha mantenuto un'alta accuratezza, eguagliando quasi i baseline robusti non protetti. Sebbene l'aggregazione Krum abbia mostrato sensibilità al rumore di decodifica approssimata, il sistema ha comunque raggiunto la convergenza.
  • Utilità: GPBACC ha preservato quasi perfettamente l'utilità del modello pulito, con deviazioni di accuratezza inferiori a $4 \times 10^{-4}$ rispetto ai baseline non protetti.

• Decentralized Learning:

  • Robustezza: Sotto attacchi di aggiunta di rumore, il DL non protetto è crollato (accuratezza ~0.63), mentre GPBACC con ADC+GT ha mantenuto un'alta accuratezza (>0.96), dimostrando una resilienza paragonabile all'ALCC (esatto coded computing) ma con maggiore flessibilità.
  • Privacy: L'informazione mutua tra i dataset in chiaro e codificati è stata stimata tramite l'estimatore KSG, fornendo ~1.012 bit, il che si allinea strettamente ai limiti di privacy teorici derivati dall'analisi dell'informazione.

Significatività e Rivendicazioni
L'articolo sostiene che la combinazione di calcolo codificato orientato alla privacy (GPBACC) con strategie di resistenza agli avversari specifiche per paradigma fornisca una base pratica e implementabile per l'apprendimento automatico distribuito sicuro. A differenza dei lavori precedenti che trattano privacy e robustezza in isolamento o si affidano a pesanti primitive crittografiche, questo approccio offre una soluzione unificata e validata tramite attacchi che bilancia le garanzie di privacy, la robustezza contro avversari attivi e l'utilità del modello. Gli autori sottolineano che il loro contributo risiede nel colmare queste lacune attraverso i paradigmi di apprendimento, offrendo un meccanismo di difesa indipendente dall'architettura adatto all'implementazione nel mondo reale. Il lavoro non pretende di risolvere tutti i modelli di attacco, ma dimostra che l'integrazione esplicita e guidata dagli attacchi di queste tecniche riduce significativamente la fuga di privacy e migliora la resilienza rispetto alle difese isolate esistenti.