Topology-Aware Differential Privacy in Federated Learning

Sintesi Tecnica: Privacy Differenziale Consapevole della Topologia nel Federated Learning

Problema
Il Federated Learning (FL) protegge i dati dei client trasmettendo solo gli aggiornamenti del modello, mentre il DP-SGD (Differentially Private SGD) limita la fuga di informazioni a livello di contenuto tramite il clipping del gradiente e l'aggiunta di rumore. Tuttavia, le difese esistenti operano esclusivamente sul contenuto degli aggiornamenti e ignorano le informazioni rivelate dalla topologia di comunicazione stessa. Nelle implementazioni cross-silo (ad esempio, consorzi ospedalieri, gruppi industriali), la struttura della rete e l'appartenenza organizzativa creano canali informativi che il DP-SGD lascia non affrontati. Un avversario passivo con conoscenza della topologia e della struttura organizzativa può inferire proprietà di dati sensibili — specificamente, la concentrazione di classi sensibili all'interno del dataset locale di un client — anche quando gli aggiornamenti dei parametri sono saturi di rumore. Il DP-SGD standard applica un moltiplicatore di rumore uniforme su tutti i client, il che è subottimale quando la topologia della federazione è asimmetrica, poiché non tiene conto della variazione della leva strutturale posseduta dai diversi client.

Metodologia
Il documento propone un approccio a due fronti: un modello di minaccia formale con uno strumento di decomposizione empirica (TADI) e un meccanismo di difesa basato su principi (FULCRUM).

1. Modello di Minaccia e TADI (Topology-Aware Distributional Inference):
   Gli autori formalizzano una minaccia in cui un avversario osserva gli aggiornamenti dei parametri, il grafo di comunicazione $G$ e le etichette organizzative $\omega$. Per quantificare empiricamente la fuga di informazioni, introducono TADI, un regressore addestrato tramite shadow training che decompone le fonti di informazione dell'avversario in quattro canali tramite ablazione:

   • Canale dei Parametri (Parameter Channel): Informazioni derivate esclusivamente dagli aggiornamenti del gradiente.
   • Canale Strutturale (Structural Channel): Informazioni derivate dalla posizione del client nel grafo (grado, profondità, centralità).
   • Canale Organizzativo (Organizational Channel): Informazioni derivate dalle etichette di appartenenza organizzativa.
   • Canale Combinato (Combined Channel): La visione completa dell'avversario.
     TADI è addestrato su federazioni ombra (shadow federations) per stimare la concentrazione della classe sensibile $p_i$ per ogni client, permettendo agli autori di misurare il contributo informativo marginale di ciascun canale.

2. Limite Teorico e Difesa FULCRUM:
   Gli autori derivano un limite di informazione mutua (MI) per singolo client (Teorema V.2) mostrando che la fuga si separa additivamente in:

   • Un termine del meccanismo controllabile (limitato dal rumore DP-SGD).
   • Un pavimento di accoppiamento del prior incontrollabile (uncontrollable prior-coupling floor) determinato dalla leva strutturale del client $\ell^\circ_i$ (la peggiore prevedibilità statistica dei dati di un client dato il resto della federazione).

   Sulla base di ciò, derivano FULCRUM, un'allocazione di rumore ottimale min-max bilanciata e a forma chiusa (Teorema V.3). A differenza del DP-SGD uniforme, FULCRUM alloca le scale di rumore $\sigma_i$ in modo asimmetrico in base ai punteggi di leva strutturale. Esso minimizza rigorosamente il limite di MI nel caso peggiore per tutti i client sotto un budget di utilità fisso.

Contributi Chiave

1. Modello di Minaccia Formale: Una definizione di inferenza distributiva condizionata dalla topologia, stabilendo che la posizione strutturale e l'appartenenza organizzativa agiscono come canali informativi non affrontati.
2. Limite MI Additivo: Una prova teorica che separa la fuga in un termine dipendente dal rumore controllabile e un termine di accoppiamento del prior strutturale incontrollabile.
3. Allocazione FULCRUM: Una strategia di allocazione del rumore a forma chiusa che domina strettamente il DP-SGD uniforme ogni volta che la leva strutturale è asimmetrica e degenera esattamente nel DP-SGD uniforme quando la leva è simmetrica, garantendo la sicurezza incondizionata.
4. Decomposizione TADI: La prima caratterizzazione empirica della fuga condizionata dalla topologia, isolando i contributi di parametri, struttura e organizzazione tramite shadow training.
5. Validazione Empirica: Valutazione esaustiva su Fed-ISIC2019, Fed-Heart-Disease e CIFAR-10 sintetica su sei famiglie di topologie.

Risultati

• Guadagni di Privacy: FULCRUM ottiene guadagni di privacy fino a 1.967 nats (una riduzione del limite di privacy) rispetto al DP-SGD uniforme in contesti asimmetrici (ad esempio, topologie gerarchiche con dataset di dimensioni eterogenee), senza alcun costo misurabile per l'utilità del modello.
• Consistenza dell'Utilità: I test di equivalenza statistica (TOST) confermano che i miglioramenti della privacy sono ottenuti senza una degradazione praticamente significativa dell'accuratezza del modello (differenza assoluta media < 0,5 punti percentuali).
• Risultanze sulla Decomposizione dei Canali:
  • Il canale dei parametri è efficacemente limitato dal DP-SGD in tutti i contesti; l'avversario basato solo sui parametri non performa meglio di un baseline a media costante.
  • Il canale del prior-coupling (strutturale/organizzativo) è empiricamente raggiungibile quando il prior ombra dell'avversario corrisponde al prior di deployment (ad esempio, in contesti sintetici con alto accoppiamento topologia-dati).
  • In scenari realistici di minaccia cross-silo dove l'avversario manca di etichette di partizione native (mismatch dei prior), il limite rimane conservativo e il termine di prior-coupling non viene pienamente realizzato.
• Sensibilità alla Topologia: Il divario tra FULCRUM e il DP-SGD uniforme scala con il grado di asimmetria della leva. Le topologie simmetriche (ad esempio, anelli) producono uno scarto nullo, mentre le topologie asimmetriche (ad esempio, stelle, alberi gerarchici) mostrano guadagni significativi.

Significatività e Rivendicazioni
Il documento afferma di essere il primo a trattare la topologia di comunicazione come un canale informativo noto sfruttabile per inferire proprietà di dati sensibili e a derivare una difesa che tenga conto della risultante asimmetria strutturale. Gli autori asseriscono che FULCRUM offre una soluzione "sicura da adottare incondizionatamente": fornisce miglioramenti rigorosi della privacy nelle implementazioni asimmetriche (il caso comune nel FL cross-silo) e degrada con grazia verso il baseline uniforme standard nei casi simmetrici. Il lavoro evidenzia come l'attuale allocazione uniforme del rumore sia subottimale per le implementazioni reali di FL dove la leva strutturale varia, e fornisce un meccanismo principato per bilanciare i budget di privacy in base ai rischi strutturali specifici di ciascun client.