Riepilogo Tecnico: Fed-Listing

Enunciato del Problema

Le Reti Neurali a Grafo Federate (FedGNN) abilitano l'apprendimento collaborativo tra client distribuiti preservando la privacy dei dati. Tuttavia, ricerche recenti indicano che gli aggiornamenti del modello condivisi, in particolare i gradienti, possono rivelare involontariamente informazioni sensibili sugli utenti locali. Sebbene siano state esplorate varie attacchi alla privacy (ad esempio, inferenza di appartenenza, inferenza di proprietà e ricostruzione del grafo) nelle FedGNN, l'Inferenza della Distribuzione delle Etichette (LDI) rimane poco esplorata in questo contesto.

Gli attacchi LDI mirano a inferire la distribuzione statistica delle etichette di classe all'interno del dataset privato di un client target. Nei dati strutturati a grafo, questo rischio è amplificato dall'omofilia, dove i nodi con etichette simili tendono a connettersi, facendo sì che le correlazioni strutturali e delle caratteristiche rivelino implicitamente la composizione della comunità. La fuoriuscita della distribuzione delle etichette può esporre tratti demografici sensibili, comportamenti degli utenti o condizioni mediche (ad esempio, il rapporto tra scansioni positive al tumore e scansioni normali in un ospedale), portando a violazioni della privacy e svantaggi competitivi.

I metodi LDI esistenti, come Decaf, sono stati progettati principalmente per dataset di immagini e si basano sulle magnitudini delle variazioni dei gradienti nell'ultimo strato lineare. Questi metodi faticano nelle FedGNN perché i gradienti sono influenzati non solo dalle etichette dei nodi, ma anche da complesse strutture di vicinato e gradi dei nodi sconosciuti, rendendo non banale l'ingegneria inversa diretta. Inoltre, attacchi attivi concorrenti come EC-LDA richiedono che il server manipoli i parametri del client, rendendoli rilevabili e disruptivi per l'utilità del modello.

Metodologia: Fed-Listing

Gli autori propongono Fed-Listing (Inferenza della Distribuzione delle Etichette Federata nelle GNN), un nuovo framework di attacco passivo e furtivo progettato specificamente per ambienti FedGNN orizzontali. L'attacco presuppone un server "onesto ma curioso" che ha accesso agli aggiornamenti del modello condivisi (gradienti) e a un dataset ausiliario, ma non altera il processo di addestramento.

L'attacco procede in tre fasi:

1. Partizionamento del Dataset Ausiliario:
   L'attaccante utilizza un dataset ausiliario ($D_a$) con una distribuzione e uno spazio delle etichette simili a quelli dei client target. Questo dataset viene partizionato in sottoinsiemi utilizzando quattro strategie distinte per simulare distribuzioni di client diverse:

   • Proporzione uguale: Le classi sono rappresentate equamente.
   • Distribuzione casuale: Le classi sono assegnate casualmente (simulando scenari non-i.i.d.).
   • Classe singola: Ogni client detiene campioni di una sola classe.
   • Classi mancanti: Alcune classi sono assenti da specifici client.

2. Addestramento Federato Ombra:
   L'attaccante costruisce multiple istanze di "apprendimento federato ombra" utilizzando i dati ausiliari partizionati. Durante questi round di addestramento ombra, l'attaccante registra i gradienti dell'ultimo strato ($g_r$) scambiati tra i client ombra e il server. Questi gradienti sono accoppiati con le distribuzioni delle etichette di verità nota (ground-truth) dei client ombra per formare un dataset di attacco ($T_{attack}$).

3. Addestramento del Modello di Attacco e Inferenza:
   Un modello di attacco basato su rete neurale (nello specifico un MLP) viene addestrato su $T_{attack}$ per mappare gli aggiornamenti dei gradienti alle distribuzioni delle etichette. Il modello minimizza una funzione di perdita composita che combina:

   • Norma L1 ($L_{L1}$): Misura la discrepanza statistica tra le distribuzioni previste e quelle reali.
   • Divergenza Jensen-Shannon ($L_{JS}$): Misura la sovrapposizione/separazione tra le distribuzioni.

   Una volta addestrato, il modello di attacco inferisce la distribuzione delle etichette di un client vittima reale analizzando i gradienti ricevuti durante il processo effettivo di addestramento FedGNN.

Contributi Chiave

1. Nuovo Framework di Attacco: Introduzione di Fed-Listing, il primo attacco LDI passivo e furtivo specificamente adattato per le FedGNN orizzontali.
2. Pipeline di Addestramento Ombra: Una pipeline progettata che utilizza un dataset ausiliario per esplorare distribuzioni di dati eterogenee, creando scenari di attacco diversificati che mimano le condizioni non-i.i.d. del mondo reale.
3. Valutazione Completa: Esperimenti estesi condotti su quattro dataset di riferimento (Cora, PubMed, Citeseer, Amazon Computers) e tre architetture GNN (GCN, GraphSage, GIN).
4. Analisi delle Difese: Analisi empirica della resilienza di Fed-Listing contro tre meccanismi di difesa ampiamente adottati: Privacy Differenziale (DP), gradienti rumorosi e compressione dei gradienti.

Risultati Sperimentali

Gli autori hanno valutato Fed-Listing contro il tentativo casuale e Decaf (adattato per dati a grafo), nonché contro l'attacco attivo EC-LDA (utilizzato come limite superiore).

• Prestazioni: Fed-Listing supera significativamente le baseline esistenti su tutti i dataset e le architetture. In scenari non-i.i.d. impegnativi (ad esempio, distribuzioni a classe singola o dominanti da una classe), Fed-Listing mantiene un'alta accuratezza (ad esempio, Similarità Coseno > 0.97 su Cora), mentre Decaf e il tentativo casuale mostrano un significativo degrado delle prestazioni.
• Efficienza: Il modello di attacco ottiene prestazioni superiori utilizzando i gradienti dell'ultimo strato rispetto ai gradienti di tutti gli strati, riducendo il tempo di addestramento fino a 479 volte sul dataset Amazon Computers mantenendo o migliorando l'accuratezza dell'inferenza.
• Architettura del Modello: È stato scoperto che un modello di attacco basato su MLP è efficace quanto un modello basato su CNN ma con significativamente meno parametri (~44 volte in meno), offrendo una soluzione più efficiente.
• Resilienza alle Difese: I meccanismi di difesa esistenti faticano a mitigare Fed-Listing senza degradare severamente l'utilità del modello.
  • Privacy Differenziale (DP): Aumentare il budget della privacy ($\epsilon$) generalmente migliora l'utilità del modello ma aumenta anche l'efficacia dell'attacco, eccetto a valori specifici bassi.
  • Gradienti Rumorosi: Livelli elevati di rumore degradano sia l'accuratezza del modello che l'affidabilità dell'attacco, ma livelli intermedi di rumore consentono ancora un successo moderato dell'attacco.
  • Compressione dei Gradienti: Sebbene la compressione riduca il successo dell'attacco a determinate soglie (ad esempio, $\alpha=0.5$), richiede un compromesso in cui rapporti di compressione più elevati migliorano l'utilità del modello ma potrebbero non eliminare completamente la fuoriuscita.

Significato e Affermazioni

Il documento afferma che Fed-Listing espone una vulnerabilità critica nelle attuali implementazioni di FedGNN: la fuoriuscita della distribuzione delle etichette è un rischio per la privacy significativo e poco esplorato. Gli autori sottolineano che:

• L'attacco è passivo e furtivo, rendendolo difficile da rilevare rispetto agli attacchi attivi che manipolano i parametri di addestramento.
• I meccanismi di difesa attuali sono insufficienti; o non riescono a fermare l'attacco o richiedono perturbazioni così forti che l'utilità del modello globale è severamente compromessa.
• I risultati evidenziano la necessità urgente di nuovi meccanismi di preservazione della privacy specificamente progettati per prevenire la fuoriuscita della distribuzione delle etichette nell'apprendimento federato basato su grafi, piuttosto che fare affidamento su difese progettate per ambienti centralizzati o basati su immagini.

Il lavoro conclude che comprendere queste implicazioni di sicurezza è essenziale per il dispiegamento robusto delle FedGNN in sistemi reali sensibili come l'assistenza sanitaria, i sistemi di raccomandazione e la ricerca inter-istituzionale.