Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

Immaginate un mondo in cui il vostro telefono, il vostro smartwatch e il laptop del vostro vicino vogliono imparare insieme per diventare più intelligenti, ma nessuno di loro è disposto a condividere le proprie foto o i propri messaggi privati. Questo è il cuore dell'Apprendimento Federato (Federated Learning), un modo ingegnoso per far collaborare i computer senza che vedano mai i dati grezzi l'uno dell'altro. Inveve di inviare una valigia gigante di file personali a un ufficio centrale, essi inviano solo una "pagella" di ciò che hanno imparato. Ma c'è un problema: se la pagella è troppo dettagliata, può rivelare accidentalmente segreti sulla persona che l'ha scritta. Inoltre, nel mondo reale, i dispositivi spesso finiscono la batteria o perdono la connessione Wi-Fi, causando l'uscita dalla classe proprio mentre la lezione si sta facendo interessante. Questo articolo affronta il complicato problema di come mantenere questa sessione di apprendimento di gruppo fluida, anche quando gli studenti se ne vanno in anticipo o provano a inviare aggiornamenti errati, il tutto garantendo che i segreti privati di nessuno vengano trapelati.

I ricercatori, un team dell'Università di Ingegneria della Polizia Armata del Popolo, propongono un nuovo sistema chiamato GSE-SFD. Pensate a questo sistema come a un'aula super sicura e resistente agli abbandoni per l'intelligenza artificiale. In una configurazione standard, se uno studente lascia la stanza, l'insegnante potrebbe dover riavviare l'intera lezione. In questo nuovo metodo, la classe è divisa in piccoli gruppi molto uniti. Se alcuni studenti nel gruppo abbandonano i loro telefoni o perdono la connessione, il gruppo può comunque terminare la sua parte di compiti perché il sistema è progettato per funzionare finché un certo numero di studenti (circa il 60%) è ancora presente. È come un puzzle in cui servono solo alcuni pezzi specifici per vedere l'intera immagine; se alcuni pezzi vanno perduti, quelli rimanenti sono sufficienti per risolvere il problema.

Ma che dire degli aggiornamenti errati? In questa classe digitale, uno studente "avvelenato" potrebbe provare a sottomettere una falsa pagella per rovinare il voto finale. Il sistema GSE-SFD ha una difesa intelligente in due fasi. Primo, utilizza un trucco di "condivisione segreta". Prima che uno studente invii il suo rapporto, lo frammenta in molti piccoli pezzi criptati e li nasconde in diverse buste. Nessuna singola busta rivela nulla di utile. Solo quando abbastanza buste dello stesso gruppo vengono aperte insieme, il rapporto originale può essere riassemblato. Ciò significa che anche se un hacker rubasse una o due buste, non imparerebbe nulla. Secondo, il sistema ha un "buttafuori" al server centrale. Questo buttafuori controlla se i rapporti riassemblati dei diversi gruppi sembrano normali. Se il rapporto di un gruppo è drasticamente diverso dagli altri — come uno studente che improvvisamente afferma che il cielo è verde — il buttafuori rileva l'anomalia e scarta la risposta di quel gruppo prima che possa rovinare la lezione globale.

Il documento introduce anche un filtro per garantire che gli studenti imparino solo da cose che conoscono effettivamente. Poiché ogni studente ha dati diversi (alcuni hanno foto di gatti, altri di cani), il sistema utilizza uno strumento matematico chiamato KuLSIF per controllare se un'informazione è "fuori distribuzione". È come un insegnante che controlla se una domanda è troppo difficile o irrilevante per uno studente specifico prima di lasciarlo rispondere. Se la domanda non si adatta ai dati locali dello studente, questi la salta, assicurando che il gruppo condivida solo conoscenze di alta qualità e affidabili.

Quando i ricercatori hanno testato questo sistema su famosi dataset di immagini come MNIST (numeri scritti a mano), FashionMNIST (articoli di abbigliamento) e CIFAR-10 (oggetti quotidiani colorati), i risultati sono stati impressionanti. Anche quando fino al 40% dei client si è disconnesso dalla rete, il sistema è riuscito a combinare con successo le conoscenze in più del 95% dei round. In termini di privacy, il sistema era una fortezza. Quando gli attaccanti hanno cercato di fare l'ingegneria inversa dei dati per vedere le immagini originali, i risultati erano rumore sfocato. Le immagini ricostruite avevano un tasso di errore (MSE) 2,5 volte superiore e una somiglianza strutturale (SSIM) 2,4 volte inferiore rispetto ai metodi precedenti, il che significa che gli attaccanti non vedevano quasi nulla di riconoscibile.

Gli autori hanno scoperto che questo approccio non protegge solo la privacy; mantiene alta anche la velocità di apprendimento. Sebbene il sistema invii più dati rispetto a una versione base a causa dei frammenti di condivisione segreta, rimane abbastanza efficiente per i dispositivi con velocità internet limitate. Lo studio suggerisce che questo metodo è una soluzione pratica e robusta per campi sensibili come l'assistenza sanitaria e l'IoT industriale, dove i dispositivi sono spesso inaffidabili e la privacy è non negoziabile. Tuttavia, l'articolo nota che il sistema si basa sul possedere un buon "dataset proxy" (un insieme condiviso di domande di pratica) e che la matematica dietro il filtraggio può diventare pesante se questo dataset diventa troppo grande. In definitiva, GSE-SFD dimostra che è possibile avere una sessione di apprendimento di gruppo sicura, resiliente e privata senza sacrificare la qualità del risultato finale.