🤖 machine learning

ERIS: Enhancing Privacy and Scalability in Federated Learning via Federated Shard Aggregation

ERIS è un nuovo framework di apprendimento federato che migliora la privacy e la scalabilità per modelli con miliardi di parametri introducendo l'Aggregazione di Shard Federati per distribuire gli aggiornamenti lato client su più aggregatori, eliminando così i colli di bottiglia centrali e limitando la fuoriuscita di informazioni, pur mantenendo la convergenza e l'utilità del modello senza fare affidamento su crittografia pesante.

Autori originali: Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina tu e un gruppo di amici vogliate costruire insieme un cervello robotico gigante e super-intelligente. Il problema è che ognuno ha il proprio diario segreto di esperienze personali (dati) che non può condividere a causa delle leggi sulla privacy o della fiducia personale.

Federated Learning è l'idea che puoi addestrare questo cervello robotico senza che nessuno consegni mai i propri diari. Invece, ognuno addestra un piccolo pezzo del cervello sul proprio computer e invia solo le "lezioni apprese" (aggiornamenti matematici) a un insegnante centrale. L'insegnante combina queste lezioni per migliorare il robot.

Tuttavia, il documento evidenzia due grandi problemi con questo metodo attuale:

Il Collo di Bottiglia: Se hai milioni di amici, l'insegnante centrale viene sopraffatto nel tentativo di raccogliere e ordinare tutte le lezioni. È come una persona che cerca di ordinare un milione di lettere in un ufficio postale; ci vuole un'eternità.
La Perdita di Privacy: Anche se non stai inviando il tuo diario, le "lezioni apprese" possono talvolta essere reverse-engineerate da un hacker astuto per indovinare cosa c'era nel tuo diario.

Gli autori introducono ERIS, un nuovo sistema progettato per risolvere entrambi i problemi contemporaneamente senza rendere il cervello robotico meno intelligente. Ecco come funziona, usando semplici analogie:

1. La Strategia del "Puzzle" (Federated Shard Aggregation)

Nel vecchio sistema, tutti inviano la loro intera lezione a un unico insegnante centrale. In ERIS, il sistema utilizza una tecnica chiamata Federated Shard Aggregation (FSA).

Immagina che ogni lezione sia un puzzle gigante e complesso.

Il Vecchio Modo: Tutti inviano il loro puzzle intero a una persona. Quella persona vede tutto.
Il Modo ERIS: Prima di inviare, ognuno taglia il proprio puzzle in 50 pezzi separati e non sovrapposti (shard).
- La Persona A invia il Pezzo 1 all'Insegnante 1, il Pezzo 2 all'Insegnante 2, il Pezzo 3 all'Insegnante 3, e così via.
- L'Insegnante 1 vede solo il Pezzo 1 di tutti. L'Insegnante 2 vede solo il Pezzo 2.
- La Magia: Poiché i pezzi sono tagliati in modo specifico e coordinato, gli insegnanti possono comunque assemblare i loro pezzi per formare la stessa immagine finale esatta del vecchio sistema. Il cervello robotico impara altrettanto bene.
- Il Vantaggio per la Privacy: Nessun singolo insegnante vede mai un puzzle intero. Se un hacker compromette l'Insegnante 1, ottiene solo un minuscolo frammento inutile delle informazioni, non l'intero segreto.

2. La "Cartolina Compressa" (Distributed Shifted Compression)

Anche con i pezzi del puzzle, inviare 50 pezzi a 50 insegnanti diversi può essere ancora molta posta. Per renderlo più veloce, ERIS aggiunge un secondo livello chiamato Distributed Shifted Compression (DSC).

Pensa a questo come scrivere la tua lezione su una cartolina invece che su un libro intero.

Prima di tagliare il puzzle, il sistema riassume le parti più importanti e scarta il superfluo (compressione).
Utilizza anche un trucco di "spostamento" (come un codice segreto) per assicurarsi che, anche se vengono scartate informazioni, la matematica torni perfettamente quando gli insegnanti la rimettono insieme.
Questo rende la "posta" (trasmissione dati) minuscola, accelerando significativamente l'intero processo.

3. Il Risultato: Un Sistema Più Veloce, Sicuro e Intelligente

Il documento afferma che combinando queste due idee, ERIS raggiunge tre cose che solitamente si combattono a vicenda:

Privacy: Poiché nessun singolo osservatore vede l'immagine completa, è molto più difficile per gli hacker rubare dati privati. Il documento dimostra matematicamente che più "insegnanti" (aggregatori) hai, più diventa sicuro.
Scalabilità: Poiché il lavoro è suddiviso tra molti insegnanti invece che uno, il sistema non si intasa. Può gestire modelli enormi (come quelli utilizzati per i grandi modelli linguistici) senza rallentare.
Utilità (Intelligenza): Questa è la parte più importante. Di solito, quando cerchi di rendere le cose più private o più veloci, il cervello robotico diventa "meno intelligente" (meno accurato). ERIS afferma di essere il primo sistema che mantiene il cervello esattamente intelligente quanto la versione originale, non modificata, rimanendo allo stesso tempo privato e veloce.

La Conclusione

Gli autori hanno testato ERIS su varie attività, dal riconoscimento di immagini di gatti e cani alla comprensione del linguaggio umano. Hanno scoperto che:

Era altrettanto accurato del metodo standard.
Era molto più difficile per gli hacker rubare dati o indovinare su cosa le persone stavano addestrando.
Era molto più veloce da eseguire, specialmente quando si trattava di modelli massicci.

In breve, ERIS è come un nuovo modo di organizzare un progetto di gruppo in cui tutti dividono il proprio lavoro in minuscoli frammenti segreti, li inviano a diversi capi squadra e li riassemblano perfettamente alla fine, assicurandosi che nessuna persona veda l'immagine completa, ma il risultato finale sia perfetto.

Riepilogo Tecnico: ERIS – Miglioramento della Privacy e della Scalabilità nell'Apprendimento Federato tramite Aggregazione di Shard Federati

Enunciato del Problema

L'espansione dell'Apprendimento Federato (FL) a modelli con miliardi di parametri (ad esempio, Modelli Linguistici di Grande Dimensione) crea un compromesso critico tra privacy, scalabilità e utilità del modello. Le soluzioni esistenti affrontano tipicamente queste sfide in isolamento, sacrificando spesso una per le altre:

Privacy vs. Utilità: I metodi basati su perturbazione, come la Privacy Differenziale (DP) o la potatura dei gradienti, riducono la fuoriuscita di informazioni ma degradano frequentemente l'accuratezza del modello, specialmente in modelli di grandi dimensioni o in regimi a bassa disponibilità di dati. I protocolli crittografici (ad esempio, Aggregazione Sicura) nascondono gli aggiornamenti ma introducono un significativo sovraccarico computazionale e requisiti hardware, ostacolando la scalabilità.
Scalabilità vs. Utilità: Il FL centralizzato tradizionale soffre di un collo di bottiglia del server singolo, portando a congestione di rete e inefficienze di comunicazione all'aumentare del numero di client. Le architetture completamente decentralizzate distribuiscono la comunicazione ma spesso si affidano a un'aggregazione limitata al vicinato, che può alterare la traiettoria di ottimizzazione, rallentare la convergenza o ridurre l'utilità finale del modello rispetto al FedAvg centralizzato.
Il Conflitto Centrale: I metodi attuali introducono spesso approssimazioni, perturbazioni o deviazioni dall'aggregazione centralizzata che alterano la traiettoria di apprendimento. Esiste un bisogno persistente di un framework che preservi simultaneamente l'utilità della collaborazione centralizzata, garantisca la privacy a livello informativo e si scalri efficientemente senza fare affidamento su crittografia pesante o rumore degradante l'utilità.

Metodologia: Il Framework ERIS

Gli autori propongono ERIS, un nuovo framework FL incentrato sull'Aggregazione di Shard Federati (FSA), opzionalmente potenziato con Compressione Spostata Distribuita (DSC).

1. Aggregazione di Shard Federati (FSA)

La FSA è il meccanismo centrale progettato per rimuovere il collo di bottiglia dell'aggregazione centralizzata preservando la traiettoria esatta degli aggiornamenti del FL centralizzato.

Sharding: Invece di inviare un aggiornamento completo del client a un server centrale, ogni client partiziona il proprio vettore di aggiornamento in $A$ shard disgiunti e non sovrapposti utilizzando maschere binarie.
Aggregazione Distribuita: Ogni shard viene inviato a un aggregatore distinto lato client. Gli aggregatori calcolano indipendentemente la media degli shard che ricevono da tutti i client.
Riassemblaggio: Gli aggregatori trasmettono in broadcast i loro aggiornamenti parziali del modello ai client. I client riassemblano il modello globale completo sommando gli shard ricevuti.
Proprietà Chiave: Poiché gli shard sono disgiunti e completi (le loro maschere sommano al vettore di tutti uni), il modello globale riassemblato è matematicamente identico a quello prodotto dal FedAvg centralizzato. Nessuna coordinata viene scartata e non viene introdotta alcuna errore di approssimazione nel passaggio di aggregazione.

2. Integrazione con Compressione Spostata Distribuita (DSC)

Per migliorare ulteriormente la scalabilità e la privacy, ERIS integra la DSC come livello di pre-elaborazione prima dello sharding.

Meccanismo: I client applicano un operatore di compressione spostata ai propri gradienti locali prima della partizione. Ciò riduce il numero di parametri trasmessi e le coordinate esposte in ogni shard.
Compensazione dello Spostamento: Per mantenere la convergenza, sia i client che gli aggregatori mantengono vettori di riferimento per tracciare e compensare lo spostamento della compressione, garantendo che l'aggiornamento aggregato rimanga non distorto.
Modularità: Questo design permette a ERIS di incorporare altre trasformazioni (ad esempio, DP) prima della partizione, a condizione che il lato dell'aggregazione applichi le correzioni corrispondenti.

Contributi Chiave

Aggregazione di Shard Federati (FSA): Un meccanismo di aggregazione distribuita che frammenta gli aggiornamenti dei client su più aggregatori. Elimina il collo di bottiglia del server centrale, limita le informazioni visibili a un singolo osservatore (migliorando la privacy) e preserva la traiettoria esatta degli aggiornamenti del FL centralizzato (garantendo l'utilità).
Integrazione Senza Soluzione di Continuità con DSC: Il framework supporta naturalmente la DSC, riducendo i carichi utili trasmessi e le coordinate esposte senza compromettere le garanzie di utilità fornite dalla FSA.
Garanzie Teoriche:
- Convergenza: Gli autori dimostrano che la FSA non comporta perdita di informazioni rispetto all'aggregazione centralizzata. Con la DSC, stabiliscono limiti di convergenza che mostrano come l'utilità dipenda dalla varianza dell' stimatore del gradiente e sia indipendente dal numero di round $T$ (a differenza di alcuni precedenti metodi compressi con DP).
- Privacy: Derivano un limite superiore informativo sulla fuoriuscita di informazione mutua. Si dimostra che la fuoriuscita scala con $1/A$ (dove $A$ è il numero di aggregatori) e la probabilità di ritenzione della compressione $p$ . Ciò dimostra un'amplificazione della privacy attraverso lo sharding e la compressione.
Validazione Empirica: Esperimenti estesi su compiti di immagine (MNIST, CIFAR-10, ImageNet, LFW) e testo (IMDB, CNN/DailyMail), che vanno da modelli piccoli a LLM da 1,3 miliardi di parametri, validano il framework contro sei baseline all'avanguardia.

Risultati Sperimentali

Il documento valuta ERIS su tre dimensioni:

Utilità: ERIS raggiunge prestazioni alla pari con il FedAvg non privato su tutti i dataset e dimensioni di modello, inclusi i modelli linguistici di grandi dimensioni. Al contrario, baseline come FedAvg-LDP, PriPrune e SoteriaFL soffrono spesso di una significativa degradazione dell'accuratezza, specialmente in modelli grandi o in regimi a bassa disponibilità di dati.
Privacy:
- Attacchi di Inferenza dell'Appartenenza (MIA): ERIS riduce significativamente l'accuratezza degli MIA rispetto al FedAvg, avvicinandosi alla baseline "Min. Leakage" (dove non vengono condivisi gradienti). Aumentare il numero di aggregatori ( $A$ ) e la forza della compressione ( $\omega$ ) riduce ulteriormente la fuoriuscita.
- Attacchi di Ricostruzione dei Dati (DRA): Contro attacchi in white-box (DLG, iDLG, ROG, GGL), ERIS rende le ricostruzioni altamente distorte. Anche con una configurazione minima ( $A=2$ ), il sistema oscura efficacemente i gradienti, mentre la compressione da sola è spesso insufficiente contro attacchi adattivi.
Scalabilità:
- Efficienza di Comunicazione: Distribuendo l'aggregazione, ERIS rimuove il collo di bottiglia centrale. Per un modello da 1,3 miliardi di parametri, ERIS riduce il tempo di distribuzione da ~5200s (FedAvg) a ~468s (senza DSC) e fino a ~236s (con DSC).
- Riduzione del Carico Utile: Con la DSC, ERIS può ridurre la dimensione del caricamento a ~1% dell'aggiornamento completo (ad esempio, 46,8 MB per un modello da 1,3 miliardi) mantenendo l'utilità.

Significato e Affermazioni

Il documento afferma che ERIS fornisce un passo fondamentale per i sistemi FL di prossima generazione dimostrando che privacy e scalabilità possono essere rafforzate senza sacrificare l'utilità del modello.

Rottura del Compromesso: A differenza dei metodi precedenti che costringono a una scelta tra privacy/scalabilità e accuratezza, ERIS mantiene la traiettoria di ottimizzazione esatta del FL centralizzato distribuendo il carico e limitando l'esposizione delle informazioni.
Indipendenza dalla Crittografia Pesante: Il framework raggiunge forti garanzie di privacy attraverso la progettazione architetturale (sharding) e limiti informativi, evitando il sovraccarico computazionale del calcolo multipartito sicuro o degli ambienti di esecuzione attendibili.
Robustezza: Il sistema si dimostra robusto rispetto a guasti degli aggregatori e dei collegamenti (degradando in modo elegante) ed efficace contro sia gli attacchi di inferenza dell'appartenenza che quelli di ricostruzione dei dati.
Generalità: La natura modulare della FSA le permette di supportare vari algoritmi di FL centralizzato (ad esempio, FedAdam, FedYogi) e integrarsi con altri meccanismi di privacy, posizionandola come un livello a scopo generale per l'apprendimento scalabile e rispettoso della privacy.