Riepilogo Tecnico: DISAGG – Aggregatori Distribuiti per l'Aggregazione Sicura Efficiente

1. Enunciato del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli mantenendo i dati grezzi in locale, ma l'FL standard espone gli aggiornamenti dei client a un server centrale, creando rischi per la privacy contro server "onesti ma curiosi" tramite attacchi di inversione del gradiente. I protocolli di Aggregazione Sicura (SA) affrontano questo problema garantendo che il server apprenda solo l'aggregato degli aggiornamenti, non i contributi individuali.

Tuttavia, i protocolli SA esistenti affrontano significativi colli di bottiglia in termini di scalabilità ed efficienza negli ambienti di produzione caratterizzati da grandi popolazioni di client, connettività intermittente e abbandoni dei client:

• Protocolli multi-round (es. SECAGG, SECAGG+): Si basano su scambi di chiavi pairwise e meccanismi di recupero multi-fase. Questi comportano un sovraccarico di comunicazione di $O(N^2)$ o $O(N \log N)$ e introducono barriere di sincronizzazione, rendendoli sensibili a ritardi e abbandoni.
• Protocolli one-shot (es. OPA): Riducono la complessità dei round a una singola interazione per iterazione, ma spostano il peso su operazioni crittografiche pesanti (es. mascheramento basato su Learning With Errors, condivisione segreta di Shamir impaccata). Ciò risulta in un sostanziale sovraccarico computazionale e di comunicazione che scala con la dimensione del modello e la dimensione del comitato, in particolare per i client e il server.

La sfida principale è progettare un protocollo che mantenga la bassa complessità dei round e la resilienza agli abbandoni degli approcci one-shot, riducendo significativamente il sovraccarico computazionale e crittografico sui client regolari e sul server.

2. Metodologia: Il Protocollo DISAGG

Gli autori propongono DISAGG (Distributed Aggregators), un nuovo protocollo di aggregazione sicura che distribuisce il carico di aggregazione a un piccolo comitato di client selezionati casualmente, chiamati Aggregatori.

Meccanismo Principale

A differenza degli schemi tradizionali in cui il server esegue l'aggregazione finale o i client mascherano i loro aggiornamenti con chiavi pairwise, DISAGG sfrutta il Lagrange Coded Computing (LCC) e la Condivisione Segreta:

1. Setup (Round 0): Il server seleziona un insieme di client partecipanti ($U$) e distribuisce i parametri di sistema.
2. Condivisione Segreta e Caricamento (Round 1):
   • Il server seleziona casualmente un sottoinsieme di client ($A$) per agire come Aggregatori.
   • I client regolari codificano i loro vettori di aggiornamento del modello ($x_i$) in condivisioni segrete utilizzando l'interpolazione di Lagrange.
   • Ogni client crittografa le sue condivisioni utilizzando le chiavi pubbliche degli Aggregatori e le invia al server.
   • Crucialmente, i client non eseguono mascheramento locale o scambi di chiavi pairwise con tutti gli altri client.
3. Aggregazione Distribuita (Round 2):
   • Il server inoltra le condivisioni ricevute agli Aggregatori.
   • Gli Aggregatori decrittano le condivisioni, calcolano localmente la somma parziale delle condivisioni ricevute e restituiscono queste condivisioni aggregate al server.
   • Il server ricostruisce l'aggiornamento globale del modello combinando le condivisioni aggregate da un numero sufficiente di Aggregatori sopravvissuti.

Sicurezza e Robustezza

• Modello di Minaccia: Il protocollo assume un server onesto ma curioso e tollera una frazione $\gamma$ di client collusivi e $\delta$ di client abbandonati.
• Privacy: Fornisce sicurezza informazionale (T-privacy). Anche se fino a $t_c$ Aggregatori colludono, non apprendono nulla sugli aggiornamenti individuali dei client oltre alla somma, ottenuto aggiungendo vettori di mascheramento casuali durante il processo di condivisione segreta.
• Correttezza: Il protocollo è robusto agli abbandoni. Finché il numero di Aggregatori sopravvissuti supera la soglia di ricostruzione ($t_r$), il server può ricostruire con successo la somma.

3. Contributi Chiave

1. Progettazione di un Nuovo Protocollo: DISAGG è il primo protocollo ad applicare la somma distribuita basata su comitati direttamente all'aggregazione del modello utilizzando la condivisione segreta, eliminando la necessità di mascheramento crittografico locale e meccanismi complessi di recupero dagli abbandoni presenti in SECAGG/SECAGG+.
2. Analisi Teorica: Gli autori estendono le analisi teoriche per la selezione della soglia di condivisione segreta per includere vincoli realistici, modellando sia i client abbandonati che quelli corrotti come variabili casuali e incorporando limiti di tolleranza ai guasti bizantini per derivare parametri ottimali per la dimensione del comitato degli Aggregatori.
3. Framework di Prestazioni: È stato sviluppato un framework di analisi temporale per confrontare DISAGG con i protocolli all'avanguardia (in particolare OPA) senza richiedere simulazioni su larga scala, tenendo conto sia della complessità computazionale che di quella di comunicazione sotto vincoli di rete realistici (es. velocità 5G).

4. Risultati e Prestazioni

Il documento valuta DISAGG rispetto a SECAGG, SECAGG+, LIGHTSECAGG e OPA su varie dimensioni del modello ($M$) e numeri di client ($N$).

• Accelerazione: In scenari realistici cross-device (es. $N=100k$ client, $M=100k$ parametri, connettività 5G), DISAGG ottiene un'accelerazione di 4,6 volte rispetto a OPA, il protocollo precedente migliore. L'analisi teorica suggerisce potenziali accelerazioni fino a 25 volte in configurazioni specifiche ($M=1M, N=1M$).
• Riduzione della Complessità:
  • Lato Client: DISAGG riduce il calcolo del client da $O(\lambda M)$ (in OPA, dove $\lambda$ è un parametro di sicurezza) a $O(M \log A)$, rimuovendo le operazioni crittografiche pesanti.
  • Lato Server: Il calcolo del server è ridotto da $O(NM + \lambda A)$ a $O(M \log A)$, poiché il server evita la decodifica di testi cifrati pesanti.
  • Compromesso: I guadagni di efficienza comportano un costo di comunicazione e calcolo aumentato per gli Aggregatori. Tuttavia, il documento dimostra che regolando il fattore di impaccamento ($\rho$) e il numero di Aggregatori ($A$), questo sovraccarico può essere gestito mantenendo accelerazioni complessive significative del sistema.
• Robustezza: DISAGG mantiene un'accelerazione superiore a 4 volte rispetto a OPA anche sotto fattori combinati di abbandono e collusione ($k = \gamma + \delta$) fino a 0,3.
• Utilità del Modello: Esperimenti su dataset diversificati (MNIST, CIFAR, CelebA, SST2) confermano che DISAGG raggiunge convergenza e accuratezza comparabili all'aggregazione in testo semplice e a OPA, con degradazione trascurabile dovuta alla quantizzazione.

5. Significato e Affermazioni

Il documento afferma che DISAGG colma con successo il divario tra la bassa complessità dei round dei moderni protocolli one-shot e l'efficienza computazionale richiesta per l'Apprendimento Federato su larga scala e cross-device.

• Efficienza: Scaricando il carico di aggregazione su un piccolo comitato specializzato, DISAGG elimina il sovraccarico crittografico "pesante" che ha ostacolato l'adozione dei protocolli one-shot su dispositivi edge con risorse limitate.
• Scalabilità: Il protocollo scala efficacemente a milioni di client e parametri, affrontando le barriere di sincronizzazione e la sensibilità ai ritardi che affliggono i protocolli multi-round.
• Praticità: Gli autori affermano che DISAGG offre una soluzione pratica per implementazioni FL nel mondo reale dove l'eterogeneità di rete e la volatilità dei client sono comuni, fornendo un forte equilibrio tra garanzie di privacy (sicurezza informazionale) e prestazioni di sistema.

Il lavoro conclude che l'aggregazione distribuita tramite condivisione segreta è un'alternativa vitale e superiore per l'aggregazione sicura efficiente nell'apprendimento federato, in particolare in scenari che richiedono alta produttività e bassa latenza.