🤖 machine learning

DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning

Het artikel stelt DisAgg voor, een gedistribueerd aggregatieprotocol dat gebruikmaakt van een klein cliëntcomité om lokale aggregatie op basis van geheimdeling uit te voeren, waardoor dure cryptografische bewerkingen worden geëlimineerd en de communicatie- en rekenkosten aanzienlijk worden verlaagd in vergelijking met bestaande veilige aggregatiemethoden zoals OPA.

Oorspronkelijke auteurs: Haaris Mehmood, Giorgos Tatsis, Dimitrios Alexopoulos, Karthikeyan Saravanan, Jie Xu, Anastasios Drosou, Mete Ozay

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haaris Mehmood, Giorgos Tatsis, Dimitrios Alexopoulos, Karthikeyan Saravanan, Jie Xu, Anastasios Drosou, Mete Ozay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Samen Leren Zonder Geheimen Te Delen

Stel je een groep buren voor die allemaal willen leren hoe ze de perfecte taart kunnen bakken. In plaats dat iedereen zijn geheime familirecept naar een centrale keuken brengt (wat het risico met zich meebrengt dat iemand het recept steelt), houden ze hun recepten thuis. Ze sturen de server alleen het resultaat van hun bakpoging (bijvoorbeeld "voeg 2 gram meer suiker toe") zodat de groep samen de perfecte receptuur kan bepalen. Dit is Federated Learning.

Er is echter een probleem: zelfs als ze alleen de "suiker-aanpassing" sturen, zou een nieuwsgierige server (of een hacker) soms het originele recept kunnen reconstrueren uit die kleine aanpassingen.

Om dit op te lossen, gebruiken we Secure Aggregation. Het is alsof je de brief van elke buur in een afgesloten doos stopt, ze allemaal door elkaar mengt, en de doos alleen opent om het totaal benodigde suikeraantal te zien, zonder ooit te zien wie wat heeft gestuurd.

Het Probleem met Huidige Methoden

Het paper betoogt dat de huidige manieren om deze "afgesloten doos"-menging uit te voeren te traag en zwaar zijn.

De Oude Manier (SECAGG): Stel je voor dat elke buur met elke andere buur de hand moet schudden om geheime sleutels uit te wisselen voordat ze hun brief kunnen sturen. Als er 100 buren zijn, zijn dat bijna 10.000 handdrukken! Het is een enorme file.
De "One-Shot" Manier (OPA): Dit is sneller. Iedereen stuurt zijn brief in één keer. Maar om de uiteindelijke mix te ontgrendelen, is de benodigde wiskunde ontzettend zwaar, alsof je een gigantisch sudoku-puzzel moet oplossen om alleen een boodschappenlijstje te lezen. Het legt een enorme last op de computer van iedereen.

De Oplossing: DISAGG (De "Proevers")

De auteurs stellen een nieuwe methode voor genaamd DISAGG. In plaats dat de centrale server het zware werk doet, of dat iedereen met iedereen de hand schudt, introduceren ze een kleine groep vertrouwde buren die Aggregators worden genoemd.

Hier is hoe DISAGG werkt, stap voor stap:

De Opzet: De server kiest een kleine groep buren (bijvoorbeeld 10 personen) uit om de Aggregators te zijn. Deze zijn als de "Proevers" van de groep.
De Geheime Verdeling: Elke gewone buur neemt zijn geheime receptbrief en snijdt deze in 10 kleine, verwarde stukjes (alsof je een document verscheurt). Ze sturen één stukje naar elke van de 10 Aggregators.
- Cruciaal punt: Geen enkele Aggregator ziet de hele brief. Ze zien alleen een klein, betekenisloos fragment.
De Lokale Mix: Elke Aggregator verzamelt de fragmenten van alle buren. Ze tellen hun 10 stukjes lokaal op. Nu hebben de Aggregators, in plaats van 100 brieven, slechts 10 "deelsommen".
De Uiteindelijke Onthulling: De Aggregators sturen deze 10 deelsommen terug naar de server. De server combineert ze om het uiteindelijke antwoord te krijgen (het totale benodigde suikeraantal).

Waarom Dit Beter Is (De Analogie)

Denk eraan als een potluck-diner:

Oude Manier: Iedereen brengt een gerecht, maar voordat ze kunnen eten, moeten ze allemaal in een gigantische cirkel staan en ingrediënten heen en weer geven om ieders identiteit te verifiëren. Het kost uren.
OPA Manier: Iedereen brengt een gerecht, maar de chef moet een super-complexe, zware blender gebruiken om ze allemaal veilig te mixen. De blender is zo luid en traag dat het eeuwig duurt.
DISAGG Manier: Iedereen brengt zijn gerecht naar een klein tafeltje met 10 "Proevers". De Proevers mixen hun eigen kleine kommetjes met ingrediënten. Vervolgens geven ze gewoon de 10 gemixte kommetjes aan de Chef. De Chef mixt die 10 kommetjes en serveert de maaltijd.

Het Resultaat:

Gewone Buren (Clients): Ze doen zeer weinig werk. Ze snijden alleen hun brief en sturen hem. Geen zware wiskunde.
De Chef (Server): Ze hoeven niet het zware werk te doen van het mixen van duizenden brieven. Ze mixen alleen de 10 kommetjes die de Proevers hebben gestuurd.
De Proevers (Aggregators): Ze doen het extra werk, maar omdat er maar 10 van zijn, kan de groep dit makkelijk aan.

De Resultaten

Het paper heeft dit getest tegen de huidige beste methode (OPA) met enorme aantallen (100.000 clients en enorme modellen).

Snelheid: DISAGG was 4,6 keer sneller dan de vorige beste methode.
Efficiëntie: Het verminderde het zware computwerk voor de gewone gebruikers en de server aanzienlijk.
Privacy: Het blijft even veilig. Zelfs als een paar Proevers samenzweren (proberen te bedriegen), kunnen ze niet achterhalen wat het recept van een enkele buur was.

Samenvatting

DISAGG is een slimmere manier om geheime data in een groep te mixen. In plaats dat iedereen zware wiskunde doet of de server het hele werk laat doen, delegeren ze het mixen aan een klein, gespecialiseerd team. Dit maakt het hele proces veel sneller en lichter, waardoor miljoenen mensen samen kunnen leren zonder hun telefoons te vertragen of hun geheimen te onthullen.

Technische Samenvatting: DISAGG – Gedistribueerde Aggregators voor Efficiënte Veilige Aggregatie

1. Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk terwijl ruwe data lokaal blijft, maar standaard FL blootstelt client-updates aan een centrale server, wat privacyrisico's creëert tegen "eerlijk maar nieuwsgierige" servers via gradient-inversie-aanvallen. Veilige Aggregatie (SA)-protocollen lossen dit op door te garanderen dat de server alleen de som van de updates leert, niet de individuele bijdragen.

Bestaande SA-protocollen ondervinden echter aanzienlijke schaalbaarheids- en efficiëntieflessen in productiemilieu's die gekenmerkt worden door grote clientpopulaties, onderbroken connectiviteit en client-uitval:

Meertrapsprotocollen (bijv. SECAGG, SECAGG+): Vertrouwen op paarsgewijze sleuteluitwisselingen en meelfasige herstelmechanismen. Deze leiden tot $O(N^2)$ of $O(N \log N)$ communicatie-overhead en introduceren synchronisatiebarrières, waardoor ze gevoelig zijn voor trage clients en uitval.
Een-schotprotocollen (bijv. OPA): Verminderen de rondetellercomplexiteit tot één interactie per iteratie, maar verschuiven de last naar zware cryptografische bewerkingen (bijv. masking gebaseerd op Learning With Errors, gepakte Shamir-geheime deling). Dit resulteert in aanzienlijke reken- en communicatie-overhead die schaalt met de modeldimensie en de comités grootte, met name voor clients en de server.

De kernuitdaging is een protocol te ontwerpen dat de lage rondetellercomplexiteit en uitvalbestendigheid van een-schotbenaderingen behoudt, terwijl de reken- en cryptografische overhead op reguliere clients en de server aanzienlijk wordt verminderd.

2. Methodologie: Het DISAGG-protocol

De auteurs stellen DISAGG (Distributed Aggregators) voor, een nieuw veilig aggregatieprotocol dat de aggregatielast verdeelt over een klein, willekeurig geselecteerd comité van clients, genaamd Aggregators.

Kernmechanisme

In tegenstelling tot traditionele schema's waarbij de server de definitieve aggregatie uitvoert of clients hun updates maskeren met paarsgewijze sleutels, maakt DISAGG gebruik van Lagrange Coded Computing (LCC) en Geheime Deling:

Opzet (Ronde 0): De server selecteert een set deelnemende clients ( $U$ ) en distribueert systeemparameters.
Geheime Deling & Upload (Ronde 1):
- De server selecteert willekeurig een subset van clients ( $A$ ) om te fungeren als Aggregators.
- Reguliere clients coderen hun model-updatevectoren ( $x_i$ ) in geheime delen met behulp van Lagrange-interpolatie.
- Elke client versleutelt zijn delen met de publieke sleutels van de Aggregators en stuurt ze naar de server.
- Cruciaal: clients voeren geen lokale masking uit en wisselen geen paarsgewijze sleutels uit met alle andere clients.
Gedistribueerde Aggregatie (Ronde 2):
- De server doorstuurt de ontvangen delen naar de Aggregators.
- Aggregators ontsleutelen de delen, berekenen lokaal de partiële som van de delen die ze ontvingen, en sturen deze geaggregeerde delen terug naar de server.
- De server reconstrueert de globale modelupdate door de geaggregeerde delen van een voldoende aantal overlevende Aggregators te combineren.

Veiligheid en Robuustheid

Bedreigingsmodel: Het protocol gaat uit van een eerlijk maar nieuwsgierige server en tolereert een fractie $\gamma$ van samenzwerende clients en $\delta$ van uitgevallen clients.
Privacy: Het biedt informatie-theoretische beveiliging (T-privacy). Zelfs als tot $t_c$ Aggregators samenzweren, leren ze niets over individuele client-updates behalve de som, bereikt door het toevoegen van willekeurige masking-vectoren tijdens het proces van geheime deling.
Correctheid: Het protocol is robuust tegen uitval. Zolang het aantal overlevende Aggregators de reconstructiedrempel ( $t_r$ ) overschrijdt, kan de server de som succesvol reconstrueren.

3. Belangrijkste Bijdragen

Nieuw Protocolontwerp: DISAGG is het eerste protocol dat comités-gebaseerde gedistribueerde sommatie direct toepast op modelaggregatie met behulp van geheime deling, waardoor de noodzaak voor lokale cryptografische masking en complexe herstelmechanismen voor uitval zoals gevonden in SECAGG/SECAGG+ wordt geëlimineerd.
Theoretische Analyse: De auteurs breiden theoretische analyses voor de selectie van drempels voor geheime deling uit om realistische beperkingen mee te nemen, waarbij zowel uitgevallen als corrupte clients worden gemodelleerd als willekeurige variabelen en Byzantijnse fouttolerantiegrenzen worden opgenomen om optimale parameters voor de grootte van het Aggregator-comité af te leiden.
Prestatiekader: Er wordt een timing-analysekader ontwikkeld om DISAGG te vergelijken met state-of-the-art protocollen (specifiek OPA) zonder volledige schaal-simulaties te vereisen, rekening houdend met zowel reken- als communicatiecomplexiteit onder realistische netwerkbeperkingen (bijv. 5G-snelheden).

4. Resultaten en Prestaties

Het artikel evalueert DISAGG tegen SECAGG, SECAGG+, LIGHTSECAGG en OPA over verschillende modelgroottes ( $M$ ) en aantallen clients ( $N$ ).

Snelheidswinst: In realistische cross-device omgevingen (bijv. $N=100k$ clients, $M=100k$ parameters, 5G-connectiviteit) bereikt DISAGG een 4,6x snelheidswinst ten opzichte van OPA, het vorige beste protocol. Theoretische analyse suggereert potentiële snelheidswinsten tot 25x onder specifieke configuraties ( $M=1M, N=1M$ ).
Complexiteitsreductie:
- Kant van de Client: DISAGG verlaagt de client-berekening van $O(\lambda M)$ (in OPA, waarbij $\lambda$ een veiligheidsparameter is) naar $O(M \log A)$ , waardoor zware cryptografische bewerkingen worden verwijderd.
- Kant van de Server: Server-berekening wordt verlaagd van $O(NM + \lambda A)$ naar $O(M \log A)$ , omdat de server het decoderen van zware ciphertexts vermijdt.
- Trade-off: De efficiëntiewinsten gaan ten koste van verhoogde communicatie en berekening voor de Aggregators. Het artikel toont echter aan dat door de packing-factor ( $\rho$ ) en het aantal Aggregators ( $A$ ) af te stemmen, deze overhead beheerst kan worden terwijl aanzienlijke totale systeemversnellingen behouden blijven.
Robuustheid: DISAGG behoudt een snelheidswinst van meer dan 4x ten opzichte van OPA, zelfs onder gecombineerde uitval- en samenzweringsfactoren ( $k = \gamma + \delta$ ) tot 0,3.
Modelgebruik: Experimenten op diverse datasets (MNIST, CIFAR, CelebA, SST2) bevestigen dat DISAGG convergentie en nauwkeurigheid bereikt die vergelijkbaar zijn met plaintext-aggregatie en OPA, met verwaarloosbare degradatie door kwantisatie.

5. Betekenis en Beweringen

Het artikel beweert dat DISAGG succesvol de kloof overbrugt tussen de lage rondetellercomplexiteit van moderne een-schotprotocollen en de rekenkundige efficiëntie die vereist is voor grootschalige, cross-device Federated Learning.

Efficiëntie: Door de aggregatielast uit te besteden aan een klein, gespecialiseerd comité, elimineert DISAGG de "zware" cryptografische overhead die de adoptie van een-schotprotocollen op randapparaten met beperkte middelen heeft gehinderd.
Schaalbaarheid: Het protocol schaalt effectief tot miljoenen clients en parameters, waardoor het de synchronisatiebarrières en gevoeligheid voor trage clients aanpakt die meertrapsprotocollen plagen.
Praktijktoepasbaarheid: De auteurs stellen dat DISAGG een praktische oplossing biedt voor real-world FL-implementaties waar netwerkheterogeniteit en client-volatiliteit veelvoorkomend zijn, en dat het een sterke balans biedt tussen privacygaranties (informatie-theoretische beveiliging) en systeemprestaties.

Het werk concludeert dat gedistribueerde aggregatie via geheime deling een levensvatbaar en superieur alternatief is voor efficiënte veilige aggregatie in federated learning, met name in scenario's die hoge doorvoer en lage latentie vereisen.