🤖 machine learning

DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning

Das Papier schlägt DisAgg vor, ein verteiltes Aggregationsprotokoll, das ein kleines Client-Komitee für eine lokale, auf Geheimnisverteilung basierende Aggregation nutzt, wodurch teure kryptografische Operationen eliminiert und der Kommunikations- sowie Rechenaufwand im Vergleich zu bestehenden sicheren Aggregationsmethoden wie OPA erheblich reduziert wird.

Ursprüngliche Autoren: Haaris Mehmood, Giorgos Tatsis, Dimitrios Alexopoulos, Karthikeyan Saravanan, Jie Xu, Anastasios Drosou, Mete Ozay

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haaris Mehmood, Giorgos Tatsis, Dimitrios Alexopoulos, Karthikeyan Saravanan, Jie Xu, Anastasios Drosou, Mete Ozay

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Gemeinsam lernen, ohne Geheimnisse preiszugeben

Stellen Sie sich eine Gruppe von Nachbarn vor, die alle lernen möchten, wie man den perfekten Kuchen backt. Anstatt dass jeder sein geheimes Familienrezept in eine zentrale Küche bringt (was das Risiko birgt, dass jemand das Rezept stiehlt), behalten sie ihre Rezepte zu Hause. Sie senden dem Server nur das Ergebnis ihres Backversuchs (z. B. "2 Gramm mehr Zucker hinzufügen"), damit die Gruppe gemeinsam das perfekte Rezept herausfinden kann. Dies ist Federated Learning.

Es gibt jedoch ein Problem: Selbst wenn sie nur die "Zuckeranpassung" senden, könnte ein neugieriger Server (oder ein Hacker) manchmal das ursprüngliche Rezept aus diesen kleinen Anpassungen rekonstruieren.

Um dies zu beheben, verwenden wir Secure Aggregation. Es ist so, als würde man jede Notiz eines Nachbarn in einen verschlossenen Kasten legen, sie alle durcheinanderwirbeln und den Kasten nur öffnen, um die gesamte benötigte Zuckermenge zu sehen, ohne jemals zu sehen, wer was gesendet hat.

Das Problem mit den aktuellen Methoden

Das Papier argumentiert, dass die derzeitigen Methoden für dieses "verschlossene Kasten"-Mischen zu langsam und zu aufwendig sind.

Der alte Weg (SECAGG): Stellen Sie sich vor, jeder Nachbar muss mit jedem anderen Nachbarn die Hand schütteln, um geheime Schlüssel auszutauschen, bevor sie ihre Notizen senden können. Wenn es 100 Nachbarn gibt, sind das fast 10.000 Handschläge! Das ist ein massiver Verkehrsstau.
Der "One-Shot"-Weg (OPA): Dies ist schneller. Jeder sendet seine Notiz auf einmal. Aber um die endgültige Mischung zu entschlüsseln, ist die erforderliche Mathematik unglaublich aufwendig, als würde man versuchen, ein riesiges Sudoku-Rätsel zu lösen, nur um eine Einkaufsliste zu lesen. Dies stellt eine enorme Belastung für den Computer jedes einzelnen dar.

Die Lösung: DISAGG (Die "Geschmackstester")

Die Autoren schlagen eine neue Methode namens DISAGG vor. Anstatt dass der zentrale Server die ganze schwere Arbeit leistet oder jeder mit jedem die Hand schüttelt, führen sie eine kleine Gruppe vertrauenswürdiger Nachbarn ein, die Aggregatoren genannt werden.

So funktioniert DISAGG, Schritt für Schritt:

Das Setup: Der Server wählt eine kleine Gruppe von Nachbarn (sagen wir, 10 Personen) als Aggregatoren aus. Diese sind wie die "Geschmackstester" der Gruppe.
Die Geheimnis-Aufteilung: Jeder normale Nachbar nimmt seine geheime Rezeptnotiz und schneidet sie in 10 winzige, durcheinandergewürfelte Stücke (wie das Zerfetzen eines Dokuments). Sie senden ein Stück an jeden der 10 Aggregatoren.
- Kritischer Punkt: Kein einzelner Aggregator sieht die ganze Notiz. Sie sehen nur ein winziges, bedeutungsloses Fragment.
Das lokale Mischen: Jeder Aggregator sammelt die Fragmente von allen Nachbarn. Sie addieren ihre 10 Stücke lokal. Anstatt 100 Notizen haben die Aggregatoren nun nur noch 10 "Teilsummen".
Die endgültige Enthüllung: Die Aggregatoren senden diese 10 Teilsummen zurück an den Server. Der Server kombiniert sie, um die endgültige Antwort zu erhalten (die gesamte benötigte Zuckermenge).

Warum dies besser ist (Die Analogie)

Stellen Sie es sich wie ein Potluck-Essen vor:

Alter Weg: Jeder bringt ein Gericht mit, aber bevor sie essen können, müssen sie alle in einem riesigen Kreis stehen und Zutaten hin und her reichen, um die Identität aller zu überprüfen. Das dauert Stunden.
OPA-Weg: Jeder bringt ein Gericht mit, aber der Koch muss einen superkomplexen, schweren Mixer verwenden, um sie alle sicher zu mischen. Der Mixer ist so laut und langsam, dass es ewig dauert.
DISAGG-Weg: Jeder bringt sein Gericht zu einem kleinen Tisch mit 10 "Geschmackstestern". Die Geschmackstester mischen ihre eigenen kleinen Schüsseln mit Zutaten. Dann geben sie einfach die 10 gemischten Schüsseln an den Koch weiter. Der Koch mischt diese 10 Schüsseln und serviert das Essen.

Das Ergebnis:

Normale Nachbarn (Clients): Sie leisten sehr wenig Arbeit. Sie schneiden einfach ihre Notiz und senden sie. Keine schwere Mathematik.
Der Koch (Server): Er muss nicht die schwere Arbeit des Mischens von Tausenden von Notizen leisten. Er mischt nur die 10 Schüsseln, die die Geschmackstester gesendet haben.
Die Geschmackstester (Aggregatoren): Sie leisten die zusätzliche Arbeit, aber da es nur 10 von ihnen gibt, bewältigt die Gruppe dies problemlos.

Die Ergebnisse

Das Papier hat dies gegen die derzeit beste Methode (OPA) mit massiven Zahlen getestet (100.000 Clients und riesige Modelle).

Geschwindigkeit: DISAGG war 4,6-mal schneller als die bisher beste Methode.
Effizienz: Es reduzierte die schwere Computerarbeit für die normalen Benutzer und den Server erheblich.
Datenschutz: Es bleibt genauso sicher. Selbst wenn einige Geschmackstester kollabieren (versuchen zu betrügen), können sie nicht herausfinden, was das Rezept eines einzelnen Nachbarn war.

Zusammenfassung

DISAGG ist eine intelligentere Art, geheime Daten in einer Gruppe zu mischen. Anstatt alle zu zwingen, schwere Mathematik zu betreiben oder den Server die ganze Arbeit machen zu lassen, delegiert es das Mischen an ein kleines, spezialisiertes Team. Dies macht den gesamten Prozess viel schneller und leichter und ermöglicht es Millionen von Menschen, gemeinsam zu lernen, ohne ihre Telefone zu verlangsamen oder ihre Geheimnisse preiszugeben.

Technische Zusammenfassung: DISAGG – Verteilte Aggregatoren für effiziente sichere Aggregation

1. Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Trainieren von Modellen, während die Rohdaten lokal bleiben, doch standardmäßiges FL macht Client-Updates einem zentralen Server zugänglich, was Privatsphärenrisiken gegenüber „ehrlichen, aber neugierigen" Servern durch Gradienten-Inversionsangriffe schafft. Sichere Aggregationsprotokolle (SA) adressieren dies, indem sie sicherstellen, dass der Server nur die Summe der Updates lernt, nicht jedoch einzelne Beiträge.

Bestehende SA-Protokolle stoßen jedoch in Produktionsumgebungen, die durch große Client-Populationen, intermittierende Konnektivität und Client-Ausfälle gekennzeichnet sind, auf erhebliche Skalierbarkeits- und Effizienzengpässe:

Mehrstufige Protokolle (z. B. SECAGG, SECAGG+): Verlassen sich auf paarweise Schlüsselaustausche und mehrphasige Wiederherstellungsmechanismen. Diese verursachen einen Kommunikationsaufwand von $O(N^2)$ oder $O(N \log N)$ und führen Synchronisationsbarrieren ein, was sie anfällig für Verzögerer und Ausfälle macht.
Ein-Schuss-Protokolle (z. B. OPA): Reduzieren die Rundenzahl auf eine einzige Interaktion pro Iteration, verlagern die Last jedoch auf schwere kryptografische Operationen (z. B. Maskierung auf Basis von Learning With Errors, gepacktes Shamir-Geheimnis-Sharing). Dies führt zu erheblichem Rechen- und Kommunikationsaufwand, der mit der Modelldimension und der Größe des Komitees skaliert, insbesondere für Clients und den Server.

Die Kernherausforderung besteht darin, ein Protokoll zu entwerfen, das die geringe Rundenzahl und die Ausfallsicherheit von Ein-Schuss-Ansätzen beibehält und gleichzeitig den Rechen- und kryptografischen Aufwand für reguläre Clients und den Server erheblich reduziert.

2. Methodik: Das DISAGG-Protokoll

Die Autoren schlagen DISAGG (Distributed Aggregators) vor, ein neuartiges sicheres Aggregationsprotokoll, das die Aggregationslast auf ein kleines, zufällig ausgewähltes Komitee von Clients verteilt, das als Aggregatoren bezeichnet wird.

Kernmechanismus

Im Gegensatz zu traditionellen Schemata, bei denen der Server die finale Aggregation durchführt oder Clients ihre Updates mit paarweisen Schlüsseln maskieren, nutzt DISAGG Lagrange Coded Computing (LCC) und Geheimnis-Sharing:

Setup (Runde 0): Der Server wählt eine Menge teilnehmender Clients ( $U$ ) aus und verteilt Systemparameter.
Geheimnis-Sharing und Upload (Runde 1):
- Der Server wählt eine Teilmenge von Clients ( $A$ ) zufällig aus, die als Aggregatoren fungieren.
- Reguläre Clients kodieren ihre Modell-Update-Vektoren ( $x_i$ ) mittels Lagrange-Interpolation in Geheimnis-Shares.
- Jeder Client verschlüsselt seine Shares mit den öffentlichen Schlüsseln der Aggregatoren und sendet sie an den Server.
- Entscheidend ist, dass Clients keine lokale Maskierung oder paarweisen Schlüsselaustausch mit allen anderen Clients durchführen.
Verteilte Aggregation (Runde 2):
- Der Server leitet die empfangenen Shares an die Aggregatoren weiter.
- Die Aggregatoren entschlüsseln die Shares, berechnen lokal die partielle Summe der erhaltenen Shares und senden diese aggregierten Shares an den Server zurück.
- Der Server rekonstruiert das globale Modell-Update, indem er die aggregierten Shares einer ausreichenden Anzahl überlebender Aggregatoren kombiniert.

Sicherheit und Robustheit

Bedrohungsmodell: Das Protokoll geht von einem ehrlichen, aber neugierigen Server aus und toleriert einen Anteil $\gamma$ kollabierender Clients sowie $\delta$ ausgefallener Clients.
Privatsphäre: Es bietet informationstheoretische Sicherheit (T-Privatsphäre). Selbst wenn bis zu $t_c$ Aggregatoren kollabieren, erfahren sie nichts über einzelne Client-Updates außer der Summe, was durch das Hinzufügen zufälliger Maskierungsvektoren während des Geheimnis-Sharing-Prozesses erreicht wird.
Korrektheit: Das Protokoll ist robust gegenüber Ausfällen. Solange die Anzahl der überlebenden Aggregatoren die Rekonstruktionsschwelle ( $t_r$ ) überschreitet, kann der Server die Summe erfolgreich rekonstruieren.

3. Hauptbeiträge

Neuartiges Protokoll-Design: DISAGG ist das erste Protokoll, das komiteebasierte verteilte Summation direkt auf die Modellaggregation mittels Geheimnis-Sharing anwendet und damit die Notwendigkeit lokaler kryptografischer Maskierung sowie komplexer Wiederherstellungsmechanismen für Ausfälle, wie sie in SECAGG/SECAGG+ zu finden sind, eliminiert.
Theoretische Analyse: Die Autoren erweitern theoretische Analysen zur Auswahl von Schwellenwerten für Geheimnis-Shares, um realistische Einschränkungen einzubeziehen, modellieren sowohl ausgefallene als auch korrupte Clients als Zufallsvariablen und integrieren Grenzen für die byzantinische Fehlertoleranz, um optimale Parameter für die Größe des Aggregator-Komitees abzuleiten.
Leistungsrahmen: Es wurde ein Zeitanalyse-Rahmen entwickelt, um DISAGG mit State-of-the-Art-Protokollen (insbesondere OPA) zu vergleichen, ohne vollständige Simulationen in großem Maßstab zu erfordern, unter Berücksichtigung sowohl der Rechen- als auch der Kommunikationskomplexität unter realistischen Netzwerkeinschränkungen (z. B. 5G-Geschwindigkeiten).

4. Ergebnisse und Leistung

Die Arbeit bewertet DISAGG im Vergleich zu SECAGG, SECAGG+, LIGHTSECAGG und OPA über verschiedene Modellgrößen ( $M$ ) und Client-Anzahlen ( $N$ ).

Beschleunigung: In realistischen geräteübergreifenden Szenarien (z. B. $N=100k$ Clients, $M=100k$ Parameter, 5G-Konnektivität) erzielt DISAGG eine 4,6-fache Beschleunigung gegenüber OPA, dem bisherigen besten Protokoll. Theoretische Analysen deuten auf potenzielle Beschleunigungen von bis zu 25-fach unter spezifischen Konfigurationen hin ( $M=1M, N=1M$ ).
Komplexitätsreduktion:
- Client-Seite: DISAGG reduziert die Client-Rechenleistung von $O(\lambda M)$ (in OPA, wobei $\lambda$ ein Sicherheitsparameter ist) auf $O(M \log A)$ und entfernt damit schwere kryptografische Operationen.
- Server-Seite: Die Server-Rechenleistung wird von $O(NM + \lambda A)$ auf $O(M \log A)$ reduziert, da der Server das Dekodieren schwerer Chiffrate vermeidet.
- Kompromiss: Die Effizienzgewinne gehen zu Lasten eines erhöhten Kommunikations- und Rechenaufwands für die Aggregatoren. Die Arbeit zeigt jedoch, dass dieser Aufwand durch Anpassung des Packungsfaktors ( $\rho$ ) und der Anzahl der Aggregatoren ( $A$ ) beherrschbar ist, während gleichzeitig erhebliche Gesamtbeschleunigungen des Systems erhalten bleiben.
Robustheit: DISAGG behält auch unter kombinierten Ausfall- und Kollusionsfaktoren ( $k = \gamma + \delta$ ) bis zu 0,3 eine Beschleunigung von über 4-fach gegenüber OPA bei.
Modellnutzen: Experimente mit diversen Datensätzen (MNIST, CIFAR, CelebA, SST2) bestätigen, dass DISAGG eine Konvergenz und Genauigkeit erreicht, die mit der Aggregation im Klartext und OPA vergleichbar ist, mit vernachlässigbarer Verschlechterung durch Quantisierung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DISAGG erfolgreich die Lücke zwischen der geringen Rundenzahl moderner Ein-Schuss-Protokolle und der für groß angelegtes, geräteübergreifendes Federated Learning erforderlichen Recheneffizienz schließt.

Effizienz: Durch die Auslagerung der Aggregationslast an ein kleines, spezialisiertes Komitee eliminiert DISAGG den „schweren" kryptografischen Aufwand, der die Einführung von Ein-Schuss-Protokollen auf ressourcenbeschränkten Edge-Geräten behindert hat.
Skalierbarkeit: Das Protokoll skaliert effektiv auf Millionen von Clients und Parametern und adressiert die Synchronisationsbarrieren und die Anfälligkeit für Verzögerer, die mehrstufige Protokolle plagen.
Praktikabilität: Die Autoren behaupten, dass DISAGG eine praktische Lösung für reale FL-Einsätze bietet, bei denen Netzwerkheterogenität und Client-Volatilität üblich sind, und bietet ein starkes Gleichgewicht zwischen Privatsphäre-Garantien (informationstheoretische Sicherheit) und Systemleistung.

Die Arbeit kommt zu dem Schluss, dass verteilte Aggregation mittels Geheimnis-Sharing eine gangbare und überlegene Alternative für effiziente sichere Aggregation im Federated Learning darstellt, insbesondere in Szenarien, die hohen Durchsatz und geringe Latenz erfordern.