Federated Learning Architecture: Data Privacy and System Security Approaches

Technische Zusammenfassung: Architektur des föderierten Lernens mit homomorpher Verschlüsselung und differenzieller Privatsphäre

Problemstellung
Obwohl das föderierte Lernen (Federated Learning, FL) ein Paradigma für das Training von Modellen des maschinellen Lernens ohne Zentralisierung der Rohdaten bietet, bleibt es anfällig für Sicherheits- und Datenschutzbedrohungen. Insbesondere können die zwischen Clients und dem zentralen Server übertragenen Modellaktualisierungen abgefangen werden, um Modellinferenz- oder Rekonstruktionsangriffe durchzuführen, was potenziell sensible Informationen über lokale Datensätze preisgeben kann. Darüber hinaus stellt der zentrale Server einen Single Point of Failure dar. Bestehende Ansätze haben oft Schwierigkeiten, die strengen Anforderungen an den Datenschutz mit der Notwendigkeit einer hohen Modellgenauigkeit und Recheneffizienz in Einklang zu bringen, insbesondere in sensiblen Bereichen wie dem Gesundheitswesen und dem Finanzwesen.

Methodik
Diese Studie schlägt eine hybride FL-Architektur vor, die homomorphe Verschlüsselung (HE) und differenzielle Privatsphäre (DP) integriert, um den Trainingsprozess abzusichern.

• Architektur & Verschlüsselung: Das System nutzt das CKKS-Schema (Cheon-Kim-Kim-Song) zur homomorphen Verschlüsselung. CKKS wurde aufgrund seiner Fähigkeit ausgewählt, approximative Berechnungen auf verschlüsselten Gleitkommazahlen durchzuführen, was für Operationen in neuronalen Netzen essenziell ist. In diesem Workflow führen die Clients ein lokales Training auf ihren Daten durch. Anstatt Klartextgewichte zu senden, verschlüsseln die Clients ihre Modellaktualisierungen mittels CKKS vor der Übertragung. Der zentrale Server aggregiert diese verschlüsselten Aktualisierungen unter Verwendung des Federated Averaging (FedAvg) Algorithmus. Das aggregierte Ergebnis wird anschließend entschlüsselt, um das globale Modell zu aktualisieren, wodurch sichergestellt wird, dass der Server niemals auf Klartext-Modellparameter zugreift.

• Differenzielle Privatsphäre: Um die Extraktion individueller Informationen aus Modellaktualisierungen zu verhindern, setzt die Studie DP-Mechanismen während der lokalen Trainingsphase ein. Unter Verwendung der PrivacyEngine-Bibliothek wird zufälliges Rauschen zu den Gradienten hinzugefügt. Das System operiert unter $(\epsilon, \delta)$-differenziellen Privatsphäre-Beschränkungen, wobei spezifische Parameter auf $\sigma=5,0$ (Rauschmultiplikator), eine maximale Gradientennorm von $0,5$ und $\delta=10^{-5}$ festgelegt wurden.

• Experimenteller Aufbau: Die vorgeschlagene Architektur wurde auf drei unterschiedlichen Datensätzen evaluiert:

  1. Framingham Heart Study: Zur Vorhersage von Herz-Kreislauf-Erkrankungen (4.240 Stichproben).
  2. Pima Indians Diabetes (PID): Zur Vorhersage von Diabetes (768 Stichproben).
  3. Bank Marketing: Zur Vorhersage von Kundenabonnements (41.188 Stichproben).

  Die Experimente simulierten eine dezentrale Umgebung mit einer variierenden Anzahl von Clients (3, 5 und 10). Ein mehrschichtiges künstliches neuronales Netz (ANN) mit drei vollvernetzten Schichten (256 und 128 Neuronen in den verborgenen Schichten) wurde für 5 lokale Epochen pro Runde über 10 globale Runden trainiert.

Wesentliche Beiträge

1. Integriertes Sicherheitsframework: Die Arbeit demonstriert ein funktionales FL-System, das gleichzeitig CKKS-basierte homomorphe Verschlüsselung für die sichere Übertragung und DP für den Schutz lokaler Gradienten anwendet.
2. Empirische Analyse von Privacy-Accuracy-Trade-offs: Die Studie liefert eine detaillierte Analyse darüber, wie die Erhöhung der Client-Anzahl und die Dauer des Trainings (Anzahl der Runden) das Privacy-Budget ($\epsilon$) beeinflusst. Es wird beobachtet, dass das Privacy-Budget schneller verbraucht wird, wenn die Anzahl der Clients steigt oder die Datensatzgrößen abnehmen, da die Notwendigkeit der Rauscheinfügung pro Client zunimmt.
3. Leistungsbewertung: Die Forschung quantifiziert die Auswirkungen dieser Sicherheitsmaßnahmen auf die Modellleistung (Genauigkeit, Präzision, Recall, F1-Score) über verschiedene Datenverteilungen und Client-Anzahlen hinweg.

Experimentelle Ergebnisse

• Privacy-Budget ($\epsilon$): Die Studie fand eine direkte Korrelation zwischen der Anzahl der Clients und dem Privacy-Budget. Beispielsweise führte bei dem Bank-Datensatz die Erhöhung der Clients von 3 auf 10 dazu, dass sich der $\epsilon$-Wert in Runde 10 nahezu verdoppelte (von 0,3566 auf 0,6785). Ähnlich wiesen kleinere Datensätze (wie PID) im Vergleich zu größeren Datensätzen (wie Bank) unter denselben Client-Konfigurationen höhere $\epsilon$-Werte auf, was darauf hindeutet, dass Datenheterogenität und Stichprobengröße den Verbrauch der Privatsphäre signifikant beeinflussen.
• Modellgenauigkeit: Die Integration von DP führte zu einer messbaren, wenn auch geringfügigen Verringerung der Modellgenauigkeit im Vergleich zu nicht-privaten Baselines.
  • Bank-Datensatz: Zeigte die höchste Robustheit mit einer Genauigkeit von 81,85 % mit DP (3 Clients) im Vergleich zu 86,20 % ohne DP.
  • PID-Datensatz: Zeigte einen deutlicheren Abfall mit 72,00 % Genauigkeit mit DP (3 Clients) gegenüber 75,00 % ohne.
  • Framingham-Datensatz: Erzielte eine Genauigkeit von 69,92 % mit DP (3 Clients) gegenüber 71,47 % ohne.
• Schlussfolgerung zu Trade-offs: Die Ergebnisse bestätigen, dass die Anwendung von Verfahren zur Wahrung der Privatsphäre zwar Kosten für die Leistung verursacht, das System jedoch bedeutsame Genauigkeitswerte beibehält, insbesondere bei größeren Datensätzen wie den Bank-Marketing-Daten.

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Architektur die Machbarkeit des Einsatzes von sicherer, privatsphärebewusster KI in sensiblen Sektoren wie dem Gesundheitswesen und dem Finanzwesen ohne zentrale Datenerhebung demonstriert. Die Studie kommt zu dem Schluss, dass, obwohl Datenheterogenität und die Anzahl der Clients die Modellleistung erheblich beeinflussen, Strategien wie die sorgfältige Auswahl von DP-Parametern und die Verwendung größerer Datensätze die Effizienzverluste mildern können.

Die Arbeit räumt bescheiden ihre Limitationen ein und merkt an, dass die Experimente in einer simulierten Umgebung mit einer geringen Anzahl von Clients (3, 5, 10) und relativ großen lokalen Datensätzen durchgeführt wurden. Die Autoren geben an, dass in realen Szenarien mit Tausenden von Clients und spärlichen lokalen Daten mit einer Leistungsverschlechterung zu rechnen ist. Folglich positioniert die Arbeit ihre Ergebnisse als einen grundlegenden Schritt und legt nahe, dass zukünftige Arbeiten Skalierbarkeit, Kommunikationseffizienz und fortschrittliche Aggregationsalgorithmen adressieren müssen, um das Potenzial von privatsphärebewusstem FL in groß angelegten Anwendungen voll auszuschöpfen.