💻 computer science

FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters

Dieser Artikel stellt FLRSP vor, eine datenschutzfreundliche Methode des federierten Lernens, die zufällig Modellparameter für globale Aktualisierungen auswählt und dabei eine hohe Genauigkeit bei der Bildklassifizierung sowie Robustheit gegenüber Angriffen erreicht, ohne die Leistung zu beeinträchtigen.

Ursprüngliche Autoren: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des "Gruppenprojekts"

Stellen Sie sich eine Gruppe von Schülern (Clients) vor, die einen superintelligenten Roboter (ein Deep Neural Network) bauen wollen, um Bilder zu erkennen. Alle haben ihre eigenen privaten Fotoalben (sensible Daten), die sie mit niemandem teilen möchten, nicht einmal mit dem Lehrer (dem zentralen Server).

Beim Federated Learning (FL) senden die Schüler nicht ihre Fotos an den Lehrer, sondern nur ihre "Notizen darüber, was sie gelernt haben" (Modell-Updates/Gradienten). Der Lehrer kombiniert diese Notizen, um den Roboter zu verbessern, und sendet den verbesserten Roboter dann zurück an die Schüler.

Das Problem: Obwohl sie keine Fotos senden, kann ein hinterhältiger Hacker (oder ein neugieriger Klassenkamerad) manchmal die "Notizen" betrachten und die ursprünglichen Fotos mathematisch rekonstruieren. Es ist so, als würde man die Einkaufsliste eines Kochs ansehen und das geheime Familienrezept perfekt erraten oder sogar die Zutaten im Topf sehen.

Die Lösung: FLRSP (Der "Zufällige Aktenvernichter")

Die Autoren schlagen eine neue Methode namens FLRSP (Federated Learning using Randomly Selected Model Parameters) vor.

Stellen Sie sich FLRSP als einen Zufälligen Aktenvernichter für die Notizen der Schüler vor.

Der alte Weg: Jeder Schüler sendet sein komplettes Set an Notizen an den Lehrer. Wenn ein Hacker dies abfängt, hat er das vollständige Bild und kann das ursprüngliche Foto rekonstruieren.
Der FLRSP-Weg: Bevor ein Schüler seine Notizen sendet, nimmt er eine zufällige Schere und schneidet (oder setzt auf Null) eine zufällige Auswahl der Notizen aus.
- Wenn ein Schüler beschließt, 20 % seiner Notizen zu verstecken ( $R=0.2$ ), sendet er 80 %.
- Wenn er beschließt, 80 % seiner Notizen zu verstecken ( $R=0.8$ ), sendet er nur 20 %.
- Entscheidend: Jeder Schüler schneidet unterschiedliche Teile der Notizen aus, und sie ändern jedes Mal, wenn sie eine Notiz senden, welche Teile sie verstecken.

Wie es funktioniert (Die Analogie)

Stellen Sie sich vor, die "Notizen" sind ein riesiges Puzzle, das das Gehirn des Roboters darstellt.

Standard-Federated-Learning: Sie senden das gesamte Puzzle an den Lehrer. Ein Hacker kann die Teile betrachten und herausfinden, wie das Bild auf der Schachtel aussah.
FLRSP: Sie senden das Puzzle, aber Sie haben zufällig 50 % der Teile entfernt und durch leere weiße Quadrate ersetzt.
- Die Aufgabe des Lehrers: Der Lehrer erhält Puzzles von 5 verschiedenen Schülern. Schüler A fehlt die obere linke Ecke; Schüler B fehlt die untere rechte Ecke; Schüler C fehlt die Mitte. Wenn der Lehrer sie kombiniert, werden die fehlenden Teile eines Schülers durch die Teile eines anderen Schülers ausgefüllt. Der Lehrer kann immer noch einen kompletten, funktionierenden Roboter bauen!
- Die Aufgabe des Hackers: Der Hacker versucht, das ursprüngliche Foto nur aus den zerrissenen Notizen eines Schülers zu rekonstruieren. Da so viele Teile fehlen (und durch Leeres ersetzt wurden), bricht die Mathematik des Hackers zusammen. Sie können das Gesicht auf dem Foto nicht mehr erkennen; es sieht nur noch wie statisches Rauschen aus.

Was das Papier herausfand

Die Forscher testeten diese Idee an zwei Arten von "Robotern" (KI-Modellen):

ViT (Vision Transformer): Ein moderner, hochtechnischer Roboter.
ResNet34: Ein klassischer, zuverlässiger Roboter.

Sie testeten es gegen zwei Arten von Hackern:

Der "APRIL"-Hacker: Spezialisiert darauf, den modernen Roboter (ViT) zu knacken.
Der "Adversarial Optimization"-Hacker: Ein Generalist, der versucht, Bilder aus klassischen Robotern (ResNet) wiederherzustellen.

Die Ergebnisse:

Genauigkeit: Der Roboter lernte immer noch fast perfekt. Selbst wenn die Schüler viele Notizen versteckten (bis zu 80 %), konnte der Lehrer immer noch einen Roboter trainieren, der Bilder genauso gut erkannte wie die Standardmethode.
Privatsphäre: Die Hacker scheiterten. Als sie versuchten, die Fotos aus den "zerfetzten" Notizen zu rekonstruieren, kamen die Bilder als verschwommene, unkenntliche Ungeheuer heraus. Die "Strukturelle Ähnlichkeit" (wie sehr das gefälschte Foto dem echten ähnelte) sank auf fast Null.
Vergleich: Andere Methoden (wie das Hinzufügen von "Rauschen" zu den Notizen, bekannt als Differential Privacy) machten den Roboter dümmer (geringere Genauigkeit), um die Daten zu verstecken. FLRSP hielt den Roboter klug und machte ihn sicher.

Warum das besonders ist

Es funktioniert für alle: Frühere "Zerfetzungs"-Methoden funktionierten nur für den modernen Roboter (ViT). FLRSP funktioniert sowohl für den modernen als auch für den klassischen Roboter.
Es ist dynamisch: Im Gegensatz zu anderen Methoden, die bestimmte Teile der Notizen dauerhaft verstecken (wie "eingefrorene Gewichte"), ändert FLRSP welche Teile jedes Mal versteckt werden. Dies stellt sicher, dass der Lehrer schließlich jedes einzelne Puzzleteil zu sehen bekommt, nur nicht auf einmal von einem einzelnen Schüler.

Zusammenfassung

FLRSP ist ein cleverer Trick, bei dem Schüler in einem Gruppenprojekt zufällig Teile ihrer Hausaufgaben verstecken, bevor sie sie abgeben. Der Lehrer kann immer noch die ganze Klasse benoten und das Endprojekt verbessern, weil die fehlenden Teile eines Schülers durch andere abgedeckt werden. Aber ein Spion, der versucht, die Hausaufgaben von nur einem Schüler zu stehlen, bekommt nichts als ein paar leere Seiten, was es unmöglich macht, das geheime Rezept zu stehlen.

Technische Zusammenfassung: FLRSP – Privatsphäreerhaltendes Federated Learning unter Verwendung zufällig ausgewählter Modellparameter

1. Problemstellung

Das Training hochwertiger Deep Neural Networks (DNN) erfordert typischerweise enorme Datenmengen, die oft sensible oder persönliche Informationen enthalten. Obwohl Federated Learning (FL) mehreren Clients ermöglicht, kollaborativ ein Modell zu trainieren, ohne Rohdaten zu teilen, bleibt es anfällig für Privatsphäre-Angriffe. Insbesondere können Angreifer originale Trainingsdaten aus den geteilten Modell-Updates (Gradienten oder Gewichte) rekonstruieren, indem sie Techniken wie den Attention PRIvacy Leakage (APRIL)-Angriff für Vision Transformers (ViT) und adversarial-Optimierungsangriffe für Convolutional Neural Networks (CNNs) einsetzen.

Bestehende Methoden zur Sicherheitsverbesserung weisen erhebliche Einschränkungen auf:

Differential Privacy (DP): Fügt Updates Rauschen hinzu, um Angriffe abzuwehren, verschlechtert jedoch unvermeidlich die Modellgenauigkeit.
Methoden mit fester Position: Wirksam für ViT durch Nullsetzen von Updates der Positionseingebettungen, versagen jedoch, wenn Modelle von Grund auf neu trainiert werden (da alle Schichten aktualisiert werden müssen), und sind nicht auf CNNs anwendbar.
Vorherige Konzepte der zufälligen Auswahl: Vorangegangene Arbeiten zu zufällig ausgewählten Gradienten beschränkten sich auf ViT-Architekturen und den Federated Stochastic Gradient Descent (FedSGD)-Algorithmus.

Die Kernherausforderung besteht darin, eine privatsphäreerhaltende FL-Methode zu entwickeln, die gegen fortschrittlichste Bildwiederherstellungsangriffe über verschiedene Architekturen (ViT und CNNs) und Algorithmen (FedSGD und FedAvg) hinweg robust ist, ohne die Klassifizierungsgenauigkeit zu beeinträchtigen.

2. Methodik: FLRSP

Die Autoren schlagen Federated Learning using Randomly Selected Model Parameters (FLRSP) vor. In diesem Rahmen wählt jeder Client zufällig eine Teilmenge der Modellparameter (Gradienten bei FedSGD oder Gewichte bei FedAvg) aus, um sie mit dem zentralen Server zu teilen, und ersetzt die nicht ausgewählten Parameter durch Nullwerte.

Kernmechanismus

Zufällige Auswahl: Vor der Übertragung wendet jeder Client eine binäre Zufallssequenz $B_{n,k,i}^l \in \{0, 1\}$ $B_{n, k, i}^{l} \in {0, 1}$ auf die Modellparameter $\theta_{n,k,i}^l$ $θ_{n, k, i}^{l}$ (oder Gewichte $W_{n,k,i}^m$ $W_{n, k, i}^{m}$ ) an.
- Wenn $B=1$ , wird der Parameter geteilt.
- Wenn $B=0$ , wird der Parameter auf Null gesetzt.
- Die Wahrscheinlichkeit des Auftretens von Null wird mit $R$ bezeichnet.
Server-Aggregation: Der zentrale Server aggregiert die empfangenen Updates. Entscheidend ist, dass die Aggregationsformel die durch die zufällige Auswahl eingeführte Sparsamkeit berücksichtigt. Für FedSGD wird das globale Modell-Update $w_{k,i}^{l+1}$ wie folgt berechnet:
$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$
(Ist der Nenner null, bleibt der Parameter unverändert). Dies stellt sicher, dass das globale Modell nur mit den nicht-null-Gradienten aktualisiert wird, wodurch die Lernrate effektiv basierend auf der Anzahl der beteiligten Parameter normalisiert wird.
Dynamische Sequenzen: Im Gegensatz zu Ansätzen mit „eingefrorenen Gewichten", bei denen bestimmte Schichten dauerhaft ausgeschlossen werden, verwendet FLRSP unterschiedliche Zufallssequenzen für jede Epoche (bei FedAvg) oder jeden Batch (bei FedSGD). Dies stellt sicher, dass alle Parameter im Laufe der Zeit aktualisiert werden, was einen dauerhaften Informationsverlust verhindert.

Theoretische Grundlage

Die Arbeit liefert eine Konvergenzanalyse, die zeigt, dass FLRSP stabile Konvergenzeigenschaften beibehält, die denen des Standard-FL ähneln. Die effektive Lernrate wird durch den Faktor $(1 - RN)$ angepasst, wobei $N$ die Anzahl der Clients ist. Da die Lernrate positiv bleibt, ist die Methode mathematisch als konvergent nachgewiesen.

3. Hauptbeiträge

Die Arbeit umreißt drei primäre Beiträge:

Neue FL-Methode: Ein neuer Ansatz zur Abwehr von Angreifern durch zufällige Auswahl globaler Modellparameter, die an lokalen Servern berechnet werden, anwendbar sowohl auf ViT- als auch auf CNN-Architekturen.
Generalisierung: Die Erweiterung des Konzepts der zufälligen Auswahl (bisher auf ViT und FedSGD beschränkt) um FedAvg und ResNet-Architekturen.
Empirische Verifikation: Umfassende Experimente zeigen, dass FLRSP fortschrittlichste Methoden (insbesondere Differential Privacy und Methoden mit fester Position) sowohl in Bezug auf die Robustheit gegen Angriffe als auch auf die Klassifizierungsgenauigkeit übertrifft.

4. Experimentelle Ergebnisse

Experimente wurden auf dem CIFAR-10-Datensatz mit ViT (vit_small_patch16_224) und ResNet34 unter beiden FedSGD- und FedAvg-Protokollen durchgeführt.

Klassifizierungsgenauigkeit

ViT: FLRSP hielt eine Genauigkeit aufrecht, die mit dem Standard-FL vergleichbar war, sowohl für feinabgestimmte vortrainierte Modelle als auch für Modelle, die von Grund auf neu trainiert wurden. Im Gegensatz dazu erlitt die Methode mit fester Position bei Training von Grund auf eine signifikante Verschlechterung der Genauigkeit, da sie Updates der Positionseingebettungsschicht verhindert.
ResNet: FLRSP erreichte hohe Genauigkeit über verschiedene $R$ -Werte (0,2, 0,5, 0,8). Während Differential Privacy (DP) eine Verschlechterung der Genauigkeit zeigte, wenn die Privatsphäre-Intensität ( $\epsilon$ ) zunahm, hielt FLRSP eine Leistung nahe dem Basiswert aufrecht.
Nicht-i.i.d.-Daten: Unter heterogenen Datenverteilungen (Dirichlet-Verteilung, $\alpha=0,1$ ) hielt FLRSP eine höhere Genauigkeit als DP aufrecht.

Robustheit gegen Angriffe

Die Studie bewertete die Widerstandsfähigkeit gegen zwei fortschrittlichste Angriffe unter Verwendung des Structural Similarity Index Measure (SSIM) zwischen Original- und wiederhergestellten Bildern:

APRIL (ViT): Standard-FL ermöglichte eine vollständige visuelle Rekonstruktion. FLRSP (selbst mit $R=0,2$ ) verhinderte die Rekonstruktion effektiv und erreichte eine Robustheit, die der Methode mit fester Position entsprach.
Adversarial Optimization (CNN): Standard-FL und DP (selbst mit niedrigem $\epsilon$ ) ermöglichten eine signifikante Bildwiederherstellung (SSIM-Werte oft > 0,6). FLRSP reduzierte die SSIM-Werte drastisch (oft < 0,1), was eine visuelle Rekonstruktion nahezu unmöglich machte.
Vergleich: FLRSP erreichte konsistent niedrigere SSIM-Werte (was eine bessere Privatsphäre anzeigt) als DP, während gleichzeitig eine höhere Klassifizierungsgenauigkeit erhalten blieb.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass FLRSP erfolgreich den Kompromiss zwischen Privatsphäre und Nutzen im Federated Learning adressiert. Durch die zufällige Auswahl von Parametern stört die Methode die mathematischen Gleichungen, die für gradientenbasierte Bildwiederherstellungsangriffe erforderlich sind (insbesondere das Brechen der Kosinus-Ähnlichkeit bei adversarialer Optimierung und der geschlossenen Formgleichungen bei APRIL).

Die Autoren betonen, dass FLRSP eine generalisierbare Lösung ist, die auf beliebige Modelle (einschließlich ViT und ResNet) und Algorithmen (FedSGD und FedAvg) anwendbar ist. Im Gegensatz zu früheren Methoden, die entweder die Genauigkeit verschlechtern (DP) oder architekturspezifisch sind (Methoden mit fester Position), bietet FLRSP einen robusten Verteidigungsmechanismus, der die Modellleistung erhält. Die Studie kommt zu dem Schluss, dass FLRSP eine praktikable und effektive Methode zur Sicherheitsverbesserung für praktische Szenarien des Federated Learning ist.