🤖 machine learning

Fed-Listing: Federated Label Distribution Inference in Graph Neural Networks

Dieser Beitrag stellt Fed-Listing vor, einen neuartigen gradientenbasierten Angriff, der mithilfe ausschließlich der Gradienten der letzten Schicht effektiv private Verteilungsstatistiken der Labels der Clients in Federated Graph Neural Networks rekonstruiert, bestehende Basismethoden deutlich übertrifft und gleichzeitig gegenüber aktuellen Verteidigungsmechanismen robust bleibt.

Ursprüngliche Autoren: Suprim Nakarmi, Junggab Son, Yue Zhao, Zuobin Xiong

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Suprim Nakarmi, Junggab Son, Yue Zhao, Zuobin Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden (die Clients) vor, die alle geheime Kochbücher besitzen. Sie möchten gemeinsam ein „Meisterkochbuch" erstellen, ohne jedoch ihre tatsächlichen Seiten einander oder dem Organisator (dem Server) zu zeigen. So funktioniert Federated Learning: Jeder lernt lokal und sendet nur kleine Notizen darüber zurück, wie er seine Rezepte verbessert hat, nicht die Rezepte selbst.

In der Welt der Graph Neural Networks (GNNs) sind diese „Rezepte" tatsächlich komplexe Netzwerke von Beziehungen, wie etwa Freunde in sozialen Medien oder medizinische Verbindungen zwischen Patienten.

Das Problem: Das „Flüstern" im Raum

Die Arbeit argumentiert, dass die Freunde, obwohl sie ihre tatsächlichen Rezeptseiten nicht teilen, durch die Notizen, die sie zurücksenden (sogenannte Gradienten), versehentlich Geheimnisse verflüstern. Insbesondere kann der Server diesen Flüstern lauschen und die statistische Mischung der Rezepte in jemandes Buch herausfinden.

Wenn beispielsweise ein Krankenhaus Teil dieser Gruppe ist, sollte der Server nicht wissen, dass „80 % der Patienten in diesem Krankenhaus eine bestimmte seltene Krankheit haben". Doch dieser neue Angriff, genannt Fed-Listing, behauptet, dass der Server dies allein durch das Lauschen auf die Notizen herausfinden kann.

Die Lösung (der Angriff): Fed-Listing

Die Autoren haben ein Werkzeug namens Fed-Listing (Federated Label Distribution Inference) entwickelt. So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Das „Schattenspiel" (Shadow Training)
Stellen Sie sich vor, der Server ist ein Detektiv. Um den Dieb zu fassen, richtet der Detektiv ein falsches Trainingslager (Shadow Training) mit einem Haufen „Dummy"-Kochbüchern (einem auxiliären Datensatz) ein, die den echten ähnlich sehen.

Der Detektiv erstellt in diesem falschen Lager viele verschiedene Szenarien: einige, bei denen alle die gleiche Mischung an Rezepten haben, einige, bei denen eine Person nur Pizzarezepte hat, und einige, bei denen einer Person die Kategorie „Dessert" ganz fehlt.
Der Detektiv trainiert das falsche Lager und zeichnet die Notizen (Gradienten) auf, die von den fiktiven Teilnehmern in jedem Szenario gesendet werden.

2. Aufbau des Decoders (das Angriffsmodell)
Der Detektiv verfügt nun über eine riesige Datenbibliothek: „Wenn die Notizen so aussahen, hielt der Teilnehmer tatsächlich diese Mischung an Rezepten."

Sie trainieren ein Computerprogramm (ein MLP oder ein einfaches Gehirn), um diese Muster zu erkennen. Es lernt zu sagen: „Ah, diese spezifischen Notizen bedeuten, dass der Teilnehmer 90 % der Klasse A und 10 % der Klasse B hat."

3. Der Überfall (Inference)
Nun beobachtet der Detektiv die echte Trainingssitzung. Wenn ein echter Teilnehmer seine Notizen sendet, führt der Detektiv diese durch das trainierte Computerprogramm.

Ergebnis: Das Programm errät sofort die statistische Aufschlüsselung der privaten Daten des Teilnehmers. Hatten sie überwiegend Tumor-Scans? Überwiegend normale Scans? Der Angriff enthüllt die Proportionen, auch wenn er die einzelnen Patienten nicht sieht.

Warum das beängstigend ist (die Erkenntnisse)

Die Arbeit testete dies an vier realen Datensätzen (wie wissenschaftliche Publikationen und Produkt-Netzwerke) und fand Folgendes heraus:

Es ist ein Meisterdieb: Fed-Listing ist viel besser darin, diese Proportionen zu erraten als frühere Methoden. Es funktioniert sogar dann, wenn die Daten unordentlich oder unausgewogen sind (z. B. wenn ein Client nur eine Art von Daten hat).
Es ist schleichend: Der Server muss den Trainingsprozess nicht ändern oder den Code hacken. Er hört einfach auf die Standardnotizen, die ohnehin ausgetauscht werden.
Verteidigungen funktionieren nicht gut: Die Arbeit testete drei gängige Sicherheits-Schilde (Hinzufügen von Rauschen, Ausblenden von Details oder Verschlüsseln von Daten).
- Wenn die Schilde schwach sind, funktioniert der Angriff weiterhin perfekt.
- Wenn die Schilde stark genug sind, um den Angriff zu stoppen, zerstören sie auch das Meisterkochbuch und machen das endgültige Modell unbrauchbar. Es ist eine „Verlier-Verlier"-Situation.

Das Fazit

Die Arbeit behauptet, dass im aktuellen Setup des Federated Graph Learning die Privatsphäre bezüglich Datenanteilen eine Illusion ist. Selbst wenn Sie die Rohdaten verbergen, gibt die Art und Weise, wie das Modell aus der Graph-Struktur lernt, einen „Fingerabdruck" der Zusammensetzung Ihrer Daten preis. Die Autoren warnen, dass wir neue Wege benötigen, um nicht nur die Daten selbst, sondern auch die Statistiken dieser Daten zu schützen.

Technische Zusammenfassung: Fed-Listing

Problemstellung

Federierte Graph-Neuronale Netze (FedGNNs) ermöglichen kollaboratives Lernen über verteilte Clients hinweg unter Wahrung der Datenschutzprivatsphäre. Neuere Forschungen deuten jedoch darauf hin, dass gemeinsam genutzte Modell-Updates, insbesondere Gradienten, unbeabsichtigt sensible Informationen über lokale Benutzer preisgeben können. Obwohl verschiedene Privatsphärenangriffe (z. B. Mitgliedschaftsinferenz, Eigenschaftsinferenz und Graph-Rekonstruktion) in FedGNNs untersucht wurden, bleibt die Inferenz der Labelverteilung (Label Distribution Inference, LDI) in diesem Kontext weitgehend unerforscht.

LDI-Angriffe zielen darauf ab, die statistische Verteilung der Klassenlabels im privaten Datensatz eines Ziel-Clients zu inferieren. Bei graphenstrukturierten Daten wird dieses Risiko durch Homophilie verstärkt, bei der Knoten mit ähnlichen Labels tendenziell verbunden sind, wodurch strukturelle und Merkmalskorrelationen die Zusammensetzung von Communities implizit offenlegen. Die Offenlegung der Labelverteilung kann sensible demografische Merkmale, Nutzerverhalten oder medizinische Zustände (z. B. das Verhältnis von tumorpositiven zu normalen Scans in einem Krankenhaus) preisgeben, was zu Datenschutzverletzungen und Wettbewerbsnachteilen führt.

Bestehende LDI-Methoden wie Decaf wurden primär für Bilddatensätze entwickelt und stützen sich auf die Magnitude von Gradientenänderungen in der letzten linearen Schicht. Diese Methoden stoßen in FedGNNs an ihre Grenzen, da Gradienten nicht nur von Knoten-Labels, sondern auch von komplexen Nachbarnstrukturen und unbekannten Knotengraden beeinflusst werden, was eine direkte Reverse Engineering erschwert. Darüber hinaus erfordern gleichzeitige aktive Angriffe wie EC-LDA, dass der Server Client-Parameter manipuliert, was sie erkennbar macht und die Nutzbarkeit des Modells stört.

Methodik: Fed-Listing

Die Autoren schlagen Fed-Listing (Federated Label Distribution Inference in GNNs) vor, ein neuartiges, passives und stealthiges Angriffsframework, das speziell für horizontale FedGNN-Szenarien entwickelt wurde. Der Angriff geht von einem „ehrlichen, aber neugierigen" Server aus, der Zugriff auf gemeinsam genutzte Modell-Updates (Gradienten) und einen Hilfsdatensatz hat, den Trainingsprozess jedoch nicht verändert.

Der Angriff läuft in drei Phasen ab:

Partitionierung des Hilfsdatensatzes:
Der Angreifer nutzt einen Hilfsdatensatz ( $D_a$ ) mit einer ähnlichen Verteilung und einem ähnlichen Labelraum wie die Ziel-Clients. Dieser Datensatz wird unter Verwendung von vier verschiedenen Strategien in Teilmengen partitioniert, um diverse Client-Verteilungen zu simulieren:
- Gleiche Proportion: Klassen sind gleich stark vertreten.
- Zufällige Verteilung: Klassen werden zufällig zugewiesen (simuliert nicht-i.i.d.-Szenarien).
- Einzelklasse: Jeder Client hält nur Stichproben einer einzigen Klasse.
- Fehlende Klassen: Bestimmte Klassen sind bei spezifischen Clients nicht vorhanden.
Shadow-Federated-Training:
Der Angreifer konstruiert mehrere „Shadow"-Federated-Learning-Instanzen unter Verwendung der partitionierten Hilfsdaten. Während dieser Shadow-Trainingsrunden zeichnet der Angreifer die Gradienten der letzten Schicht ( $g_r$ ) auf, die zwischen Shadow-Clients und dem Server ausgetauscht werden. Diese Gradienten werden mit den bekannten Ground-Truth-Labelverteilungen der Shadow-Clients gepaart, um einen Angriffsdatensatz ( $T_{attack}$ ) zu bilden.
Training des Angriffsmodells und Inferenz:
Ein auf neuronalen Netzen basierendes Angriffsmodell (speziell ein MLP) wird auf $T_{attack}$ trainiert, um Gradienten-Updates auf Labelverteilungen abzubilden. Das Modell minimiert eine zusammengesetzte Verlustfunktion, die Folgendes kombiniert:
- L1-Norm ( $L_{L1}$ ): Misst die statistische Diskrepanz zwischen vorhergesagten und wahren Verteilungen.
- Jensen-Shannon-Divergenz ( $L_{JS}$ ): Misst die Überlappung/Trennung zwischen Verteilungen.
Sobald das Modell trainiert ist, inferiert es die Labelverteilung eines echten Opfer-Clients, indem es die während des tatsächlichen FedGNN-Trainingsprozesses empfangenen Gradienten analysiert.

Hauptbeiträge

Neuartiges Angriffsframework: Vorstellung von Fed-Listing, dem ersten passiven und stealthigen LDI-Angriff, der speziell für horizontale FedGNNs entwickelt wurde.
Shadow-Training-Pipeline: Eine entwickelte Pipeline unter Verwendung eines Hilfsdatensatzes, um heterogene Datenverteilungen zu erforschen und diverse Angriffsszenarien zu schaffen, die reale nicht-i.i.d.-Bedingungen nachahmen.
Umfassende Evaluierung: Ausführliche Experimente auf vier Benchmark-Datensätzen (Cora, PubMed, Citeseer, Amazon Computers) und drei GNN-Architekturen (GCN, GraphSage, GIN).
Defensivanalyse: Empirische Analyse der Resilienz von Fed-Listing gegenüber drei weit verbreiteten Verteidigungsmechanismen: Differential Privacy (DP), verrauschte Gradienten und Gradientenkompression.

Experimentelle Ergebnisse

Die Autoren bewerteten Fed-Listing im Vergleich zu zufälligem Raten und Decaf (angepasst für Graphendaten) sowie dem aktiven Angriff EC-LDA (als obere Schranke verwendet).

Leistung: Fed-Listing übertrifft bestehende Baselines auf allen Datensätzen und Architekturen signifikant. In herausfordernden nicht-i.i.d.-Szenarien (z. B. Einzelklasse oder ein-Klassen-dominante Verteilungen) behält Fed-Listing eine hohe Genauigkeit (z. B. Kosinus-Ähnlichkeit > 0,97 auf Cora), während Decaf und zufälliges Raten eine signifikante Leistungsverschlechterung zeigen.
Effizienz: Das Angriffsmodell erzielt mit Gradienten der letzten Schicht eine überlegene Leistung im Vergleich zu Gradienten aller Schichten, was die Trainingszeit auf dem Amazon-Computers-Datensatz um bis zu das 479-fache reduziert, während die Inferenzgenauigkeit erhalten bleibt oder verbessert wird.
Modellarchitektur: Ein auf MLP basierendes Angriffsmodell erwies sich als ebenso effektiv wie ein auf CNN basierendes Modell, jedoch mit deutlich weniger Parametern (ca. 44-mal weniger), was eine effizientere Lösung bietet.
Resilienz gegenüber Verteidigung: Bestehende Verteidigungsmechanismen haben Schwierigkeiten, Fed-Listing zu mildern, ohne die Nutzbarkeit des Modells erheblich zu beeinträchtigen.
- Differential Privacy (DP): Eine Erhöhung des Privacy-Budgets ( $\epsilon$ ) verbessert im Allgemeinen die Modellnutzbarkeit, erhöht jedoch auch die Angriffseffektivität, außer bei spezifischen niedrigen Werten.
- Verrauschte Gradienten: Hohe Rauschpegel verschlechtern sowohl die Modellgenauigkeit als auch die Zuverlässigkeit des Angriffs, aber mittlere Rauschpegel ermöglichen immer noch einen moderaten Angriffserfolg.
- Gradientenkompression: Während Kompression den Angriffserfolg bei bestimmten Schwellenwerten (z. B. $\alpha=0,5$ ) reduziert, erfordert dies einen Kompromiss, bei dem höhere Kompressionsraten die Modellnutzbarkeit verbessern, die Offenlegung jedoch möglicherweise nicht vollständig beseitigen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Fed-Listing eine kritische Schwachstelle in aktuellen FedGNN-Bereitstellungen aufdeckt: Die Offenlegung von Labelverteilungen ist ein signifikantes und unerforschtes Datenschutzrisiko. Die Autoren betonen, dass:

Der Angriff passiv und stealthig ist, was ihn im Vergleich zu aktiven Angriffen, die Trainingsparameter manipulieren, schwerer erkennbar macht.
Aktuelle Verteidigungsmechanismen unzureichend sind; sie scheitern entweder daran, den Angriff zu stoppen, oder erfordern eine so starke Störung, dass die Nutzbarkeit des globalen Modells schwerwiegend beeinträchtigt wird.
Die Erkenntnisse einen dringenden Bedarf an neuen datenschutzfreundlichen Mechaniken hervorheben, die speziell entwickelt wurden, um die Offenlegung von Labelverteilungen im graphenbasierten Federated Learning zu verhindern, anstatt sich auf Verteidigungen zu verlassen, die für zentrale oder bildbasierte Szenarien konzipiert wurden.

Die Arbeit schließt, dass das Verständnis dieser Sicherheitsimplikationen für den robusten Einsatz von FedGNNs in sensiblen realen Systemen wie dem Gesundheitswesen, Empfehlungssystemen und institutionenübergreifender Forschung unerlässlich ist.