💻 computer science

Detecting Atypical Clients in Federated Learning via Representation-Level Divergence

Dieser Artikel schlägt eine leichtgewichtige Metrik auf Repräsentationsebene vor, die die Client-Divergenz im Federated Learning durch die Analyse von Änderungen in aktivierungsinduzierten Partitionen des Eingaberaums auf einem gemeinsamen Probesatz quantifiziert und damit die effektive Erkennung atypischer Clients sowie eine risikobewusste Aggregation ermöglicht, ohne auf Parameter- oder Gradientenvergleiche angewiesen zu sein.

Ursprüngliche Autoren: Cristian Pérez-Corral, Jose I. Mestre, Alberto Fernández-Hernández, Manuel F. Dolz, Enrique S. Quitana-Ortí

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Cristian Pérez-Corral, Jose I. Mestre, Alberto Fernández-Hernández, Manuel F. Dolz, Enrique S. Quitana-Ortí

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Studenten (die „Klienten") vor, die versuchen, gemeinsam ein Fach zu lernen, aber aufgrund von Datenschutzbestimmungen ihre persönlichen Notizbücher nicht teilen können. Stattdessen studiert jeder seine eigenen Notizen, schreibt eine Zusammenfassung dessen, was er gelernt hat, und sendet nur diese Zusammenfassung an einen Lehrer (den „Server"). Der Lehrer kombiniert alle Zusammenfassungen, um ein einziges, besseres Lehrbuch für alle zu erstellen. Dies ist Federated Learning.

Das Problem besteht darin, dass nicht alle Studenten die gleiche Art von Notizen haben. Manche lernen vielleicht aus einem Lehrbuch, andere aus einem Comic, und einige haben vielleicht Seiten herausgerissen oder in einer anderen Sprache geschrieben. Normalerweise ist das kein Problem; der Lehrer kann diese verschiedenen Perspektiven mischen. Aber manchmal ist ein Student verwirrt, hat ein defektes Notizbuch oder versucht, etwas völlig Falsches zu lehren. Wenn der Lehrer diese „schlechte" Zusammenfassung blind mit den guten mischt, wird das endgültige Lehrbuch verwirrend oder unbrauchbar.

Diese Arbeit schlägt eine neue Methode vor, mit der der Lehrer erkennen kann, welcher Student eine „seltsame" Zusammenfassung sendet, ohne dabei dessen private Notizen lesen oder die gesamten Notizbücher Seite für Seite vergleichen zu müssen.

Der alte Weg vs. der neue Weg

Der alte Weg (Vergleich von Parametern):
Traditionell prüft der Lehrer, ob die Zusammenfassung eines Studenten den anderen ähnelt, indem er die spezifischen Zahlen und Gewichte innerhalb der Zusammenfassung vergleicht. Es ist so, als würde man prüfen, ob zwei Studenten exakt denselben Satzbau verwendet haben. Das Problem ist, dass zwei Studenten sehr unterschiedliche Sätze schreiben können, die tatsächlich dasselbe bedeuten, oder sie können ähnliche Sätze schreiben, die völlig unterschiedliche Bedeutungen haben. Es ist schwer zu sagen, ob der Unterschied nur ein anderer Stil ist oder ein fundamentaler Fehler.

Der neue Weg (Die „Raumlayout"-Analogie):
Die Autoren schlagen vor, die Struktur des Lernens zu betrachten, anstatt die spezifischen Zahlen.

Stellen Sie sich die Gehirne der Studenten als ein riesiges, mehrstöckiges Haus vor.

Der Eingaberaum: Dies ist die Haustür, durch die Fragen (Daten) eintreten.
Die Räume: Während eine Frage durch das Haus wandert, passiert sie verschiedene Räume (Schichten des neuronalen Netzwerks).
Die Schalter: In jedem Raum befinden sich Lichtschalter. Je nach Frage sind einige Schalter „EIN" und andere „AUS". Dieses Muster von EIN-/AUS-Schaltern erzeugt ein spezifisches „Layout" oder eine Karte darüber, wie das Haus diese Frage verarbeitet.

Die Methode der Autoren funktioniert wie folgt:

Der Sondensatz: Der Lehrer gibt jedem Studenten dieselbe kleine, standardisierte Liste mit 128 Übungsfragen (ein „Sondensatz").
Kartierung des Hauses: Der Lehrer betrachtet, wie das „Haus" jedes Studenten leuchtet, wenn diese Fragen beantwortet werden. Welche Schalter sind an? Welche Räume sind aktiv?
Der Vergleich: Der Lehrer vergleicht das „Raumlayout" eines bestimmten Studenten mit dem „Raumlayout" des Gruppendurchschnitts.
- Wenn das Haus von Student A ein ähnliches Raumlayout wie die Gruppe hat, ist er normal, selbst wenn seine spezifischen Notizen anders aussehen.
- Wenn das Haus von Student B ein völlig anderes Layout hat (z. B. ist die Küche dort, wo das Schlafzimmer sein sollte), ist er atypisch.

Was sie fanden

Die Forscher testeten diese Idee mit zwei verschiedenen „Klassenräumen" (Datensätzen): einer mit Bildern von Kleidung und einem anderen mit Bildern von Tieren.

Erkennung natürlicher Unterschiede: Wenn die Studenten natürlich unterschiedliche Notizen hatten (einige hatten mehr Bilder von Katzen, andere von Hunden), waren die „Raumlayouts" leicht unterschiedlich, aber stabil. Der Lehrer konnte sehen, dass sie nur unterschiedlich waren, nicht defekt.
Erkennung „schlechter" Studenten: Die Forscher gaben dann heimlich einem Studenten ein korruptes Notizbuch (gefüllt mit Rauschen oder unscharfen Bildern).
- Das „Raumlayout" dieses Studenten wurde chaotisch und völlig anders als das aller anderen.
- Der Lehrer verwendete einen einfachen mathematischen Trick (ein „z-Score", der wie ein „Seltsamkeitsmesser" funktioniert), um diesen Studenten zu markieren. Der Messer ging für den schlechten Studenten über alle Grenzen, während er für alle anderen ruhig blieb.

Warum dies wichtig ist

Die Hauptaussage ist, dass diese Methode leichtgewichtig und interpretierbar ist.

Leichtgewichtig: Sie erfordert keine rechenintensive Verarbeitung oder komplexe Kryptographie. Sie prüft lediglich die „Schaltermuster" an einer kleinen Liste von Fragen.
Interpretierbar: Sie sagt dem Lehrer, warum ein Student markiert wird: „Dein Gehirn organisiert Informationen anders als die Gruppe", anstatt nur zu sagen: „Deine Zahlen stimmen nicht überein."

Kurz gesagt, gibt diese Arbeit dem Federated Learning ein neues Werkzeug, um Studenten zu erkennen, die wirklich verwirrt sind oder sich seltsam verhalten, und stellt sicher, dass das endgültige Gruppenlehrbuch zuverlässig bleibt, selbst wenn alle aus verschiedenen Quellen lernen.

Technisches Fazit: Erkennung atypischer Clients im Federated Learning mittels Divergenz auf Repräsentationsebene

Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training von Modellen über verteilte Clients hinweg, ohne Rohdaten auszutauschen, und adressiert dabei Datenschutz- und Sicherheitsanforderungen. Allerdings steht FL aufgrund von Datenheterogenität (nicht-i.i.d.-Verteilungen) vor erheblichen Herausforderungen, die häufig zu instabiler Konvergenz und einer Verschlechterung der globalen Leistung führen. Über die harmlose statistische Heterogenität hinaus bestehen in praktischen Bereitstellungen Risiken, bei denen Client-Updates aufgrund von Verteilungsverschiebungen, Sensor-Drift oder anomalen Eingaben abweichen.

Gängige Ansätze zur Erkennung solcher Abweichungen stützen sich oft auf den Vergleich von Modellparametern oder Gradienten. Die Autoren argumentieren, dass diese Methoden nur begrenzte Einblicke darin bieten, wie verschiedene Clients das interne funktionale Verhalten und die Entscheidungsgrenzen des neuronalen Netzwerks (NN) beeinflussen. Es besteht ein Bedarf an einem Mechanismus, um zwischen der erwarteten Variabilität, die durch nicht-i.i.d.-Daten verursacht wird, und potenziell schädlichen Abweichungen zu unterscheiden, die die Stabilität oder Vertrauenswürdigkeit des Aggregationsprozesses beeinträchtigen könnten.

Methodik

Der Artikel schlägt eine leichte, geometrische Metrik vor, um die funktionale Divergenz zwischen dem lokalen Modell eines Clients und dem globalen Modell zu quantifizieren. Anstatt Parameter zu analysieren, konzentriert sich der Ansatz auf die durch Aktivierung induzierte Partitionierung des Eingaberaums.

Aktivierungsmuster und Partitionierung des Eingaberaums:
- Für ein auf ReLU basierendes Feedforward-Neuronales Netzwerk (FF) definieren die Autoren binäre Aktivierungsmuster $a_l(x; \theta)$ für jede Schicht $l$ .
- Diese Muster partitionieren den Eingaberaum in stückweise affine Regionen. Proben, die dasselbe Aktivierungsmuster teilen, gehören derselben Region an.
- Die Autoren nutzen einen festen, gemeinsamen Probe-Satz $P$ (eine i.i.d.-Teilmenge von Daten), um diese Muster zu evaluieren.
Affinitätsmetrik für Aktivierungen:
- Für eine gegebene Schicht $l$ wird die Aktivierungsaffinität $K^\theta_l(i, j)$ zwischen zwei Probe-Proben $x_i$ und $x_j$ basierend auf der Hamming-Distanz zwischen ihren Aktivierungsmustern berechnet.
- Diese Metrik quantifiziert die „Distanz" zwischen Proben in Bezug auf die Anzahl der überquerten Hyperebenen. Eine hohe Affinität zeigt an, dass Proben in derselben oder benachbarten Regionen liegen; eine niedrige Affinität deutet auf eine Trennung durch mehrere Hyperebenen hin.
- Dies ergibt eine Affinitätsmatrix $K^\theta_l$ , die erfasst, wie ein Modell Eingaben gruppiert.
Hierarchische geometrische Divergenz:
- Um ein Client-Modell ( $\theta_c$ ) mit dem globalen Modell ( $\theta_g$ ) zu vergleichen, berechnen die Autoren die Frobenius-Norm der Differenz zwischen ihren Affinitätsmatrizen: $d_l(\theta, \theta') = \|K^\theta_l - K^{\theta'}_l\|_F$ .
- Eine hierarchische Divergenz ( $D_{hier}$ ) wird definiert, um der Struktur von NNs Rechnung zu tragen. Da frühe Schichten grobe Trennungen definieren und tiefere Schichten diese verfeinern, werden Diskrepanzen in frühen Schichten stärker gewichtet.
- Die Formel lautet:
  $D_{hier}(\theta, \theta') = d_1(\theta, \theta') + \sum_{l=2}^{L} \left( \prod_{r=1}^{l-1} \lambda_r \right) d_l(\theta, \theta')$
  wobei $\lambda_l = \exp(-\beta d_l)$ als Abwertungsfaktor für tiefere Schichten dient, falls frühere Schichten bereits signifikante Unterschiede aufweisen.
Anomalieerkennung:
- In einem FL-Setting wird die Divergenz $D_c^{(t)}$ für jeden Client $c$ in Runde $t$ berechnet.
- Um atypische Clients zu identifizieren, wird ein robuster Ausreißer-Score (z-Score) unter Verwendung des Medians und der Median Absolute Deviation (MAD) der Divergenzverteilung über alle Clients berechnet.

Hauptbeiträge

Geometrische Perspektive: Einführung einer neuartigen Perspektive zur Analyse des Client-Verhaltens im FL basierend auf der durch NN-Aktivierungsmuster induzierten geometrischen Struktur anstelle von Parameterwerten.
Leichte Metrik: Vorschlag einer Metrik, die funktionale Divergenz quantifiziert, indem sie misst, wie lokales Training die Organisation des Eingaberaums verändert und Unterschiede jenseits von Parametervergleichen erfasst.
Interpretierbares Signal: Nachweis, dass diese Metrik ein interpretierbares Signal zur Überwachung der Datenheterogenität und zur Identifizierung atypischer Client-Beiträge liefert.

Experimentelle Ergebnisse

Die Autoren evaluierten die Metrik in zwei Szenarien: einem MLP auf Fashion-MNIST und einem ResNet-18 auf CIFAR-10, unter Verwendung von Stochastic Gradient Descent (SGD) mit Dirichlet-Partitionierung zur Simulation nicht-i.i.d.-Daten.

Metrikvalidierung (Heterogenitätsanalyse):
- Die Experimente variierten den Dirichlet-Parameter $\alpha$ (von $\alpha=10$ nahe i.i.d. bis $\alpha=0,1$ hoch heterogen).
- Ergebnisse: In nahezu i.i.d.-Einstellungen ( $\alpha=10$ ) stabilisierten sich die Client-Divergenzen schnell. In hoch heterogenen Einstellungen ( $\alpha=0,1$ ) erfasste die Metrik einen systematischen Anstieg der Divergenz und identifizierte Clients, die persistent vom globalen Modell abwichen. Dies stimmt mit der Intuition überein, dass unterschiedliche Datenverteilungen unterschiedliche geometrische Organisationen induzieren.
Identifizierung anomaler Clients:
- Ein „verschobener" Client wurde simuliert, indem auf den Datensatz eines Clients Perturbationen (Gaußsches Rauschen, Rotationen, Unschärfe) angewendet wurden, während die anderen standard blieben.
- Ergebnisse: Der verschobene Client wies über alle Runden hinweg konsistent signifikant höhere geometrische Divergenz und robuste z-Scores im Vergleich zu regulären Clients auf. Während sich reguläre Clients auf stabile Divergenzwerte konvergierten, behielt der verschobene Client eine persistente Abweichung bei, was auf eine grundlegend unterschiedliche geometrische Organisation des Eingaberaums hindeutet. Dies galt für beide Architekturen und Datensätze.

Bedeutung und Behauptungen

Der Artikel behauptet, dass die Überwachung der durch NNs induzierten geometrischen Struktur ein sinnvolles und interpretierbares Signal zur Bewertung von Client-Beiträgen im FL liefert. Die vorgeschlagene Metrik unterscheidet effektiv zwischen stabilen, heterogenen Clients und solchen, deren Updates atypische funktionale Änderungen hervorrufen.

Die Autoren positionieren diese Arbeit als Werkzeug für risikobewusste Aggregationsstrategien. Durch die Identifizierung von Clients, die funktional (und nicht nur parametrisch) abweichen, kann das System Updates basierend auf ihrem funktionalen Verhalten gewichten oder filtern. Der Artikel schließt, dass dieser Ansatz den Weg zu einer informierteren Aggregation ebnet, obwohl künftige Arbeiten erforderlich sind, um dieses Signal direkt in die Trainingsschleife zu integrieren und auf großskalige oder adversariale Settings anzuwenden. Die Arbeit wird als komplementär zu bestehenden kryptografischen Datenschutz- und byzantinischen Robustheitsmethoden präsentiert und bietet ein geometrisches Überwachungssignal anstelle formaler kryptografischer Garantien.