🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

Dieses Paper stellt FairGrad und FairGrad* vor, zwei Methoden zur Regularisierung der Gradientenvarianz, die Leistungsunterschiede zwischen Clients in heterogenen Federated-Learning-Szenarien effektiv minimieren und gleichzeitig eine wettbewerbsfähige globale Modellgenauigkeit aufrechterhalten.

Ursprüngliche Autoren: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Nachbarn vor, die versuchen, ein gemeinsames Rezeptbuch zu erstellen. Jeder Nachbar bringt seine eigene Sammlung von Zutaten und Kochnotizen (seine lokalen Daten) ein, um zu diesem globalen Buch beizutragen. Das Ziel ist es, ein einziges „Meisterrezept“ zu erstellen, das für alle gut funktioniert.

Dies ist die grundlegende Idee des Federated Learning (FL). Es gibt jedoch ein Problem: Einige Nachbarn haben riesige, vielfältige Vorratskammern (viele Daten), während andere nur sehr kleine, spezifische Sammlungen besitzen (wenig Daten). Einige Nachbarn kochen nur scharf, während andere nur Süßspeisen backen.

Wenn die Gruppe die Notizen aller Beteiligten einfach blind mittelt, könnte das finale Meisterrezept großartig für die Nachbarn mit den großen Vorratskammern sein, aber schrecklich für diejenigen mit kleinen oder einzigartigen Sammlungen. Die „scharf kochenden“ Nachbarn könnten am Ende ein Rezept erhalten, das wie fades Haferbrei schmeckt, und die „Bäcker“ könnten ein Rezept bekommen, das ihren Ofen überhitzt. Dies ist Ungerechtigkeit (Unfairness): Das globale Modell funktioniert gut für einige, aber versagt bei anderen.

Die Lösung des Papers: „FairVar“

Die Autoren dieses Papers, Zahra Kharaghani, Ali Dadras und Tommy Löfstedt, schlagen einen neuen Weg vor, diese Rezepte zu mischen, genannt FairVar. Ihr Ziel ist Performance Equitable Fairness: sicherzustellen, dass das finale Rezept für jeden Nachbarn gleich gut funktioniert, nicht nur im Durchschnitt.

Um dies zu erreichen, führen sie das Konzept der Varianz-Regularisierung ein. Stellen Sie sich „Varianz“ als das Maß dafür vor, wie stark sich die Ergebnisse der Nachbarn voneinander unterscheiden. Das Paper schlägt zwei Hauptwege vor, um das Rezeptbuch zu korrigieren:

1. Der „Score-Varianz“-Ansatz (FairLoss)

Stellen Sie sich vor, die Nachbarn bewerten das Meisterrezept, nachdem sie es probiert haben.

Das Problem: Wenn die scharf kochenden Nachbarn eine 2/10 geben und die Bäcker eine 9/10, ist der Durchschnitt eine ordentliche 5,5/10. Aber die scharf kochenden Nachbarn sind unzufrieden.
Die Lösung: Die FairLoss-Methode fügt dem Ziel der Gruppe eine „Strafe“ hinzu. Wenn die Bewertungen zu weit auseinanderliegen (hohe Varianz), wird der Gruppe gesagt: „Hey, ihr müsst das Rezept so anpassen, dass die niedrigen Bewertungen steigen, selbst wenn das bedeutet, dass die hohen Bewertungen ein kleines bisschen sinken.“ Dies zwingt das Rezept dazu, einen Mittelweg zu finden, der alle zufriedenstellt.

2. Der „Richtungs-Varianz“-Ansatz (FairGrad) — Der neue Star

Dies ist die Hauptinnovation des Papers. Anstatt nur auf die Endergebnisse zu schauen, betrachten sie die Richtung, in die die Nachbarn das Rezept drücken wollen.

Die Metapole: Stellen Sie sich vor, die Nachbarn ziehen alle an einem riesigen Seil, um einen schweren Karren (das Modell) zu bewegen.
- Die „Bäcker“ ziehen kräftig nach Norden.
- Die „scharf kochenden Köche“ ziehen kräftig nach Osten.
- Das „durchschnittliche“ Rezept zieht einfach nach Nordosten, was den Karren für niemanden besonders weit bewegen könnte.
Die Lösung: Die FairGrad-Methode schaut darauf, wie stark die Nachbarn in verschiedene Richtungen ziehen. Wenn die „Ost“-Zieher ignoriert werden, weil die „Nord“-Zieher stärker sind, fügt FairGrad eine „Spannung“ zum Seil hinzu. Es sagt: „Wir müssen unsere Züge stärker aufeinander abstimmen.“ Es bestraft die Gruppe, wenn die Richtungen zu weit gestreut sind. Indem es die Nachbarn dazu zwingt, sich mehr darüber zu einigen, wie sie das Rezept verändern, endet das Resultat viel fairer für die Minderheitengruppen.

Wie sie es getestet haben

Die Forscher testeten diese Ideen in einer „digitalen Küche“ mit vier berühmten Datensätzen (MNIST, CIFAR-10, CIFAR-100 und Tiny ImageNet). Sie simulierten verschiedene Grade an Chaos:

Geringes Chaos: Alle haben ähnliche Zutaten (Homogene Daten).
Hohes Chaos: Alle haben völlig unterschiedliche Zutaten (Heterogene Daten).

Sie verglichen ihre neuen Methoden (FairGrad und FairGrad*) mit alten Methoden wie FedAvg (der Standardansatz „alles mitteln“) und q-FFL (ein früherer Versuch der Fairness).

Was sie herausfanden

Wenn alle ähnlich sind: Wenn alle Nachbarn ähnliche Vorratskammern haben, ändern die schicken neuen Methoden nicht viel. Der Standardansatz „Durchschnitt bilden“ funktioniert gut. Die neuen Methoden machen nichts kaputt, aber sie leisten auch nicht viel zusätzliche Arbeit.
Wenn alle unterschiedlich sind (Der wahre Test): Hier geschah die Magie.
- Die Standardmethoden (FedAvg) erzeugten ein Rezept, das im Durchschnitt gut war, aber riesige Lücken aufwies: Einige Nachbarn liebten es, andere hassten es.
- Die FairGrad-Methoden reduzierten diese Lücken erheblich. Sie machten den „schlechtesten Fall“ (den unglücklichsten Nachbarn) viel zufriedener, ohne das Erlebnis für die anderen zu ruinieren.
- In vielen Tests verbesserte FairGrad nicht nur die Fairness, sondern machte das Gesamtrezept sogar besser. Es war, als hätte man eine geheime Zutat gefunden, die das Gericht für alle lecker macht, nicht nur für die Mehrheit.

Die zwei Versionen von FairGrad

Das Paper bietet zwei Möglichkeiten an, diese „FairGrad“-Methode anzuwenden:

FairGrad (Approximativ): Dies ist die „bequeme“, aber effiziente Version. Die Nachbarn schauen darauf, was die Gruppe beim letzten Mal gemacht hat, um zu entscheiden, was sie jetzt tun sollen. Das spart Zeit und Kommunikation (weniger Reden zwischen den Nachbarn).
FairGrad (Exakt):* Dies ist die „präzise“ Version. Die Nachbarn schauen darauf, was die Gruppe gerade jetzt tut. Dies erfordert mehr Kommunikation und ist langsamer, ist aber genauer. Das Paper schlägt die Verwendung an, wenn die Aufgabe sehr schwer ist oder die Nachbarn sehr unterschiedlich sind.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir durch das Hinzufügen einer „Varianz-Strafe“ (speziell durch das Betrachten dessen, wie sehr sich die Richtungen der Nachbarn unterscheiden) maschinelle Lernmodelle bauen können, die fairer sind. Anstatt zuzulassen, dass die lautesten Stimmen (die Besitzer der größten Datenmengen) das Ergebnis diktieren, wird das Modell dazu gedrängt, auch auf die leiseren Stimmen zu hören, um sicherzustellen, dass das Endergebnis für jeden im Raum gut funktioniert – unabhängig davon, wie viele Daten sie mitgebracht haben.

Technisches Resümee: FAIRVAR – Fair Federated Learning via Variance Regularization

Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training von Modellen über mehrere Clients hinweg, ohne dass Rohdaten geteilt werden müssen. Die Datenheterogenität führt jedoch häufig zu signifikanten Leistungsunterschieden zwischen den Clients, wobei das globale Modell im Durchschnitt gut, aber für spezifische Clients mit unterschiedlichen Datenverteilungen oder kleineren Stichprobenumfängen schlecht abschneidet. Dieser Mangel an leistungsgerechter Fairness (performance equitable fairness) – definiert als die Minimierung der Leistungsdisparitäten zwischen den Clients bei gleichzeitiger Aufrechterhaltung einer hohen Gesamtmodellleistung – stellt eine kritische Herausforderung dar. Bestehende Ansätze zur Adressierung dieses Problems, wie etwa die Verlust-Varianz-Regularisierung und $q$ -Fair Federated Learning ( $q$ -FFL), lassen oft eine fundierte theoretische Grundlage hinsichtlich ihres Verhaltens unter Heterogenität vermissen, und es bleibt unklar, welche Methoden in praktischen Szenarien am effektivsten sind.

Methodik

Das Paper schlägt einen neuen Ansatz für leistungsgerechte Fairness vor, der auf der Gradienten-Varianz-Regularisierung basiert. Die Autoren analysieren und vergleichen mehrere bestehende Methoden und führen neue Algorithmen ein, die aus zwei primären Zielfunktionen abgeleitet sind:

Verlust-Varianz-Regularisierung (Loss-Variance Regularization): Aufbauend auf vorangegangenen Arbeiten bestraft dieser Ansatz die Varianz der Client-Verluste:
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
wobei $F(x)$ der durchschnittliche globale Verlust und $f_i(x)$ der lokale Verlust für Client $i$ ist.
Gradienten-Varianz-Regularisierung (Vorgeschlagen): Die Autoren führen eine neuartige Zielfunktion ein, die die Varianz der Client-Gradienten minimiert, um Fairness zu fördern:
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
Hierbei ist $\nabla F(x)$ der durchschnittliche Gradient über alle Clients.

Um diese nicht-separablen Ziele in einem Federated-Learning-Szenario zu lösen, schlagen die Autoren vier Algorithmen vor:

FairLoss & FairLoss*: Approximative und exakte Varianten zur Minimierung der Verlust-Varianz-Zielfunktion ( $L_\lambda$ ).
FairGrad & FairGrad*: Approximative und exakte Varianten zur Minimierung der Gradienten-Varianz-Zielfunktion ( $J_\gamma$ $J_{γ}$ ).
- Approximative Varianten (FairLoss, FairGrad): Nutzen Informationen aus der vorherigen Iteration (z. B. den vorherigen durchschnittlichen Verlust oder Gradienten), um den Kommunikationsaufwand zu reduzieren.
- Exakte Varianten (FairLoss*, FairGrad*): Nutzen Informationen der aktuellen Iteration für präzisere Updates auf Kosten eines erhöhten Kommunikationsaufwands.

Diese werden gegenüber Baselines wie FedAvg, Agnostic Federated Learning (AFL), $q$ -FFL und AAggFF verglichen.

Theoretische Analyse

Das Paper liefert eine theoretische Charakterisierung der Beziehungen zwischen diesen Methoden sowohl unter homogenen als auch unter heterogenen Datenszenarien:

Homogene Daten: In Szenarien, in denen alle Clients dieselbe Datenverteilung teilen, verändern die Regularisierungsterme (Verlust- oder Gradientenvarianz) die Lage der stationären Punkte im Durchschnitt nicht. Somit bleiben die optimalen Lösungen konsistent mit dem Standard-FedAvg-Ziel, und eine Regularisierung ist theoretisch nicht notwendig.
Heterogene Daten: Unter Heterogenität verschieben die Regularisierungsterme die Optimierungslandschaft aktiv. Die Autoren beweisen, dass, falls die Client-Verluste oder -Gradienten am Optimum der unregulierten Zielfunktion nicht übereinstimmen, die regularisierten Zielfunktionen ( $L_\lambda$ , $J_\gamma$ und $H_q$ ) unterschiedliche stationäre Punkte aufweisen werden. Insbesondere kann die Varianz-Regularisierung die Lösung weg von einem Optimum des durchschnittlichen Verlusts hin zu einem Punkt mit ausgewogenerer Performance über die Clients hinweg verschieben.
Verbindungen: Die Analyse stellt fest, dass $q$ -FFL (mit $q=1$ ) unter spezifischen Bedingungen durch die Verlust-Varianz-Regularisierung nach oben begrenzt werden kann, wodurch diese zuvor unterschiedlichen Ansätze miteinander verknüpft werden.

Experimentelle Ergebnisse

Die Methoden wurden auf vier Bildklassifikations-Datensätzen (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) mit variierender Heterogenität evaluiert, die durch Dirichlet-Konzentrationsparameter ( $\alpha \in \{0.05, 0.1, 0.5\}$ ) gesteuert wurde.

Performance: Die vorgeschlagenen Varianz-regulierten Methoden, insbesondere FairGrad und FairGrad*, übertrafen die Baselines in heterogenen Szenarien konsistent.
Fairness: Die Methoden reduzierten die Varianz der Client-Genauigkeiten (die Fairness-Metrik) im Vergleich zu FedAvg, AFL und $q$ $q$ -FFL signifikant.
- Auf CIFAR-100 erreichte FairGrad* die beste Genauigkeit und die niedrigste Varianz bei hoher Heterogenität ( $\alpha=0.05, 0.1$ ).
- Auf CIFAR-10 erreichte FairGrad konsistent die niedrigste Varianz über alle Heterogenitätsstufen hinweg sowie die höchste Genauigkeit bei $\alpha \in \{0.1, 0.5\}$ .
- Auf Tiny ImageNet erreichte FairGrad* die niedrigste Varianz bei $\alpha \in \{0.05, 0.5\}$ .
Homogene Szenarien: Auf MNIST (wo die Daten relativ homogen sind) schnitten alle Methoden ähnlich ab, wobei die regulierten Varianten nur geringfügige Verbesserungen in der Fairness boten, was mit der theoretischen Vorhersage übereinstimmt, dass Regularisierung in homogenen Settings weniger kritisch ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass FairGrad und FairGrad* einen fundierten und effektiven Ansatz zur Verbesserung der Fairness in Federated Learning darstellen. Zu den Kernbeiträgen gehören:

Neuheit: Die Einführung der Gradienten-Varianz-Regularisierung speziell für die leistungsgerechte Fairness, eine Richtung, die in diesem Kontext bisher nicht untersucht wurde.
Theoretische Klarheit: Bereitstellung eines theoretischen Rahmens, der die Beziehung zwischen bestehenden Fairness-Methoden (wie $q$ -FFL und Verlust-Varianz-Regularisierung) erklärt und zeigt, wie die Varianz-Regularisierung das Optimierungsverhalten unter Heterogenität verändert.
Empirische Validierung: Nachweis, dass die Reduzierung der Gradienten-Varianz zu einer gerechteren Performance über die Clients hinweg führt, ohne die Gesamtmodellgenauigkeit zu opfern, und dabei oft State-of-the-Art Fairness-bewusste Baselines übertrifft.

Die Autoren kommen zu dem Schluss, dass die Varianz-basierte Regularisierung zwar in homogenen Settings theoretisch redundant ist, aber ein entscheidender Mechanismus zur Erzielung von Fairness in den typischen heterogenen Szenarien realer FL-Einsätze ist. Die Arbeit hebt den Gradienten-Alignment-Regularisierer als eine robuste Methode zum Ausgleich der Client-Performance hervor.