🤖 machine learning

Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases

Dieser Beitrag adressiert die anhaltende Leistungslücke im federierten Lernen, die sowohl durch Verzerrungen bei der Registrierung als auch bei der Auswahl der Teilnehmer entsteht, indem er ein zweistufiges Auswahlmodell formalisiert und \textsc{FedIPW} vorschlägt, ein Aggregationsschema mit Inverse-Probability-Weighting, das selbst bei begrenzten clientseitigen Kovariaten die Zielgruppenziele effektiv wiederherstellt.

Ursprüngliche Autoren: Gota Morishita

Veröffentlicht 2026-04-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gota Morishita

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den perfekten Kuchen für eine ganze Stadt zu backen. Um dies zu tun, bitten Sie Tausende von Hobbybäckern, Ihnen ein kleines Stück ihres Teigs zu senden, damit Sie ihn zusammenmischen und das ideale Rezept ermitteln können. So funktioniert im Wesentlichen Federated Learning (FL): Anstatt alle Daten an einem Ort zu sammeln, bittet ein zentraler Server viele Geräte (wie Smartphones), ein Modell lokal zu trainieren und nur die „Updates" (die Teigstücke) zurückzusenden.

Das Problem, wie dieses Papier erklärt, ist, dass wer Sie bitten, Teig zu senden, genauso wichtig ist wie wie Sie ihn mischen.

Der Zwei-Stufen-Filter: Wer kommt herein?

Das Papier argumentiert, dass in der Realität die Bäcker, von denen Sie am Ende hören, selten eine perfekte Querschnittsstichprobe der gesamten Stadt darstellen. Dies geschieht in zwei distincten Phasen, wie eine zweistufige Sicherheitskontrolle bei einem Konzert:

Der „Anmelde"-Bias (Wer bekommt die Einladung?):
Zuerst müssen Sie für das Projekt qualifiziert sein. Vielleicht benötigen Sie eine bestimmte Art von Telefon, eine bestimmte Softwareversion, oder Sie müssen einfach nur auf „Ich stimme zu" in einem Einwilligungsformular klicken. Wenn Ihr Telefon alt ist oder Sie in einem Gebiet mit schlechtem Internet leben, erhalten Sie die Einladung gar nicht erst. Sie werden aussortiert, bevor das Spiel überhaupt beginnt. Das Papier nennt dies Anmelde-Bias.
- Analogie: Stellen Sie sich vor, Sie laden nur Menschen ein, die ein rotes Auto besitzen, in Ihren Backverein. Selbst wenn Sie jeden mit einem roten Auto zur Teilnahme auffordern, haben Sie bereits alle mit einem blauen Auto, einem Fahrrad oder gar keinem Fahrzeug verpasst. Ihr „Backverein" ist bereits verzerrt.
Der „Teilnahme"-Bias (Wer erscheint tatsächlich?):
Zweitens erscheint selbst unter den Menschen, die tatsächlich eingeladen wurden, nicht jeder zu jedem Treffen. Vielleicht ist ihr Akku leer, ihr Internet ist instabil, oder es ist 3 Uhr morgens in ihrer Zeitzone. Sie sind angemeldet, nehmen aber an dieser spezifischen Runde nicht teil. Das Papier nennt dies Teilnahme-Bias.
- Analogie: Selbst wenn Sie jeden mit einem roten Auto eingeladen haben, fahren vielleicht nur diejenigen, die wach sind und einen vollen Tank haben, tatsächlich zum Treffen.

Das Problem: Der falsche Kuchen wird gebacken

Die meisten bestehenden Methoden versuchen, das zweite Problem (wer erscheint) zu lösen. Sie sagen: „Okay, die Leute, die heute Abend erschienen sind, sind hauptsächlich Nachtschichtarbeiter; passen wir das Rezept an, um dem Rechnung zu tragen."

Dieses Papier weist jedoch auf ein größeres Problem hin: Wenn die Leute, die von Anfang an eingeladen wurden (die Besitzer roter Autos), nicht wie der Rest der Stadt sind, hilft es nichts, den Teil „wer erscheint" zu korrigieren. Sie könnten die Nachtschichtarbeiter perfekt ausgleichen, aber Sie backen dennoch einen Kuchen, der ausschließlich auf Besitzern roter Autos basiert. Das Endergebnis wird für Besitzer roter Autos großartig schmecken, aber für alle anderen schrecklich.

Das Papier nennt dies eine „Target-Population Mismatch" (Fehlende Übereinstimmung mit der Zielgruppe). Das Modell lernt, die Menschen zu bedienen, die erreichbar sind, nicht die Menschen, die es bedienen soll.

Die Lösung: Eine gewichtete Waage (FedIPW)

Um dies zu beheben, schlägt der Autor eine neue Methode namens FedIPW (Federated Inverse Probability Weighting) vor.

Stellen Sie sich dies als eine gewichtete Waage anstelle eines einfachen Durchschnitts vor.

Der alte Weg (FedAvg): Wenn 10 Personen Updates senden, gibt jeder Person 1/10 des Gewichts.
Der neue Weg (FedIPW): Sie schauen, wer nicht erschienen ist, und fragen: „Warum?"
- Wenn eine Gruppe von Menschen (sagen wir, Leute mit Android-Telefonen) aufgrund strenger Softwareregeln selten eingeladen wird, aber tatsächlich erscheinen, wenn sie eingeladen werden, gewichtet der Algorithmus ihre Updates stärker.
- Wenn eine Gruppe (sagen wir, Leute mit neuen iPhones) oft eingeladen wird, aber selten erscheint, werden ihre Updates ebenfalls sorgfältig gewichtet, um diejenigen zu repräsentieren, die tatsächlich erschienen sind.

Indem die Updates mathematisch basierend auf der Wahrscheinlichkeit, eingeladen zu werden, und der Wahrscheinlichkeit, zu erscheinen, „neu gewichtet" werden, kann der Server rekonstruieren, was der „durchschnittliche Stadtbäcker" beigetragen hätte, selbst wenn er nie tatsächlich ein Stück Teig gesendet hat.

Was, wenn wir nicht alle Details haben? (Die „begrenzte Information"-Lösung)

Manchmal kennt der Server die Details der Personen nicht, die nicht eingeladen wurden (z. B. weiß er nicht, wie viele Menschen in der Stadt alte Telefone haben). Er kennt nur das große Ganze (z. B. „20 % der Stadt nutzen Android").

In diesem Fall schlägt das Papier einen Kalibrierungs-Trick vor.

Analogie: Stellen Sie sich vor, Sie backen mit einer Stichprobe von Bäckern, kennen aber nicht die genaue Demografie der gesamten Stadt. Sie haben jedoch einen Volkszählungsbericht, der besagt: „Die Stadt besteht zu 50 % aus Männern und zu 50 % aus Frauen."
Wenn Ihre Stichprobe von Bäckern zu 80 % aus Männern besteht, können Sie die Frauen nicht einfach ignorieren. Stattdessen gewichten Sie die Updates der Männer weniger und die der Frauen mehr, bis Ihre Stichprobe wie der Volkszählungsbericht aussieht (50/50).
Dies behebt nicht alles perfekt, aber es bringt Sie der richtigen Rezeptur viel näher, als wenn Sie nichts tun würden.

Die Warnung vor der „Bias Floor"

Das Papier warnt auch vor einer „Bias Floor" (Verzerrungsuntergrenze).
Stellen Sie sich vor, Sie versuchen, eine Bullseye zu treffen. Wenn Sie das Ziel leicht verfehlen, weil Ihre Zielung wackelig ist (zufälliger Fehler), können Sie mit Übung besser werden. Aber wenn Ihre Waffe verbogen ist (struktureller Fehler), werden Sie immer das Zentrum verfehlen, egal wie viel Sie üben.

Das Papier beweist, dass Sie, wenn Sie die Phase der „Anmeldung" ignorieren (die verbogene Waffe), eine Bias Floor erreichen werden. Egal wie viele Trainingsrunden Sie durchführen, das Modell wird niemals die wahre beste Lösung für die gesamte Bevölkerung erreichen. Es wird in einer „gut genug"-Zone stecken bleiben, die für die Menschen, die Ihnen am Herzen liegen, tatsächlich falsch ist.

Zusammenfassung

Das Problem: Federated Learning scheitert oft daran, dass die Personen, die am Training teilnehmen (Anmeldung), und die Personen, die tatsächlich teilnehmen, nicht repräsentativ für die gesamte Bevölkerung sind.
Die Lösung: Verwenden Sie eine zweistufige Korrektur (FedIPW), die die Updates mathematisch gewichtet, um zu berücksichtigen, wer am Anfang ausgeschlossen wurde und wer während des Prozesses ausgestiegen ist.
Die Erkenntnis: Es reicht nicht aus, nur zu korrigieren, wer zum Treffen erscheint; Sie müssen korrigieren, wer überhaupt zum Treffen eingeladen wurde. Tun Sie dies nicht, wird Ihr Modell unabhängig davon, wie intelligent der Algorithmus ist, zu einer bestimmten Gruppe hin verzerrt sein.

1. Problemstellung

Federated Learning (FL) zielt darauf ab, ein globales Modell auf einer Zielpopulation verteilter Clients zu trainieren, ohne Rohdaten zu zentralisieren. Standardalgorithmen (z. B. FedAvg) gehen implizit davon aus, dass die Clients, die an jeder Kommunikationsrunde teilnehmen, eine repräsentative Stichprobe der Zielpopulation darstellen. In der Praxis scheitert diese Annahme jedoch häufig aufgrund von Selektionsverzerrung (Selection Bias), die laut dem Papier in zwei distincten Phasen auftritt:

Enrollment-Bias (Anmeldeverzerrung): Bestimmt durch Zulassungsregeln (Geräteeinschränkungen, Softwareanforderungen, Nutzerzustimmung), die festlegen, welche Clients überhaupt für das Training erreichbar sind. Dies erzeugt eine Diskrepanz zwischen dem angemeldeten Pool und der Zielpopulation.
Participation-Bias (Teilnahmeverzerrung): Bestimmt durch dynamische Faktoren (Batterie, Netzwerk, lokale Zeit), die festlegen, welche angemeldeten Clients tatsächlich an einer spezifischen Kommunikationsrunde teilnehmen.

Das Kernproblem: Die bestehende Literatur befasst sich hauptsächlich mit der Teilnahmeverzerrung auf Rundenebene. Das Papier argumentiert jedoch, dass selbst wenn die Teilnahmeverzerrung perfekt korrigiert wird, der Enrollment-Bias eine anhaltende Diskrepanz zwischen dem Trainingsziel (Optimierung für die angemeldete Teilmenge) und dem Ziel der Zielpopulation verursacht. Wenn der angemeldete Pool nicht repräsentativ ist, konvergiert das Modell zu einer suboptimalen Lösung für die beabsichtigte Population.

2. Methodik

Das Papier formalisiert FL unter einem Zwei-Stufen-Auswahlmodell und schlägt ein Entzerrungs-Framework basierend auf Inverse Probability Weighting (IPW) vor.

A. Zwei-Stufen-Auswahlrahmen

Die Autoren modellieren die Einbeziehung von Clients als kausalen Prozess:

Stufe 1 (Enrollment): Ein Client $i$ wird mit Wahrscheinlichkeit $\pi^{enroll}_i = P(E_i=1 | Z_i)$ angemeldet ( $E_i=1$ ), wobei $Z_i$ prä-Enrollment-Kovariaten sind (z. B. Gerätetyp, Region).
Stufe 2 (Participation): Unter der Bedingung der Anmeldung nimmt Client $i$ an Runde $r$ mit Wahrscheinlichkeit $\pi^{part}_{i,r} = P(A_{i,r}=1 | E_i=1, Z_i, X_{i,r})$ teil ( $A_{i,r}=1$ ), wobei $X_{i,r}$ prä-Runde-Kovariaten sind (z. B. Batterie, Netzwerk).

Die Gesamteintrittswahrscheinlichkeit faktorisiert wie folgt:
$p_{i,r} = \pi^{enroll}_i \times \pi^{part}_{i,r}$

B. Der vorgeschlagene Algorithmus: FedIPW

Um die Mittelwert-Update der Zielpopulation wiederherzustellen, schlagen die Autoren FedIPW (Federated Inverse Probability Weighting) vor.

Mechanismus: Anstatt Updates gleichmäßig zu mitteln, gewichtet der Server das Update $\Delta_{i,r}$ jedes Clients mit dem Kehrwert ihrer Eintrittswahrscheinlichkeit:
$\hat{\bar{\Delta}}_r = \frac{1}{N} \sum_{i: A_{i,r}=1} \frac{\Delta_{i,r}}{\hat{p}_{i,r}}$
Schätzung: Da die wahren Wahrscheinlichkeiten unbekannt sind, schätzt FedIPW die beiden Komponenten separat:
1. $\hat{\pi}^{enroll}_i$ wird unter Verwendung von prä-Enrollment-Kovariaten und Anmeldeindikatoren geschätzt (erfordert Populationsdaten).
2. $\hat{\pi}^{part}_{i,r}$ wird unter angemeldeten Clients unter Verwendung von Kovariaten auf Rundenebene geschätzt.
Theoretische Garantie: Unter Annahmen der Ignorierbarkeit und Positivität liefert FedIPW einen unverzerrten Schätzer für das Mittelwert-Update der Zielpopulation.

C. Erweiterung mit begrenzten Informationen: Aggregate Calibration

In vielen realen Szenarien sind individuelle Kovariaten für nicht angemeldete Clients nicht verfügbar, was eine vollständige Enrollment-IPW unmöglich macht.

Lösung: Die Autoren führen eine Aggregate-Calibration-Erweiterung ein.
Methode: Sie gewichtet die angemeldete Stichprobe so um, dass die gewichtete Verteilung der prä-Enrollment-Kovariaten (z. B. Region, OS-Version) mit bekannten aggregierten Zusammenfassungen der Zielpopulation (z. B. Zensusdaten) übereinstimmt.
Rolle: Dies dient als partielle Korrektur für Enrollment-Bias, wenn vollständige individuelle Daten fehlen.

3. Hauptbeiträge

Formalisierung der Zwei-Stufen-Auswahl: Das Papier unterscheidet Enrollment-Bias von Participation-Bias und formalisiert sie als sequenziellen kausalen Prozess. Es zeigt, dass das Ignorieren von Enrollment-Bias zu einer strukturellen Diskrepanz führt, die durch Korrekturen, die nur die Teilnahme berücksichtigen, nicht behoben werden kann.
FedIPW-Algorithmus: Herleitung eines gewichteten Aggregationsschemas mit inverser Wahrscheinlichkeit, das unter Standardannahmen das Ziel der Zielpopulation wiederherstellt.
Optimierungsanalyse mit Bias-Untergrenze: Die Autoren bieten eine algorithmusneutrale Analyse, die zeigt, dass residuelle Gewichtsfehler (durch Schätzfehler oder strukturelle Fehlspezifikation, wie das Auslassen der Enrollment-Stufe) eine nicht verschwindende Bias-Untergrenze induzieren.
- Die Fehlerschranke zerfällt in einen transiente Term, einen Varianzterm und eine Bias-Untergrenze, proportional zu $\epsilon_w^2 G^2 / \mu$ , wobei $\epsilon_w$ der Gewichtsfehler und $G$ die Gradientenheterogenität ist.
- Dies beweist, dass eine unvollständige Selektionskorrektur (z. B. nur Korrektur der Teilnahme) zu einer anhaltenden Suboptimalität führt.
Aggregate Calibration: Eine praktische Methode für Regime mit begrenzten Informationen, die Populationszusammenfassungen nutzt, um Enrollment-Bias teilweise zu mindern.

4. Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie mittels synthetischer federierter logistischer Regression, bei der das wahre Optimum der Zielpopulation genau berechnet werden kann.

Ziel-Diskrepanz: Naives FedAvg konvergiert zu einer „ausgewählten-Client-Lösung" mit signifikant höherem Verlust für die Zielpopulation im Vergleich zum wahren Optimum.
FedIPW-Leistung: FedIPW stellt erfolgreich das Ziel der Zielpopulation wieder her und folgt eng der „Oracle"- (idealen) Leistung, selbst wenn der Enrollment-Bias zunimmt.
Versagen der Teilnahme-only-Korrektur: Methoden, die nur die Teilnahme auf Rundenebene korrigieren, verbessern sich gegenüber FedAvg, erreichen jedoch nicht das Optimum, sobald der Enrollment-Bias stärker wird. Dies bestätigt die Existenz der Bias-Untergrenze.
Aggregate Calibration: In Szenarien, in denen individuelle Daten nicht angemeldeter Clients fehlen, reduziert die Aggregate Calibration den residuellen Fehler, der von Teilnahme-only-Methoden übrig bleibt, erheblich, ist jedoch empfindlich gegenüber Rauschen in den Populationszusammenfassungen.

5. Bedeutung und Implikationen

Paradigmenwechsel: Das Papier argumentiert, dass „wer überhaupt trainieren kann" (Enrollment) ebenso kritisch ist wie „wer an einer Runde teilnimmt" (Participation). Aktuelle FL-Entzerrungsbemühungen, die sich ausschließlich auf die Selektion auf Rundenebene konzentrieren, sind unzureichend, wenn der angemeldete Pool nicht repräsentativ ist.
Struktureller vs. statistischer Fehler: Die Analyse unterscheidet zwischen statistischen Schätzfehlern (die mit besseren Modellen reduziert werden können) und struktureller Fehlspezifikation (z. B. das Auslassen der Enrollment-Stufe), die eine nicht reduzierbare Bias-Untergrenze erzeugt.
Praktische Anleitung: Die Arbeit bietet Praktikern einen Fahrplan:
1. Wenn individuelle Daten für nicht angemeldete Nutzer verfügbar sind, verwenden Sie FedIPW mit Zwei-Stufen-Gewichtung.
2. Wenn nur aggregierte Populationsdaten verfügbar sind, verwenden Sie Aggregate Calibration, um Enrollment-Bias teilweise zu korrigieren.
3. Sich ausschließlich auf die Teilnahme-Korrektur zu verlassen, ist theoretisch unzureichend, um in heterogenen Umgebungen populationsgerechte Ziele zu erreichen.

Zusammenfassend etabliert dieses Papier, dass die Erzielung eines Modells, das die Zielpopulation in FL repräsentiert, die Korrektur der Selektionsverzerrung sowohl in der Enrollment- als auch in der Participation-Phase erfordert, und bietet einen rigorosen mathematischen Rahmen sowie praktische Algorithmen zur Erreichung dieses Ziels.