Stellen Sie sich eine Welt vor, in der Ihr Smartphone, Ihre Smartwatch und der Laptop Ihres Nachbarn alle lernen wollen, eine Katze zu erkennen, aber sie können ihre Fotos nicht teilen. Vielleicht sind die Fotos zu privat oder die Internetverbindung ist zu langsam, um sie alle auf einen riesigen zentralen Computer hochzuladen. Dies ist das Problem, das Federated Learning (Föderiertes Lernen) zu lösen versucht. Anstatt alle Daten an einem Ort zu sammeln, schickt der „Lehrer“ (ein zentraler Server) einen grundlegenden Lehrplan an alle. Jeder Schüler (ein Client-Gerät) übt mit seinen eigenen privaten Fotos, findet heraus, was er gelernt hat, und schickt nur die Lernnotizen zurück an den Lehrer. Der Lehrer mischt alle Notizen zusammen, um einen klügeren Lehrplan für die nächste Runde zu erstellen. Es ist wie eine riesige, globale Lerngruppe, in der jeder seine Hausaufgaben verborgen hält, aber dennoch gemeinsam lernt.

Dieses Lerngruppen-Szenario hat jedoch einige unordentliche Probleme. Erstens hat nicht jeder die gleiche Menge an Hausaufgaben (einige haben 10 Fotos, andere 10.000). Zweitens haben einige Schüler nur Fotos von orangefarbenen Katzen, während andere nur schwarze Katzen haben (das nennt man „Label Skew“ oder Etiketten-Schiefe). Drittens hat vielleicht ein Schüler versehentlich „Hund“ auf ein Bild einer Katze geschrieben (falsch beschriftete Daten). Wenn der Lehrer Schüler zufällig auswählt, um ihre Notizen zu teilen, könnte die Klasse seltsame Dinge lernen oder stecken bleiben. Die große Frage ist: Wie entscheidet der Lehrer, wen er auswählen soll, um der Klasse am besten beim Lernen zu helfen, ohne in die privaten Hausaufgaben hineinzuspähen?

Diese Arbeit mit dem Titel „Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning“ befasst sich genau mit diesem Chaos. Die Autoren, Forscher der National Yang Ming Chiao Tung University, führten eine Reihe von Experimenten durch, um zu sehen, wie verschiedene Arten von „schlechten“ Daten die Lerngeschwindigkeit und die endgültige Note der Klasse beeinflussen. Sie entdeckten, dass die Lösung nicht „Einheitsgröße“ ist. Manchmal muss man fair sein und jeden gleichermaßen auswählen; ein anderes Mal muss man streng sein und Schüler mit unordentlichen Daten meiden. Um dies zu lösen, erfanden sie ein neues „Zeugnis“-System, das es dem Lehrer ermöglicht, wie hilfreich jeder Schüler ist, zu bewerten, ohne jemals seine privaten Fotos zu sehen.

Das große Lerngruppen-Experiment

Die Forscher richteten ein virtuelles Klassenzimmer mit 100 Clients (Schülern) und einem zentralen Server (dem Lehrer) ein. Sie verwendeten zwei klassische Datensätze für ihre Experimente: MNIST (handgeschriebene Zahlen) und CIFAR-10 (Bilder von Tieren und Objekten). In ihrer Simulation testeten sie, was passiert, wenn sie die Regeln des Spiels änderten.

Die Szenarien mit „schlechten Daten“
Sie erstellten drei Hauptarten von Problemen, um zu sehen, wie die Klasse darauf reagiert:

1. Mengen-Schiefe (Quantity Skew): Einige Schüler hatten winzige Notizbücher, andere riesige Bibliotheken. Sie fanden heraus, dass größere Notizbücher im Allgemeinen zu besseren Noten führten, aber wenn ein Notizbuch zu klein war, konnte es nicht viel helfen.
2. Etiketten-Schiefe (Label Skew): Stellen Sie sich einen Schüler vor, der nur Bilder von „3en“ hat, und einen anderen, der nur Bilder von „7en“ hat. Wenn die Klasse nur auf diese beiden hört, wird sie nicht lernen, wie eine „1“ oder eine „2“ aussieht. Die Forscher testeten alles – von „jeder hat eine Mischung“ bis hin zu „jeder hat nur eine spezifische Zahl“. Sie fanden heraus, dass die Klasse Schwierigkeiten beim Lernen hatte, wenn die Daten sehr unausgewogen waren (wie bei einem Schüler, der nur „3en“ hat), insbesondere bei den schwierigeren CIFAR-10-Bildern.
3. Falsch beschriftete Daten (Mislabeled Data): Dies war der wahre Unruhestifter. Sie simulierten Schüler, die Fotos von Katzen als „Hunde“ beschriftet hatten. Sie testeten drei Wege, wie dies passieren konnte: zufällige Fehler, sequentielle Fehler (wo aus einer „1“ eine „2“ wird, aus einer „2“ eine „3“ usw.) und zyklische Fehler. Die Ergebnisse waren drastisch: Falsch beschriftete Daten waren viel schlimmer als unausgewogene Daten. In der Tat, als sie ein hohes Maß an sequentiellen Fehlern simulierten (bei denen die Etiketten um 7 Positionen verschoben waren), versagte der Lernprozess komplett. Die Klasse konnte nichts Nützliches von Schülern lernen, die voller Selbstvertrauen falsch lagen.

Das „Fairness“-Dilemma
Als Nächstens fragten sie: „Soll der Lehrer Schüler zufällig auswählen (Fair) oder diejenigen vermeiden, die unordentliche Daten haben (Unfair)?“

• Bei dem Problem der Etiketten-Schiefe (unausgewogene Daten): War Fairness der Gewinner. Selbst wenn ein Schüler nur Bilder von „3en“ hatte, half es der Klasse, diese spezifische Zahl zu lernen, wenn er teilnahm. Wenn der Lehrer ihn ausschloss, fehlte der Klasse etwas. Die Ergebnisse zeigten, dass eine faire Auswahl die Genauigkeit verbesserte, obwohl es manchmal ein paar Runden mehr dauerte, um fertig zu werden.
• Bei dem Problem der falsch beschrifteten Daten: War Fair eine Katastrophe. Die Einbeziehung von Schülern mit falschen Etiketten zog die ganze Klasse nach unten. In diesen Fällen funktionierte die „Unfair“-Strategie (das Ausschließen der unordentlichen Schüler) tatsächlich besser. Das Paper legt nahe, dass man bei korrupten Daten die Qualität vor die Fairness stellen muss.

Das neue „Zeugnis“-System

Da der Lehrer nicht in die privaten Notizbücher der Schüler schauen kann, wie weiß er dann, wer hilfreich und wer unordentlich ist? Die Autoren schlugen ein dreiteiliges Bewertungssystem vor, das vollständig auf der Serverseite läuft:

1. Datengrößen-Score (Datasize Score): Dies ist einfach. Es prüft nur, wie groß das Notizbuch des Schülers ist. Ein größeres Notizbuch erhält eine höhere Punktzahl (normalisiert zwischen 0 und 1).
2. Qualitäts-Score (Quality Score): Dies ist der clevere Teil. Nachdem ein Schüler seine Lernnotizen zurückgeschickt hat, testet der Lehrer diese Notizen an einem geheimen „Übungstest“, dessen Antworten der Lehrer bereits kennt. Wenn die Notizen des Schülers zu einer hohen Punktzahl beim Übungstest führen, erhält er einen hohen Qualitäts-Score. Wenn er beim Übungstest versagt, sinkt sein Score. Dies sagt dem Lehrer: „Die Daten dieses Schülers sind nützlich“ oder „Die Daten dieses Schülers sind verrauscht“, ohne jemals die eigentlichen Fotos zu sehen.
3. Fairness-Score: Dies ist ein „Gedulds-Meter“. In jeder Runde steigt der Score jedes Schülers um einen kleinen Betrag an. Wenn ein Schüler ausgewählt wird, um teilzunehmen, wird sein Score auf Null zurückgesetzt. Dies stellt sicher, dass Schüler, die schon länger nicht mehr ausgewählt wurden, schließlich eine Chance bekommen, was verhindert, dass der Lehrer nur den gleichen wenigen „schlauen“ Kindern zuhört.

Der intelligente Balancierer
Die wahre Magie liegt darin, wie sie diese Scores kombinieren. Das System betrachtet die Varianz (die Streuung) der Qualitäts-Scores.

• Wenn die Qualitäts-Scores alle ähnlich sind (geringe Varianz), bedeutet dies, dass die Daten weitgehend sauber sind. Das System stützt sich dann auf den Fairness-Score und stellt sicher, dass jeder einmal an der Reihe ist.
• Wenn die Qualitäts-Scores überall auseinanderliegen (hohe Varianz), bedeutet dies, dass einige Schüler sehr schlechte, verrauschte Daten haben. Das System schaltet sofort um, ignoriert den Fairness-Score und wählt nur die Schüler mit den höchsten Qualitäts-Scores.

Was sie fanden (und was sie nicht fanden)

Das Paper kommt zu dem Schluss, dass es nicht den einen „besten“ Weg gibt, Schüler auszuwählen. Es kommt ganz darauf an, warum die Daten unvollkommen sind.

• Wenn die Daten nur unausgewogen sind (einige Schüler haben seltene Etiketten), legt das Paper nahe, dass Fairness entscheidend ist. Diese Schüler auszuschließen, schadet dem Modell.
• Wenn die Daten korrumpiert sind (falsch beschriftet), legt das Paper nahe, dass Fairness geopfert werden sollte, um das Modell vor schlechten Informationen zu schützen.

Die Autoren merken vorsichtig an, dass ihr „Qualitäts-Score“ ein großartiges Werkzeug ist, aber er hat eine Schwachstelle. Er kann einem sagen, dass die Daten eines Schülers „schlecht“ sind, aber er kann nicht sagen, warum. Er weiß nicht, ob die Daten schlecht sind, weil ein Schüler nur „3en“ hat (Etiketten-Schiefe) oder weil er „Hund“ auf ein Katzenbild geschrieben hat (falsch beschriftet). Aus diesem Grund muss das System manchmal raten. Wenn die Varianz hoch ist, nimmt das System das Schlimmste an (falsch beschriftete Daten) und priorisiert die Qualität, was eine sichere Strategie ist. Die Autoren geben jedoch zu, dass, falls die hohe Varianz tatsächlich nur auf die Etiketten-Schiefe zurückzuführen ist, dieser konservative Ansatz einige gute Lernmöglichkeiten verpassen könnte.

Kurz gesagt: Das Paper behauptet nicht, das Problem für immer gelöst zu zu haben. Stattdessen bietet es einen messbaren, experimentellen Leitfaden, der zeigt, dass ein intelligentes, adaptives System – eines, das zwischen „sei fair“ und „sei streng“ wechseln kann, je nach Situation – der beste Weg für Federated Learning ist. Sie schlagen vor, dass sich zukünftige Arbeiten darauf konzentrieren sollten, ein System zu entwickeln, das besser zwischen „unausgewogenen“ und „korrumpierten“ Daten unterscheiden kann, damit der Lehrer jedes Mal die perfekte Wahl treffen kann.