FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

In dem riesigen, vernetzten Geflecht moderner Kommunikation findet eine stille Revolution in der Art und Weise statt, wie Computer lernen. Traditionell werden Systeme der künstlichen Intelligenz trainiert, indem enorme Mengen an Daten an einem einzigen, zentralen Ort gesammelt werden, wo Algorithmen Millionen von Beispielen studieren, um Muster zu finden. Dieser Ansatz wirft jedoch ernsthafte Bedenken hinsichtlich des Datenschutzes und der Sicherheit auf, da er erfordert, sensible persönliche Informationen von Telefonen, medizinischen Geräten und privaten Servern an einen zentralen Knotenpunkt zu übertragen. Um dies zu lösen, entwickelten Forscher eine Methode namens Federated Learning (föderiertes Lernen), die es vielen verschiedenen Geräten ermöglicht, gemeinsam zu lernen, ohne jemals ihre Rohdaten zu teilen. Anstatt die Daten selbst zu senden, senden die Geräte nur die Lektionen, die sie gelernt haben – mathematische Aktualisierungen, die beschreiben, was sie gesehen haben. Dies hält private Informationen lokal, während dennoch eine globale Intelligenz aus der kollektiven Anstrengung entstehen kann.

Doch dieser kollaborative Prozess steht vor einem hartnäckigen Hindernis: Die Daten auf jedem Gerät sind selten ausgewogen. Das Telefon einer Person ist vielleicht voller Fotos von Katzen, während das eines anderen nur Bilder von Autos enthält. Wenn diese Geräte versuchen, ein gemeinsames Modell zu lehren, neigen diejenigen mit reichlich Daten für bestimmte Kategorien dazu, das Gespräch zu dominieren, wodurch das Modell dazu gedrängt wird, ein Experte in diesen spezifischen Bereichen zu werden, während es die seltenen oder fehlenden Bereiche ignoriert. Dieses Ungleichgewicht schafft einen blinden Fleck und führt dazu, dass das System sichichtbare, aber falsche Vermutungen über die Dinge anstellt, die es noch nie gesehen hat. Die Herausforderung wird dadurch verschärft, dass die Geräte versuchen, aus einem gemeinsamen Pool unbeschrifteter Bilder zu lernen – Bilder ohne identifizierende Tags –, was oft notwendig ist, um die Privatsphäre zu schützen. Ohne die wahren Antworten für diese gemeinsamen Bilder zu kennen, hat der zentrale Server Schwierigkeiten, die durch die einzelnen Geräte eingeführten Verzerrungen zu korrigieren, was zu einem globalen Modell führt, das einseitig und unzuverlässig ist.

Ein Team von Forschern hat einen neuen Ansatz vorgeschlagen, um dieses Problem zu lösen, und führt ein System ein, das sie FedCC nennen. Ihre Arbeit konzentriert sich auf eine spezifische Art des kollaborativen Lernens, bei dem Geräte ihre Vorhersagen anstatt ihrer internen Einstellungen teilen. In diesem Setup betrachtet jedes Gerät einen Satz öffentlicher, unbeschrifteter Bilder und sendet eine Liste von Wahrscheinlichkeiten zurück, die angeben, was es jeweils für ein Bild hält. Das Problem entsteht, wenn ein Gerät, das nur wenige Arten von Bildern gesehen hat, gezwungen ist, über alles hinweg eine Vermutung abzugeben. Wenn ein Gerät nur Bilder von Hunden gesehen hat, wird es eine Katze selbstbewusst als Hund identifizieren, und wenn viele Geräte dies tun, aggregiert der zentrale Server diese Fehler zu einer einzigen, fehlerhaften Schlussfolgerung. Die Forscher erkannten, dass die Lösung nicht darin bestand, jedes Gerät zu einer Vermutung zu zwingen, sondern ihnen die Erlaubnis zu geben, zuzugeben, wenn sie sich unsicher sind.

Die Kerninnovation von FedCC ist die Einführung einer „Unbekannt“-Kategorie. In traditionellen Systemen muss ein Gerät eine der bekannten Klassen wählen, wie etwa „Hund“, „Katze“ oder „Auto“, selbst wenn das Bild etwas ist, das es noch nie erlebt hat. FedCC ändert die Regeln, indem es den Geräten erlaubt, ein verwirrendes oder unbekanntes Bild als „unbekannt“ zu kennzeichnen. Diese einfache Ergänzung fungiert als Sicherheitsventil. Wenn ein Gerät auf ein Bild stößt, das außerhalb seiner begrenzten Erfahrung liegt, kann es es dieser neuen, Sammelkategorie zuordnen, anstatt eine falsche Antwort zu erzwingen. Dies verhindert, dass das Gerät eine falsche Zuversicht in das kollektive Wissen der Gruppe injiziert. Indem das Gerät anerkennt, was es nicht weiß, schützt es die Gruppe davor, durch seine eigene enge Perspektive in die Irre geführt zu werden.

Um dies zu ermöglichen, entwarfen die Forscher einen Prozess, bei dem die Geräte zuerst aus ihren eigenen privaten Daten lernen und dann einen gemeinsamen Satz unbeschrifteter Bilder nutzen, um ihr Verständnis zu verfeinern. Während dieser Verfeinerung berechnet das System, wie sicher sich das Gerät bei seinen Vorhersagen ist. Wenn das Gerät sehr sicher ist, teilt es seine Vermutung. Wenn es unsicher ist, stützt sich das System stark auf die Kategorie „unbekannt“. Diese Unsicherheit wird nicht als Scheitern behandelt, sondern als wertvolles Signal. Der zentrale Server kombiniert dann die Vorhersagen aller Geräte und gibt denen, die sicher sind, mehr Gewicht und denen, die unsicher sind, weniger Gewicht. Entscheidend ist, dass der Server die „unbekannt“-Tags herausfiltert, wenn er die endgültige globale Lektion erstellt, um sicherzustellen, dass das geteilte Wissen nur auf zuverlässigen, abgestimmten Informationen aufgebaut wird. Diese Methode ermöglicht es dem System, effektiv zu lernen, selbst wenn die Daten stark verzerrt sind, was bedeutet, dass einige Geräte sehr wenige Daten für bestimmte Kategorien besitzen.

Die Forscher testeten diese Methode an mehreren Standard-Bilddatensätzen, einschließlich Sammlungen von Alltagsgegenständen und Tieren, unter Bedingungen, in denen die Daten sehr ungleichmäßig verteilt waren. Im extremsten Test simulierten sie ein Szenario, in dem jedes von zehn Geräten Bilder aus nur einer einzigen Klasse von zehn möglichen Kategorien besaß. In dieser harten Umgebung brachen bestehende Methoden zusammen, wobei ihre Genauigkeit auf ein Niveau nahe dem zufälligen Raten sank, oft unter zwölf Prozent. Im Gegensatz dazu behielt das FedCC-System eine robuste Genauigkeit von sechsundsechzig Komma drei Prozent bei. Dieses Ergebnis zeigt, dass das System als Ganzes deutlich genauer wird, wenn man den Geräten erlaubt, von erzwungenen Fehlern Abstand zu nehmen. Die Lücke zwischen FedCC und anderen Methoden wurde größer, je ungleichmäßiger die Daten wurden, was beweist, dass der Ansatz besonders effektiv ist, wenn die Herausforderung am größten ist.

Über die Verbesserung des endgültigen globalen Modells hinaus zeigte die Studie, dass dieser Ansatz auch den einzelnen Geräten half. Indem sie lernten, ihre eigenen Grenzen zu erkennen und unsichere Stichproben als „unbekannt“ zu kennzeichnen, wurden die Geräte besser darin, die seltenen Kategorien zu erkennen, die sie eigentlich lernen sollten. Das System wirkte effektiv wie ein Regularisierer, der verhinderte, dass die Modelle zu übermäßig selbstbewusst in Bezug auf die Klassen wurden, die sie gut kannten, und diejenigen ignorierten, die sie nicht kannten. Eine visuelle Analyse der Daten zeigte, dass die mit FedCC trainierten Modelle die verschiedenen Kategorien deutlich und getrennt hielten, während andere Methoden dazu neigten, sie miteinander zu vermischen. Diese Klarheit deutet darauf hin, dass die Kategorie „unbekannt“ als Puffer dient, der das Rauschen und die Verwirrung absorbiert, die das kollaborative Lernen normalerweise aus dem Kurs bringt.

Die Ergebnisse legen nahe, dass in einer Welt vielfältiger und fragmentierter Daten das Eingestehen von Unwissenheit ein mächtiges Werkzeug zum Lernen ist. Indem das Ziel von der Erzwingung einer Vorhersage hin zur Zulassung von Unsicherheit verschoben wird, bietet FedCC eine einfache, aber effektive Möglichkeit, zuverlässigere und gerechtere Systeme der künstlichen Intelligenz aufzubauen. Die Methode erfordert keine komplexe neue Infrastruktur oder das Teilen privater Daten; sie ändert lediglich die Art und Weise, wie Geräte ihr Vertrauen kommunizieren. Da die Netzwerke von Geräten weiter wachsen und die Daten, die sie halten, zunehmend vielfältiger werden, werden Techniken, die diese Ungleichgewichte bewältigen können, ohne die Privatsphäre zu opfern, unerlässlich sein. FedCC weist einen klaren Weg nach vorn und zeigt, dass der beste Weg zu lernen manchmal darin besteht, zu wissen, wann man sagt: „Ich weiß es nicht.“