In der modernen digitalen Welt lernt künstliche Intelligenz oft durch das Zusammenführen von Daten aus Millionen von Geräten, von Smartphones bis hin zu Krankenhaus-Sensoren. Dieser Ansatz, bekannt als Federated Learning, ermöglicht es Computern, leistungsstarke Modelle aufzubauen, ohne die Rohdaten jemals selbst zu bewegen, wodurch die Privatsphäre gewahrt bleibt und gleichzeitig kollektive Intelligenz genutzt wird. Es entsteht jedoch ein hartnäckiges Problem, da die Daten auf jedem Gerät selten identisch sind. Ein Nutzer macht vielleicht tausende Fotos von Katzen, während ein anderer nur Landschaften aufnimmt; ein Krankenhaus behandelt vielleicht hauptsächlich ältere Patienten, während ein anderes vorwiegend Kinder sieht. Wenn diese vielfältigen Datenquellen versuchen, von einem einzigen gemeinsamen Modell zu lernen, ist das Ergebnis oft ein verwirrtes System, das für alle schlecht funktioniert. Um dies zu lösen, haben sich Forscher dem personalisierten Federated Learning zugewandt, einer Methode, die versucht, ein gemeinsames Fundament mit Anpassungen an den jeweiligen individuellen Nutzer in Einklang zu bringen. Doch selbst mit diesen personalisierten Feinabstimmungen kann der Lernprozess instabil werden. Während sich das Modell im Laufe der Zeit aktualisiert, kann sich die Art und Weise, wie es bestimmte Informationen versteht, unvorhersehbar ändern, was dazu führt, dass das System das Gelernte aus vorherigen Schritten vergisst oder die falschen Lektionen auf die falschen Daten anwendet.

Ein Team von Forschern der Henan University of Science and Technology und der Henan Sport University hat ein neues Framework namens FedEAGD entwickelt, um diese Instabilität zu adressieren. Ihre Arbeit konzentriert sich auf ein subtiles, aber kritisches Problem: wie sich das Verständnis eines einzelnen Datenpunktes, wie etwa eines spezifischen Bildes, verändert, während das Modell über viele Kommunikationsrunden hinweg lernt. Anstatt jedes Stück an Daten gleich zu behandeln, verfolgt ihre Methode die Historie, wie das Modell jedes einzelne Sample wahrnimmt. Sie fanden heraus, dass einige Bilder dazu führen, dass das Modell seine Meinung von einer Runde zur nächsten drastisch ändert, während andere stabil bleiben. Durch das Messen dieser „Drift“ kann das System entscheiden, wie sehr es sich für jedes spezifische Element auf vergangene Lektionen verlassen kann. Wenn ein Datensatz das Modell zum Wanken bringt, wendet das System eine stärkere Führung aus der Vergangenheit an, um es zu stabilieren. Wenn die Daten stabil sind, lockert das System seinen Griff und erlaubt dem Modell, sich freier an die einzigartigen Bedürfnisse des jeweiligen Geräts anzupassen.

Die Forscher bauten dieses System um ein Konzept auf, das sie einen „historischen Lehrer“ nennen. Stellen Sie sich einen Studenten vor, der ein Tagebuch über seine eigenen Fortschritte führt. In dieser digitalen Version führt jedes Gerät ein vereinfachtes, gemitteltes Protokoll darüber, wie sein gemeinsames Modell im Laufe der Zeit ausgesehen hat. Wenn das Gerät mit einem neuen Stapel an Daten trainiert, vergleicht es sein aktuelles Verständnis jedes Bildes mit diesem Tagebuch. Wenn die aktuelle Ansicht eines Bildes signifikant vom historischen Protokoll abweicht, erkennt das System dies als Moment der Instabilität. Es erhöht dann automatisch das Gewicht der historischen Lektion für dieses spezifische Bild und sagt effektiv: „Dies ist ein schwieriger Fall; lassen Sie uns näher bei dem bleiben, was wir zuvor wussten.“ Dies geschieht auf einer Sample-für-Sample-Basis, was bedeutet, dass ein Bild eine starke Führung erhalten kann, während sein Nachbar kaum eine erhält, je nachdem, wie sehr sich die Sicht des Modells auf sie verschoben hat.

Um sicherzustellen, dass das Modell nicht zu starr wird, führten die Forscher auch eine Möglichkeit ein, personalisierte Informationen schrittweise einzuführen. In der frühen Phase des Trainings konzentriert sich das System darauf, ein starkes, gemeinsames Fundament aufzubauen, das für alle funktioniert. Mit fortschreitendem Training beginnt es langsam, die einzigartigen Merkmale einzuflechten, die für das jeweilige Gerät spezifisch sind. Dies geschieht durch einen „Gating“-Mechanismus, der wie ein Dimmer wirkt und die Lautstärke der personalisierten Details erst dann langsam hochdreht, wenn das gemeinsame Fundament gesichert ist. Dies verhindert, dass das System verwirrt wird, indem es versucht, zu früh zu viele spezifische Details zu lernen. Die Forscher fügten zudem Sicherheitsprüfungen hinzu, um sicherzustellen, dass diese personalisierten Ergänzungen nicht versehentlich die Leistung des gemeinsamen Modells verschlechtern, und sie nutzen eine Glättungstechnik am Ende des Prozesses, um die finalen Updates zwischen dem zentralen Server und den einzelnen Geräten zu koordinieren.

Das Team testete diesen Ansatz an mehreren bekannten Bilddatensätzen, darunter Sammlungen von handgeschriebenen Ziffern, Alltagsgegenständen und komplexen Szenen mit hunderten von Kategorien. Sie simulierten Umgebungen, in denen die Daten sehr ungleichmäßig verteilt waren, wobei einige Geräte sehr unterschiedliche Arten von Bildern besaßen als andere. Unter diesen anspruchsvollen Bedingungen schnitt die neue Methode konsistent besser ab als bestehende Ansätze. Auf einem Datensatz mit 100 verschiedenen Objektkategorien und einer stark ungleichen Datenverteilung erreichte das neue Framework eine Genauigkeit von 63,05 Prozent. Dies war fast sechs Prozentpunkte höher als die nächstbeste getestete Methode, eine signifikante Differenz auf dem Gebiet des maschinellen Lernens. Das System erwies sich auch als robust, wenn weniger Geräte am Training teilnahmen oder wenn die Anzahl der Geräte zunahm, wobei es seinen Vorteil gegenüber anderen Methoden unabhängig von der Skalierung oder dem Grad der Beteiligung beibehielt.

Entscheidend war, dass diese Verbesserung nicht auf Kosten eines erhöhten Kommunikationsaufwands ging. In vielen personalisierten Systemen erzeugt das Hin- und Hersenden einzigartiger Daten zwischen Geräten und dem zentralen Server eine hohe Verkehrsbelastung. In diesem neuen Framework wird nur der geteilte Teil des Modells über das Netzwerk gesendet. Die personalisierten Komponenten, die historischen Aufzeichnungen und die spezifischen Anpassungen bleiben lokal auf jedem Gerät gespeichert. Das bedeutet, dass das System von den einzigartigen Eigenheiten jedes Geräts lernen kann, ohne das Netzwerk mit zusätzlichen Daten zu verstopfen. Die Forscher maßen den Zeitaufwand und den Datentransfer und fanden heraus, dass die neue Methode effizient ist; sie benötigt etwa 16,84 Sekunden pro Trainingsrunde auf Standardhardware, was mit anderen leichtgewichtigen Methoden vergleichbar, aber weitaus effektiver ist.

Die Studie legt nahe, dass der Schlüssel zu besserem personalisiertem Lernen nicht nur darin liegt, unterschiedliche Modelle für verschiedene Nutzer zu haben, sondern darin, zu verstehen, wie sich diese Modelle im Laufe der Zeit entwickeln. Indem man der Trajektorie Aufmerksamkeit schenkt, wie ein Modell einzelne Datensätze wahrnimmt, kann das System genau dort die richtige Führung anwenden, wo sie benötigt wird. Dieser Ansatz ermöglicht es, dass die kollektive Intelligenz des Netzwerks stabil bleibt und dennoch die einzigartigen Bedürfnisse jedes Teilnehmers berücksichtigt. Die Forscher kommen zu dem Schluss, dass diese Methode einen praktischen Weg bietet, um zuverlässigere und genauere Systeme für datenschutzrelevante Umgebungen zu bauen – von der Gesundheitsvorsorge bis hin zu persönlichen Geräten –, in denen Daten von Natur aus vielfältig sind und die Kosten eines Fehlers hoch sind. Ihre Arbeit zeigt, dass wir, indem wir genauer auf die Geschichte hören, wie ein Modell lernt, ihm helfen können, in der Gegenwart besser zu lernen.