HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

Stellen Sie sich vor, Sie versuchen, eine riesige Klasse von Schülern zu unterrichten, die alle in verschiedenen Räumen sitzen, unterschiedliche Lehrbücher verwenden und in unterschiedlichem Tempo lernen. Dies ist die Welt des Federated Continual Learning (FCL). Das Ziel ist es, ein intelligentes „Superlehrer“-Modell zu trainieren, das von all diesen Schülern lernt, ohne jemals deren private Notizbücher zu sehen. Aber der Haken dabei ist: Die Lektionen der Schüler ändern sich im Laufe der Zeit. An einem Tag lernen sie über Katzen, am nächsten über Hunde und am darauffolgenden über Raketen. Der Lehrer muss sich an die Katzen erinnern, während er die Raketen lernt, und das alles, während die Schüler über den gesamten Globus verstreut sind.

Lange Zeit versuchten Wissenschaftler, die diese „Superlehrer“ testen wollten, ein Spiel von „Äpfeln mit Birnen zu vergleichen“. Ein Forscher testete vielleicht auf einem Datensatz von 100 Bildern, ein anderer auf 1.000; einer hatte vielleicht alle Schüler, die im gleichen Ablauf lernten, während ein anderer sie im Chaos lernen ließ. Es war unmöglich zu sagen, ob eine Methode tatsächlich klug war oder nur Glück hatte, weil der Test einfacher war.

Hier kommt HERO (Heterogeneity-Aware Benchmark Library for Federated Continual Learning). Betrachten Sie HERO als einen riesigen, perfekt kalibrierten Hindernisparcours, den jeder Superlehrer durchlaufen muss. Anstatt Forscher ihre eigenen chaotischen Strecken bauen zu lassen, baut HERO die Strecke für sie und stellt sicher, dass alle vor exakt denselben Hürden stehen.

Die drei magischen Regler

Die wichtigste Entdeckung des Papers ist, dass frühere Tests drei verschiedene Arten von Problemen in ein einziges großes Durcheinander gemischt haben. HERO trennt diese in drei distinkte „Regler“ auf, an denen man drehen kann, um genau zu sehen, was ein Modell scheitern lässt:

1. Der „Wer bekommt was“-Regler (Client Data Skew): Stellen Sie sich eine Pizza-Party vor. Wenn jeder ein gleich großes Stück von jedem Belag bekommt, ist das einfach. Aber was ist, wenn ein Schüler nur Salami bekommt, ein anderer nur Pilze und ein dritter eine seltsame Mischung? Dies ist der Client Data Skew (Datenschiefe bei den Clients). Das Paper verwendet eine Zahl namens $\alpha$, um dies zu steuern. Ein hohes $\alpha$ (wie 100,00) bedeutet, dass jeder einen fairen Anteil erhält. Ein niedriges $\alpha$ (wie 0,10) bedeutet, dass die Stücke extrem ungleich verteilt sind.
2. Der „Wer wann geht“-Regler (Task-Order Mismatch): Stellen Sie sich ein Staffettenrennen vor. In einem synchronisierten Rennen läuft jeder Etappe 1, dann Etappe 2, dann Etappe 3 gemeinsam. Aber in einem chaotischen Rennen läuft Schüler A Etappe 1, dann Etappe 3, dann Etappe 2, während Schüler B Etappe 2, dann Etappe 1, dann Etappe 3 läuft. Dies ist der Task-Order Mismatch (Aufgaben-Reihenfolge-Fehlanpassung). Das Paper verwendet eine Zahl namens $\rho$, um dies zu steuern. Wenn $\rho$ 0,00 ist, laufen alle im perfekten Gleichschritt. Wenn $\rho$ 1,00 ist, läuft jeder in seinem eigenen chaotischen Rhythmus.
3. Der „Was steht auf dem Speiseplan“-Regler (Task Split): Dieser entscheidet, welche Themen (wie „Katzen“ oder „Hunde“) aus welcher Lektion bestehen.

Durch diese Trennung ermöglicht HERO es Forschern zu fragen: „Scheitert dieses Modell, weil die Daten ungleich verteilt sind, oder weil die Schüler über die Reihenfolge der Lektionen verwirrt sind?“

Die große Überraschung: Durchschnittswerte lügen

Das Paper führte ein massives Experiment mit CIFAR-100 (einem Datensatz mit 100 Bildkategorien) und TinyImageNet (einem kleineren Datensatz mit 100 Bildkategorien) durch. Sie testeten viele verschiedene „Superlehrer“-Methoden.

Hier ist die große Enthüllung: Durchschnittswerte können eine Katastrophe verbergen.

In der „einfachen“ Einstellung (wo die Daten fair verteilt sind und alle in der richtigen Reihenfolge lernen) war eine Methode namens FedCBDR der Star. Sie hatte die höchste durchschnittliche Genauigkeit. Doch sobald die Forscher das Chaos erhöhten (indem sie die Daten ungleichmäßig verteilten und die Reihenfolgen mischten), begann FedCBDR zu bröckeln.

Unterdessen waren andere Methoden wie TagFed und LGA in der einfachen Einstellung zwar nicht die besten, aber sie waren die robustesten Überlebenden in der schwierigen Einstellung. Sie verhinderten, dass die „untersten 10 %“ der Schüler (diejenigen mit den schwierigsten Daten und den seltsamsten Zeitplänen) völlig versagten.

Das Paper misst dies mit drei spezifischen Werten:

• Final Average Accuracy (AFA): Der Klassendurchschnitt.
• Average Forgetting (AF): Wie viel der Lehrer über alte Lektionen vergessen hat.
• Bottom-10% Client Accuracy (B10): Wie gut die schlechtestgestellten Schüler abschnitten.

Die Ergebnisse zeigten, dass eine Methode eine hohe AFA haben kann, aber eine schreckliche B10. Es ist wie eine Schule, in der die Top-Schüler Bestnoten bekommen, aber die untersten 10 % den Kurs nicht bestehen. Wenn man nur auf den Durchschnitt schaut, würde man denken, die Schule sei großartig. HERO zwingt einen dazu, auf die unteren 10 % zu schauen, um die Wahrheit zu sehen.

Das Grafik-Experiment: Nicht nur Bilder

Um zu beweisen, dass HERO nicht nur für Bilder geeignet ist, testeten die Autoren es auf OGB-MolPCBA, einem Datensatz über Moleküle (chemische Strukturen). Anstatt neue Arten von Molekülen zu lernen, musste das Modell von verschiedenen Gruppen von Molekülen lernen, die unterschiedlich aussahen (wie verschiedene Gerüste/Scaffolds).

Sie testeten dies, indem sie die Moleküle in 5, 15 oder 25 Domänen gruppierten. Als sie die Gruppen kleiner und spezifischer machten (indem sie die Anzahl der Domänen erhöhten), wurden die Modelle schlechter. Die „Average Precision“ (AP) sank und das „Vergessen“ nahm zu. Dies bewies, dass die Schnittstelle von HERO auch für Graphen und Chemikalien funktioniert, nicht nur für Bilder.

Was das Paper ausschließt

Das Paper argumentiert explizit gegen die Idee, dass man diese Modelle mit einem einzigen „Leaderboard“-Score bewerten kann. Es zeigt, dass eine Methode, die in einem einfachen, synchronisierten Test gewinnt, in der realen, chaotischen Welt kläglich scheitern kann. Es schließt auch die Idee aus, dass „Durchschnittsleistung“ ausreicht; man muss die Leistung der schwächsten Clients prüfen, um zu wissen, ob eine Methode wirklich robust ist.

Wie sicher sind wir?

Die Autoren sind sich ihrer Ergebnisse sehr sicher, weil sie nicht nur geraten, sondern sie gemessen haben. Sie führten ihre Experimente fünfmal mit verschiedenen Zufallswerten (Random Seeds) durch, um sicherzustellen, dass die Ergebnisse nicht bloß Glück waren. Sie berichteten Zahlen wie 53,91 ± 1,53 für die Genauigkeit auf CIFAR-100 in der einfachen Einstellung, was genau zeigt, wie stark die Ergebnisse variierten.

Sie fanden heraus, dass in der „Joint-Hard“-Einstellung (wo $\alpha = 0,10$ und $\rho = 1,00$ ist) die beste Methode (TagFed) eine AFA von 42,83 auf CIFAR-100 erreichte, während der Gewinner der einfachen Einstellung (FedCBDR) auf 39,74 abfiel. Das sind gemessene Fakten, keine bloßen Vermutungen.

Das Fazit

HERO ist wie eine neue Art von Fitnessstudio für KI-Modelle. Anstatt sie auf einer flachen, leeren Bahn laufen zu lassen, auf der alle schnell aussehen, setzt HERO sie auf eine Strecke mit Hügeln, Wind und unebenem Untergrund. Es zeigt uns, dass das Modell, das auf einer flachen Bahn am schnellsten aussieht, dasjenige sein kann, das im Schlamm stolpert. Durch die Trennung von „Wer bekommt was“ und „Wer wann geht“, hilft uns HERO, eine KI zu bauen, die wirklich bereit für die chaotische, unvorhersehbare reale Welt ist.