ProxyFL: A Proxy-Guided Framework for Federated Semi-Supervised Learning

Das Paper stellt ProxyFL vor, einen Proxy-gesteuerten Rahmen für das federierte semi-überwachte Lernen, der sowohl externe als auch interne Datenheterogenität durch die Nutzung lernbarer Klassifikator-Gewichte als Proxy für die Kategorieverteilung effektiv adressiert.

Das Wesentliche

ProxyFL: Ein neuer Weg, um KI-Modelle gemeinsam zu lernen, ohne Daten preiszugeben

Stell dir vor, du hast eine Gruppe von Freunden, die alle ein kleines Rätsel lösen sollen. Jeder hat ein paar fertige Lösungen (beschriftete Daten) und viele ungelöste Rätsel (unbeschriftete Daten). Das Ziel ist es, gemeinsam eine superkluge Anleitung zu erstellen, die für alle funktioniert. Aber es gibt zwei große Probleme:

1. Das "Außen"-Problem: Jeder Freund hat Rätsel aus einem ganz anderen Bereich. Der eine kennt sich mit Tieren aus, der andere mit Autos. Wenn sie ihre Antworten einfach nur mitteln, entsteht ein durcheinandergeratener Mix, der für niemanden richtig passt.
2. Das "Innen"-Problem: Jeder Freund ist unsicher bei den ungelösten Rätseln. Um Fehler zu vermeiden, werfen sie die unsicheren Rätsel einfach weg. Das ist schade, denn darin stecken oft noch gute Informationen.

Die Forscher aus diesem Papier haben eine clevere Lösung namens ProxyFL erfunden. Hier ist die Erklärung mit einfachen Bildern:

1. Der "Proxy": Ein flexibler Kompass statt starrer Regeln

Statt dass die Server-Software einfach nur die Antworten der Freunde mittelt (was oft zu Fehlern führt), nutzt ProxyFL einen lernbaren "Proxy".

• Die Analogie: Stell dir vor, jeder Freund hat nicht nur eine Antwortliste, sondern auch einen Kompass, der zeigt, wo die verschiedenen Kategorien (z. B. "Hund", "Katze", "Auto") liegen.
• Das Problem: Wenn die Freunde ihre Kompass-Nadeln einfach mitteln, zeigt die neue Nadel vielleicht in eine Richtung, wo gar keine Kategorie existiert (weil ein Freund extreme Werte hatte).
• Die Lösung (Global Proxy Tuning): Der Server nimmt alle Kompass-Nadeln, ignoriert die verrückten Ausreißer und berechnet eine neue, perfekte Kompass-Nadel, die wirklich die Mitte aller Gruppen trifft. Diese wird dann an alle zurückgeschickt. So lernen alle, die Welt aus der gleichen Perspektive zu sehen, ohne dass jemand seine privaten Daten (die eigentlichen Rätsel) teilen muss.

2. Die "Zögernden": Unsichere Rätsel retten statt wegwerfen

Normalerweise werfen KI-Modelle unsichere Daten weg, weil sie Angst vor falschen Vermutungen haben. ProxyFL macht das anders.

• Die Analogie: Stell dir vor, ein Freund sieht ein Tier und ist sich nicht sicher: "Ist das ein Hamster oder eine Maus?"
  • Der alte Weg: "Ich bin mir nicht sicher, ich werfe das Bild weg." (Verlust von Informationen).
  • Der neue Weg (Indecisive-Categories Proxy Learning): Der Freund sagt: "Okay, ich bin mir nicht sicher, aber es könnte ein Hamster oder eine Maus sein."
• Der "Positiv-Negativ-Pool": Anstatt das Bild zu verwerfen, wird es in eine Art Wettbewerbs-Arena geschickt.
  • Das Bild wird mit dem "Hamster-Proxy" und dem "Maus-Proxy" verglichen.
  • Es wird gelehrt, sich von anderen Tieren (z. B. Eichen oder Kiefern) fernzuhalten, aber sich den beiden verdächtigen Kategorien anzunähern.
  • So lernt das Modell auch aus den unsicheren Fällen, ohne dass es durch eine falsche Festlegung (z. B. "Das ist definitiv ein Hamster") verwirrt wird.

Warum ist das so genial?

1. Privatsphäre bleibt gewahrt: Niemand muss seine Fotos oder Texte hochladen. Nur die kleinen "Kompass-Nadeln" (die Gewichte des Modells) werden ausgetauscht. Das ist sicher und schnell.
2. Kein Datenverschwendung: Durch die Methode mit den "zögernden Kategorien" werden keine Daten mehr weggeworfen. Das Modell lernt aus allem, was vorhanden ist.
3. Robustheit: Selbst wenn die Daten der Freunde sehr unterschiedlich sind (z. B. einer hat nur Bilder von Wüsten, der andere von Eisbergen), findet ProxyFL einen gemeinsamen Nenner, der für alle funktioniert.

Zusammenfassend:
ProxyFL ist wie ein kluger Moderator in einer Gruppe, der nicht nur die Durchschnittsmeinung nimmt, sondern sicherstellt, dass jeder die Welt richtig versteht (durch den globalen Kompass) und dass niemand aus Angst vor Fehlern schweigt, sondern auch die unsicheren Meinungen konstruktiv einbringt (durch die zögernden Kategorien). Das Ergebnis ist ein viel smarteres, schnelleres und genaueres KI-Modell für alle.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderungen des Federated Semi-Supervised Learning (FSSL). FSSL zielt darauf ab, ein globales Modell über mehrere Clients hinweg zu trainieren, indem sowohl lokal verfügbare, teilweise annotierte Daten als auch eine große Menge ungelabelter Daten genutzt werden, wobei die Datenschutzprivatsphäre gewahrt bleibt.

Das zentrale Problem ist die Daten-Heterogenität, die in zwei Formen auftritt:

• Externe Heterogenität: Die Datenverteilung unterscheidet sich stark zwischen den verschiedenen Clients (Non-I.I.D.-Situation).
• Interne Heterogenität: Innerhalb eines einzelnen Clients besteht eine Diskrepanz zwischen den gelabelten und den ungelabelten Daten (z. B. durch unausgewogene Klassenverteilungen oder unterschiedliche Verteilungen der beiden Datentypen).

Bestehende Ansätze und deren Limitierungen:

• Zur Bewältigung der externen Heterogenität nutzen viele Methoden dynamische Aggregationsgewichte basierend auf der Client-Datenmenge. Dies führt jedoch oft zu einer ungenauen Anpassung an die ideale globale Verteilung, da direkte Gewichtsmittelungen anfällig für Ausreißer sind.
• Zur Bewältigung der internen Heterogenität filtern Methoden oft ungelabelte Daten mit niedriger Konfidenz (Pseudo-Labels) heraus, um Fehler zu vermeiden. Dies führt jedoch dazu, dass ein Großteil der verfügbaren Daten nicht am Training teilnimmt, was die Leistung einschränkt.

2. Methodik: ProxyFL

Die Autoren schlagen ProxyFL vor, ein Framework, das einen einheitlichen Proxy-Ansatz nutzt, um sowohl externe als auch interne Heterogenität gleichzeitig zu mildern. Als Proxy dienen die lernbaren Gewichte des Klassifikators (die FC-Schicht des Modells), die die Kategorieverteilung modellieren. Da diese Gewichte ohnehin Teil der Modellparameter sind, entstehen keine zusätzlichen Kommunikationskosten oder Datenschutzrisiken.

Das Framework besteht aus zwei Hauptkomponenten:

A. Global Proxy Tuning (GPT) – Für externe Heterogenität

Anstatt die lokalen Klassifikatorgewichte einfach zu mitteln (was durch Ausreißer verzerrt wird), führt der Server einen expliziten Optimierungsschritt durch:

• Der Server initialisiert globale Proxy-Vektoren $\Omega_G$ basierend auf den empfangenen lokalen Gewichten.
• Diese werden durch eine spezielle Verlustfunktion feinabgestimmt (Fine-Tuning). Das Ziel ist es, die globalen Proxys für jede Klasse näher an die lokalen Proxys dieser Klasse heranzuführen und von Proxys anderer Klassen wegzudrücken.
• Dies ermöglicht eine robuste Anpassung an die globale Kategorieverteilung, ohne durch Ausreißer einzelner Clients verzerrt zu werden.

B. Indecisive-Categories Proxy Learning (ICPL) – Für interne Heterogenität

Statt ungelabelte Daten mit niedriger Konfidenz zu verwerfen, integriert ICPL diese durch einen dynamischen Mechanismus:

• Kategorie-Set-Konstruktion: Für hochkonfidente ungelabelte Daten wird ein einzelnes Pseudo-Label verwendet. Für niedrig-konfidente Daten wird jedoch kein einzelnes Label zugewiesen. Stattdessen wird ein Set von „zögerlichen Kategorien" (Indecisive-Categories Set) gebildet. Dies sind alle Klassen, deren Vorhersagewahrscheinlichkeit einen dynamischen Schwellenwert (basierend auf einer globalen Prior-Verteilung $P'_G(Y)$) überschreitet.
• Positive-Negative Proxy Pool: Es wird ein Kontrast-Lern-Ansatz (Contrastive Learning) verwendet.
  • Positive Proxys: Für hochkonfidente Daten ist der Proxy das Gewicht der vorhergesagten Klasse. Für niedrig-konfidente Daten ist der Proxy eine gewichtete Summe der Gewichte aller Klassen im „zögerlichen Set".
  • Negative Proxys: Alle anderen Samples, deren Kategorie-Sets keine Überschneidung mit dem aktuellen Sample haben, dienen als Negativbeispiele.
• Dieser Ansatz erlaubt es, auch unsichere Daten für das Training zu nutzen, ohne die Gefahr von falschen Pseudo-Labels zu erhöhen, da das Modell lernt, innerhalb eines korrekten Bereichs von Klassen zu bleiben.

3. Hauptbeiträge

1. Einheitlicher Proxy-Ansatz: Zum ersten Mal wird ein einheitlicher Proxy (die Klassifikatorgewichte) vorgeschlagen, der sowohl die externe als auch die interne Heterogenität in FSSL adressiert, ohne Datenschutz zu verletzen oder Overhead zu verursachen.
2. Robuste Aggregation (GPT): Einführung einer expliziten Optimierungszielsetzung für globale Proxys, die die Verzerrung durch einfache Mittelwertbildung (Averaging) und Ausreißer vermeidet.
3. Effektive Datennutzung (ICPL): Entwicklung eines Mechanismus, der niedrig-konfidente ungelabelte Daten durch „zögerliche Kategorie-Sets" und einen Positive-Negative-Pool effektiv einbindet, anstatt sie zu verwerfen.
4. Überlegene Performance: Das Framework übertrifft bestehende State-of-the-Art-Methoden in umfangreichen Experimenten.

4. Ergebnisse

Die Autoren führten Experimente auf den Datensätzen CIFAR-10, CIFAR-100, SVHN und CINIC-10 durch, wobei nur 10% der Daten gelabelt waren und verschiedene Grade an Heterogenität ($\alpha = 0.1, 0.5, 1$) simuliert wurden.

• Leistungssteigerung: ProxyFL erzielte auf allen Datensätzen und bei allen Heterogenitätsgraden die besten Ergebnisse. Auf CIFAR-100 und SVHN übertraf es die zweitbeste Methode (SAGE) signifikant (z. B. +3,32% auf CIFAR-100 bei $\alpha=0.1$).
• Konvergenz: Die Methode konvergiert deutlich schneller als bestehende Ansätze. Auf CIFAR-100 benötigte ProxyFL nur 45 Runden, um 30% Genauigkeit zu erreichen, verglichen mit 119 Runden für den Baseline-Ansatz (FedAvg+FixMatch-LPL).
• Vergleich mit vollüberwachtem FL: In einigen Szenarien (z. B. SVHN bei starker Heterogenität) erreichte ProxyFL eine Leistung, die der eines idealen, vollüberwachten Federated Learning (FedAvg-SL) nahekommt.
• Ablationsstudien: Die Studien bestätigten, dass sowohl das GPT-Modul (für externe Heterogenität) als auch das ICPL-Modul (für interne Heterogenität) essenziell für den Erfolg sind. Der Ansatz mit „zögerlichen Sets" erwies sich als überlegen gegenüber dem direkten Zuweisen von Pseudo-Labels oder dem Verwerfen von Daten.

5. Bedeutung und Fazit

ProxyFL stellt einen Paradigmenwechsel in der FSSL-Forschung dar. Anstatt sich auf das Filtern von Daten oder das einfache Mitteln von Gewichten zu verlassen, nutzt das Framework die Struktur des Modells selbst (die Klassifikatorgewichte), um die Verteilung der Daten zu modellieren.

Die Bedeutung liegt in der Effizienz und Robustheit:

• Es ermöglicht die Nutzung von allen verfügbaren Daten (auch unsicheren), was in ressourcenbeschränkten Umgebungen (Edge Computing) entscheidend ist.
• Es löst das Problem der Datenheterogenität ohne zusätzliche Kommunikationskosten oder Privatsphärenrisiken.
• Die Methode bietet eine theoretisch fundierte und empirisch bewiesene Lösung für die Skalierbarkeit von Federated Learning in realen Szenarien mit wenig gelabelten Daten und ungleichen Datenverteilungen.