🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

FedTopo adressiert die Herausforderung nicht ausgerichteter Repräsentationsräume in heterogenem föderiertem Lernen, indem es globales Wissen als eine Topologie auf Relationsebene anstatt als absolute Merkmale kodiert, was einen zuverlässigen Wissenstransfer und konsistente Leistungsverbesserungen über diverse Client-Architekturen hinweg ohne Inferenzaufwand ermöglicht.

Ursprüngliche Autoren: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der alle Smartphones, Smartwatches und Haushaltsroboten gemeinsam lernen können, um intelligenter zu werden, ohne jemals Ihre privaten Fotos oder Nachrichten zu teilen. Dies ist der Traum des Federated Learning. Anstatt all Ihre Daten in einer einzigen, verwundbaren Datenbank zu sammeln, findet das Lernen direkt auf Ihrem Gerät statt. Die Geräte senden lediglich winzige „Updates“ darüber, was sie gelernt haben, an einen zentralen Server, der diese zusammenmischt, um ein intelligenteres globales Gehirn zu erschaffen.

Es gibt jedoch einen Haken: Nicht jeder verfügt über die gleiche Hardware. Einige Geräte sind leistungsstarke Supercomputer, während andere winzige, energiesparende Chips sind. In den alten Tagen des maschinellen Lernens mussten alle exakt dieselbe „Gehirnarchitektur“ verwenden, um gemeinsam zu lernen. Wenn Ihr Telefon ein anderes Gehirn hatte als das Ihres Nachbarn, konnten sie die Updates des anderen nicht verstehen. Es ist, als würde man versuchen, ein Buch, das auf Englisch geschrieben wurde, in eine Sprache zu übersetzen, die völlig andere Buchstaben und Grammatikregeln verwendet; die Bedeutung geht bei der Übersetzung verloren. Dieses Paper befasst sich mit der chaotischen Realität dieser unterschiedlichen Geräte, die versuchen, zusammenzuarbeiten.

Das Problem: Der Versuch, Äpfel mit Birnen zu verrechnen

Die Autoren dieses Papers, FedTopo, stellten fest, dass bestehende Methoden, die diesen unterschiedlichen Geräten beim gemeinsamen Lernen helfen sollten, versuchten, ein quadratisches Loch in eine runde Öffnung zu pressen. Die meisten aktuellen Methoden versuchen, „Prototypen“ zu teilen. Stellen Sie sich vor, jedes Gerät macht eine Momentaufnahme davon, wie eine „Katze“ in seinem eigenen Merkmalsraum aussieht, und sendet diese Momentaufnahme an den Server. Der Server versucht dann, all diese Momentaufnahmen zu mitteln, um die „perfekte Katze“ zu finden.

Aber hier liegt der Trugschluss: Da jedes Gerät eine andere Architektur (ein anderes „Gehirn“) hat, sieht das Wort „Katze“ auf einem Telefon vielleicht wie ein verschwommener Fleck aus und auf einem anderen wie eine scharfe geometrische Form. Wenn man versucht, einen verschwommenen Fleck mit einer scharfen Form zu mitteln, erhält man keine bessere Katze, sondern ein verwirrendes Durcheinander, das alle in die Irre führt. Das Paper argumentt, dass der Versuch, diese absoluten Koordinaten (die exakte Position einer „Katze“ in einem mathematischen Raum) abzugleichen, ein aussichtsloser Kampf ist, wenn die Geräte so unterschiedlich sind.

Die Lösung: Die Karte teilen, nicht die Koordinaten

Anstatt zu versuchen, zu vereinbaren, wo eine „Katze“ im Universum sitzt, schlägt FedTopo vor, dass wir einfach nur teilen, wie die Dinge zueinander in Beziehung stehen. Denken Sie an Folgendes:

Stellen Sie sich vor, Sie und ein Freund versuchen beide, eine Stadt zu navigieren, aber Sie haben unterschiedliche Karten. Ihre Karte sagt, die Bibliothek liegt „Nördlich des Parks“, während die Karte Ihres Freundes sagt, sie liegt „Oben am Hügel“. Sie können diese Karten nicht einfach zusammenführen, weil „Nördlich“ und „Oben“ für Sie beide unterschiedliche Dinge bedeuten.

Sie können jedoch über die Beziehungen einig werden. Sie können beide vereinbaren, dass „Die Bibliothek näher am Park liegt als am Flughafen“. Dies ist eine Beziehung, keine Koordinate.

FedTopo funktioniert so, dass jedes Gerät eine „Beziehungskarte“ (eine Topologie) seiner Klassen erstellt. Es sagt nicht: „Klasse A befindet sich an Koordinate (5, 10).“ Stattdessen sagt es: „Klasse A ist sehr ähnlich zu Klasse B, aber sehr verschieden von Klasse C.“ Es berechnet, wie ähnlich eine „Katze“ im Vergleich zu einem „Hund“ oder einem „LKW“ innerhalb seines eigenen lokalen Gehirns ist.

Wie es funktioniert: Der vertrauenswürdige Bote

Der Prozess gleicht ein wenig einer Gruppe von Detektiven, die ein Rätsel mit verschiedenen Notizbüchern lösen:

Lokale Detektivarbeit: Jedes Gerät betrachtet seine eigenen Daten und findet heraus, wie seine Klassen zueinander in Beziehung stehen. „Hey, meine ‚Katzen‘ und ‚Hunde‘ sehen irgendwie ähnlich aus, aber meine ‚Katzen‘ und ‚LKW‘ sind völlig verschieden.“ Es sendet diese Beziehungskarte an den Server.
Der Vertrauensfilter: Der Server weiß, dass einige Geräte vielleicht nur sehr wenige Bilder von „LKW“ haben, sodass ihre Meinung darüber, wie „LKW“ mit „Katzen“ in Beziehung steht, vielleicht unsicher ist. FedTopo verwendet einen speziellen „Zuverlässigkeitswert“, um die Nachrichten zu gewichten. Wenn ein Gerät über viele Daten verfügt, zählt seine Beziehungskarte mehr. Wenn es nur sehr wenige Daten hat, ignoriert der Server seine unsicheren Vermutungen.
Die globale Karte: Der Server kombiniert diese gewichteten Beziehungskarten zu einer einzigen, superzuverlässigen „Globalen Beziehungskarte“.
Die Lektion: Diese globale Karte wird an die Geräte zurückgesendet. Wenn ein Gerät nun lernt, betrachtet es nicht nur das Bild, das es gerade hält, sondern nutzt die globale Karte, um zu sehen, welche anderen Klassen „verwirrend ähnlich“ sind. Es übt dann gezielter an diesen spezifischen, verwirrenden Paaren, um seine Fähigkeiten zu schärfen.

Was sie herausgefunden haben

Die Autoren testeten diese Idee auf drei verschiedenen Datensätzen (CIFAR-10, CIFAR-100 und Tiny-ImageNet) unter Verwendung von acht völlig unterschiedlichen Arten von neuronalen Netzarchitekturen (von einfachen CNNs bis hin zu komplexen ResNets). Sie simulierten eine chaotische Welt, in der die Daten ungleich verteilt waren (einige Geräte hatten nur Katzen, andere nur LKWs).

Die Ergebnisse waren eindeutig: FedTopo schnitt konsistent besser ab als alle anderen Methoden.

Auf dem CIFAR-10-Datensatz erreichte es eine Genauigkeit von 87,38 % in der Standardeinstellung mit ungleicher Verteilung und übertraf damit die nächstbeste Methode um eine deutliche Marge.
In der noch schwierigeren „pathologischen“ Einstellung (in der Geräte nur sehr wenige Klassen besaßen), erreichte es 86,26 % und führte erneut das Feld an.
Es funktionierte ebenso gut auf größeren, schwierigeren Datensätzen wie CIFAR-100 und Tiny-ImageNet.

Entscheidend ist, dass das Paper zeigt, dass diese Methode unglaublich effizient ist. Sie erfordert nicht das Hin- und Hersenden riesiger Modelldateien. Sie sendet nur winzige Beziehungstabellen (nur 110 Parameter zum Hochladen und 200 zum Herunterladen für ein 10-Klassen-Problem). Zudem entstehen keine zusätzlichen Kosten, wenn das Gerät tatsächlich verwendet wird (Inferenz), da die Beziehungskarte nur während der Trainingsphase genutzt wird, um das Gerät beim Lernen zu unterstützen.

Das Fazngende

FedTopo beweist, dass Geräte, die zu unterschiedlich sind, um sich auf die exakten „Koordinaten“ von Wissen zu einigen, dennoch gemeinsam lernen können, indem sie sich auf die „Beziehungen“ zwischen Ideen einigen. Indem es sich darauf konzentriert, wie Klassen zueinander stehen, anstatt wo sie in einem mathematischen Vakuum liegen, und indem es unzuverlässige Vermutungen herausfiltert, ermöglicht diese Methode einer vielfältigen Gruppe von Geräten, eine intelligentere und robustere kollektive Intelligenz aufzubauen, ohne ihre privaten Daten zentralisieren zu müssen. Es ist eine klügere Art, gemeinsam zu lernen, selbst wenn jeder eine etwas andere Sprache spricht.

Technisches Resümee: FedTopo

Problemstellung

Federated Learning (FL) ermöglicht kollaboratives Training über dezentrale Datensilos hinweg, ohne Rohdaten zu zentralisieren. Das Standard-FL setzt jedoch identische Client-Architekturen voraus, was aufgrund variierender Rechenressourcen und Implementierungsbeschränkungen oft unpraktisch ist. Modell-heterogenes FL adressiert dies, indem es Clients erlaubt, unterschiedliche Backbone-Architekturen zu verwenden.

Die zentrale Herausforderung in der modell-heterogenen FL besteht darin, globales Wissen über nicht ausgerichtete Repräsentationsräume hinweg zu transferieren. Bestehende Paradigmen teilen Wissen über:

Partielles Parameter-Sharing: Erfordert ausgerichtete Parameterräume und kompatible Architekturen.
Knowledge Distillation: Erfordert einen gemeinsamen Output-Raum oder Hilfs-Publikumsdaten, um Vorhersagen abzugleichen.
Prototype Sharing: Tauscht klassenweise Prototypen (Merkmalskoordinaten) aus.

Alle drei Paradigmen kodieren Wissen in einem absoluten Raum (Gewichte, Logits oder Merkmalskoordinaten), der zwischen den Clients abgeglichen werden muss. Unter heterogenen Backbones kann dieselbe Merkmalsdimension bei verschiedenen Clients unterschiedliche semantische Faktoren kodieren. Folglich führt das direkte Mitteln von Prototypen oder Parametern zu unzuverlässigem globalem Wissen und führt das lokales Training in die Irre.

Methodik: FedTopo

Die Autoren schlagen FedTopo (Federated Topology-guided Learning) vor, ein Framework, das den Fokus von der Weitergabe absoluter Koordinaten auf die Weitergabe der Relations-basierten Klassentopologie verschiebt. Anstatt zu fragen: „Wo liegt eine Klasse im Merkmalsraum?“, fragt FedTopo: „Wie stehen die Klassen innerhalb des lokalen Raums eines Clients zueinander?“

Das Framework opert in drei Phasen:

1. Konstruktion der Relations-basierten Topologie (Client-Seite)

Jeder Client $k$ trainiert sein lokales heterogenes Modell auf privaten Daten.

Extraktion von Prototypen: Der Client berechnet Klassen-Prototypen $p_{k,c}$ (mittlere Merkmalsrepräsentationen) für die Klassen, die in seinem lokalen Datensatz vorhanden sind.
Konstruktion der Relationsmatrix: Anstatt Prototypen hochzuladen, berechnet der Client eine lokale Relationsmatrix $R_k \in [0, 1]^{C \times C}$ . Der Eintrag $R_k(c, c')$ repräsentiert die Kosinus-Ähnlichkeit zwischen den Prototypen der Klasse $c$ und $c'$ , skaliert auf $[0, 1]$ .
Statistiken: Der Client erfasst die Anzahl der Klassen-Samples $n_k$ , um die statistische Unterstützung für diese Relationen zu quantifizieren.
Upload: Nur die Relationsmatrix $R_k$ und die Statistiken $n_k$ werden hochgeladen. Die rohen Prototypen und Merkmalskoordinaten bleiben lokal.

2. Zuverlässigkeitsbewusste globale Topologie-Aggregation (Server-Seite)

Der Server aggregiert lokale Relationen zu einer globalen Topologie $R_g$ und einer Zuverlässigkeitsmatrix $S_g$ .

Maskierung: Eine binäre Maske $M_k$ schließt Klassenpaare aus, die auf einem spezifischen Client nicht beobachtet wurden.
Zuverlässigkeitsgewichtung: Ein Gewicht $w_k(c, c')$ wird basierend auf dem harmonischen Mittel der Stichprobenanzahlen für die beiden Klassen berechnet. Relationen, die durch wenige Samples gestützt werden, werden geringer gewichtet.
Aggregation: Die globale Relation $\tilde{R}_g$ ist ein zuverlässigkeitsgewichteter Durchschnitt der gültigen lokalen Relationen.
Zuverlässigkeitsmatrix: $S_g$ verfolgt das relative Ausmaß der Evidenz, die jede globale Relationspaarung unterstützt.
Glättung: Ein exponentieller gleitender Durchschnitt (EMA) wird auf $R_g$ angewendet, um Schwankungen von Runde zu Runde zu reduzieren.
Broadcast: Der Server sendet $(R_g, S_g)$ an die Clients.

3. Topologie-gestütztes lokales Training (Client-Seite)

Clients nutzen die globale Topologie, um lokale Entscheidungsgrenzen zu schärfen, ohne die Merkmalsräume abzugleichen.

Guidance Selection: Für ein Trainingssample mit Ground Truth $y$ wählt der Client die Top- $q$ negativen Klassen aus, die topologisch am ähnlichsten zu $y$ (basierend auf $R_g$ ) und am zuverlässigsten gestützt (basierend auf $S_g$ ) sind.
Logit-Modulation: Die Logits dieser ausgewählten negativen Klassen werden um einen Faktor $\gamma$ erhöht.
Loss-Funktion: Der lokale Loss kombiniert den Standard-Cross-Entropy-Loss mit einem Hilfs-Term, der das Modell bestraft, wenn es die Ground Truth nicht von diesen „schwierigen“ negativen Klassen unterscheidet.
Inferenz: Die globale Topologie wird nur während des Trainings verwendet. Zur Inferenzzeit nutzen die Clients ihre ursprünglichen lokalen Modelle, was keinen Inferenz-Overhead verursacht.

Zentrale Beiträge

Relations-basiertes Wissens-Sharing: FedTopo ist das erste Framework, das globales Wissen als Klassen-Relations-Topologie statt als Parameter, Logits oder Prototyp-Koordinaten teilt. Dies lockert die Voraussetzung der Cross-Client-Ausrichtung auf eine Voraussetzung der Intra-Client-Konsistenz.
Zuverlässigkeitsbewusste Aggregation: Die Methode führt einen Mechanismus ein, um unzuverlässige Relationen, die durch spärliche Daten oder schwache Unterstützung entstehen, abzuwerten, wodurch die globale Topologie gegenüber Non-IID-Datenverteilungen robust bleibt.
Topologie-gestütztes Training: Ein neuartiges Trainingsziel, das die globale Topologie nutzt, um verwirrende negative Klassen hervorzuheben und so die lokale Diskriminierung zu verbessern, ohne eine Ausrichtung der Merkmalsräume zu erfordern.
Effizienz: Das Framework erreicht eine State-of-the-Art-Performance bei geringen Kommunikationskosten (skaliert mit $O(C^2)$ statt $O(C \times d)$ ) und keinem Inferenz-Overhead.

Experimentelle Ergebnisse

Die Autoren evaluierten FedTopo auf CIFAR-10, CIFAR-100 und Tiny-ImageNet unter Dirichlet- und pathologischen Non-IID-Settings, unter Verwendung von acht heterogenen Backbones (von CNN bis ResNet-152).

Performance: FedTopo übertraf die Baselines in allen drei Wissens-Sharing-Paradigmen (Parameter, Distillation und Prototyp-Sharing) konsistent.
- Auf CIFAR-10 (Dirichlet $\alpha=0.1$ ) erreichte FedTopo 87,38 % Genauigkeit und übertraf damit die beste Baseline (FedSCE mit 86,18 %) um 1,2 Punkte.
- Auf CIFAR-100 (Pathological) erreichte es 59,30 % und übertraf die beste Baseline (FedMRL mit 57,45 %) um 1,85 Punkte.
Robustheit: Die Performance-Lücke vergrößerte sich mit zunehmender Modell-Heterogenität und Daten-Skew, was zeigt, dass die Relations-basierte Topologie besser transferierbar ist als absolute Koordinaten.
Ablationsstudien: Das Entfernen einer Komponente (Zuverlässigkeitsgewichtung, Top- $q$ Auswahl, Missing-aware Masking oder EMA) verschlechterte die Performance, was die Notwendigkeit des vollständigen Designs bestätigt.
Kosten: FedTopo benötigte pro Runde nur 110 Parameter zum Upload und 200 zum Download auf CIFAR-10, was signifikant niedriger ist als bei Prototyp-basierten Methoden (5.120 Parameter). Es fügte vernachlässigbare Trainings-FLOPs und null Inferenz-FLOPs hinzu.

Bedeutung und Behauptungen

Das Paper behauptet, dass FedTopo eine robustere Lösung für modell-heterogenes FL bietet, indem es die Art des geteilten Wissens grundlegend verändert. Durch die Verschiebung von der Ausrichtung absoluter Koordinaten (die unter heterogenen Backbones scheitert) hin zur relativen Relations-Konsistenz (die über verschiedene Merkmalsräume hinweg erhalten bleibt), ermöglicht die Methode eine effektive Kollaboration, ohne gemeinsame Architekturen, Hilfsdaten oder Merkmalsabgleich zu erfordern.

Die Autoren betonen, dass dieser Ansatz:

Das Problem der „unzuverlässigen globalen Prototypen“ vermeidet, das beim Prototyp-Sharing inhärent ist.
In Data-free-Settings effektiv arbeitet (keine öffentlichen Hilfsdaten erforderlich).
Selbst in hochgradig personalisierten Settings, in denen lokale Modelle bereits stark sind, positiven Transfer liefert.
Geringen Kommunikations- und Rechenaufwand beibehält, was ihn praktisch für ressourcenbeschränkte Edge-Geräte macht.

Die Arbeit kommt zu dem Schluss, dass die Relations-basierte Topologie ein überlegener Träger für globales Wissen in heterogener FL ist und eine Balance zwischen Transferierbarkeit, Robustheit und Effizienz bietet, die bestehende Paradigmen vermissen lassen. Als zukünftige Arbeit wird die Erweiterung auf Multi-Modal- und Open-Set-Szenarien vorgeschlagen.