Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

Problemstellung

Unsupervised Multi-Source Domain Adaptation (UMDA) zielt darauf ab, ein Modell zu erlernen, das auf ein ungelabeltes Ziel-Domain verallgemeinert, indem es gelabelte Daten aus mehreren Quell-Domains nutzt. Während Federated Learning eine datenschutzkonforme Lösung bietet, indem die Weitergabe roher Daten vermieden wird, kämpfen bestehende federierte UMDA-Methoden mit Skalierbarkeit. Aktuelle Ansätze sind typischerweise für Szenarien mit kleinem Umfang (2–6 Quellen) konzipiert und leiden unter hohem Rechenaufwand oder Trainingsinstabilität, wenn die Anzahl heterogener Quell-Domains steigt. Insbesondere werden Methoden, die auf paarweiser Ausrichtung basieren, rechnerisch prohibitiv ($O(N^2)$), während solche, die zufällige paarweise Stichproben verwenden (z. B. FACT), eine hohe Varianz einführen und in Umgebungen mit hoher Diversität nicht konvergieren.

Methodik: Das GALA-Framework

Die Autoren schlagen GALA (Grouping-based Adaptive Learning) vor, ein federiertes UMDA-Framework, das darauf ausgelegt ist, mit der Heterogenität verschiedener Quell-Domains skalierbar zu sein. GALA arbeitet durch zwei primäre Mechanismen:

1. Minimierung der Inter-Group Discrepancy (IGD)
Um die quadratische Komplexität der vollständigen paarweisen Ausrichtung zu adressieren, führt GALA ein Diskrepanz-Ziel auf Gruppenebene ein.

• Mechanismus: In jeder Trainingsrunde werden die $N$ Quell-Prädiktoren zufällig in zwei disjunkte Gruppen, $G_1$ und $G_2$, partitioniert.
• Aggregation: Für jede Gruppe werden gewichtete Durchschnittsprädiktoren gebildet ($F_{G_1}$ und $F_{G_2}$).
• Ziel: Das Modell minimiert die $\ell_1$-Divergenz zwischen diesen beiden Gruppenprädiktoren auf den ungelabelten Ziel-Daten:
  $$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$$
• Theoretischer Vorteil: Im Gegensatz zu zufälliger paarweiser Stichprobenziehung (die eine hohe Varianz aufweist) oder vollständiger paarweiser Berechnung (die teuer ist), mittelt IGD viele paarweise Differenzen, bevor die Norm gebildet wird. Dies ergibt eine varianzarme, linear-komplexe Approximation des globalen Ausrichtungsziels. Obwohl es eine kleine Verzerrung einführt, führt die Varianzreduktion zu einem stabileren Training.

2. Temperatur-skalierte, zentroidbasierte Gewichtung (MDMGB+)
Um negative Übertragung von irrelevanten oder verrauschten Quellen zu verhindern, schätzt GALA dynamisch die Relevanz jeder Quelle für das Ziel.

• Zentroid-Ähnlichkeit: Clients berechnen weiche klassenweise Zentroide im Merkmalsraum. Der Server berechnet die Kosinus-Ähnlichkeit zwischen Quellzentroiden und dem Ziel-Zentroid.
• Temperatur-Skalierung: Die Autoren führen eine modifizierte Version des MDMGB-Algorithmus ein, genannt MDMGB+. Sie wendet eine Softmax-Funktion mit einem einstellbaren Temperaturparameter $\tau$ auf die Ähnlichkeitswerte an:
  $$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$$
• Funktion: Die Temperatur $\tau$ steuert die Selektivität. Höhere Werte verstärken kleine Unterschiede in der Ähnlichkeit, weisen Quellen, die besser mit dem Ziel ausgerichtet sind, ein größeres Gewicht zu und unterdrücken irrelevante. Diese Gewichte werden verwendet, um die Gruppenprädiktoren im IGD-Schritt zu bilden.

Algorithmus-Ablauf:
Der Prozess umfasst iterative Runden, in denen der Server das globale Modell broadcastet, Clients Zentroide berechnen und Modelle lokal aktualisieren, der Server Merkmalsextraktoren unter Verwendung von Relevanzgewichten aggregiert und schließlich das Ziel-Domain den Merkmalsextraktor aktualisiert, indem es den IGD-Verlust zwischen den beiden Gruppenprädiktoren minimiert.

Hauptbeiträge

1. Skalierbarkeitsanalyse: Die Autoren identifizieren, dass bestehende verteilte UMDA-Methoden nicht konvergieren oder rechnerisch unfeasibel werden, wenn die Anzahl heterogener Quellen wächst, eine Lücke, die in der aktuellen Literatur weitgehend unbehandelt bleibt.
2. Inter-Group Discrepancy (IGD): Ein neuartiges Ziel, das die vollständige paarweise Divergenz zu linearen Kosten mit geringer Varianz approximiert und eine robuste Ausrichtung in großskaligen Umgebungen ermöglicht.
3. GALA-Algorithmus: Ein skalierbares federiertes UMDA-Framework, das IGD mit einem temperatur-skalierten, zentroidbasierten Gewichtungsschema kombiniert, um zielrelevante Quellen zu priorisieren und negative Übertragung zu mindern.
4. Digit-18-Benchmark: Die Einführung eines neuen Benchmarks, der aus 18 diversen Zifferndatensätzen besteht (die synthetische und reale Verschiebungen umfassen), um Skalierbarkeit und Quell-Heterogenität rigoros zu testen und die Knappheit großskaliger UMDA-Benchmarks zu adressieren.

Experimentelle Ergebnisse

Das Papier bewertet GALA auf Standard-Benchmarks (Digit-Five, Office-Caltech10) und dem neuen Digit-18-Benchmark.

• Standard-Benchmarks: GALA erzielt State-of-the-Art (SOTA) oder nahe-SOTA-Leistung auf Digit-Five und Office-Caltech10 und entspricht oder übertrifft Methoden wie FACT und KD3A.
• Skalierbarkeit (Digit-18): In Umgebungen mit hoher Diversität (bis zu 18 Quellen) zeigen bestehende Methoden eine signifikante Verschlechterung:
  • FACT: Wird instabil mit hoher Varianz und konvergiert bei anspruchsvollen Zielen nicht, wenn die Quellenanzahl steigt.
  • KD3A: Leidet unter exponentiellem Laufzeitwachstum aufgrund sequenzieller Konsensschritte und wird jenseits von 9 Quellen rechnerisch unfeasibel.
  • GALA: Behält stabile Genauigkeit und Konvergenz bei. Im Setting mit 18 Quellen erzielt GALA einen durchschnittlichen Gewinn von 5,3 % gegenüber FACT und übertrifft alle Baselines auf jedem Ziel-Domain.
• Ablationsstudien: Die Ergebnisse bestätigen, dass sowohl das IGD-Ziel als auch die MDMGB+-Gewichtung kritisch sind. IGD allein konvergiert bei schwierigen Zielen ohne Gewichtung nicht, während Gewichtung allein ohne gruppenweise Ausrichtung unzureichend ist.
• Effizienz: Obwohl GALA aufgrund der gruppenweisen Ausrichtung leicht höhere Kosten pro Runde als FACT hat, vermeidet es die exponentielle rechnerische Explosion von KD3A und behält eine lineare Skalierbarkeit bei.

Bedeutung und Behauptungen

Das Papier beansprucht, das erste zu sein, das Skalierbarkeit in verteilter UMDA hinsichtlich der Anzahl heterogener Quell-Domains explizit adressiert. Die Bedeutung von GALA liegt in seiner Fähigkeit, stabiles, parallelisierbares Training über viele diverse Quellen hinweg zu ermöglichen, wo aktuelle Methoden entweder nicht konvergieren oder rechnerisch unfeasibel sind. Durch die Kombination von gruppenweiser Diskrepanzminimierung mit dynamischer Quell-Priorisierung etabliert GALA einen neuen State-of-the-Art für großskalige, hochdiverse Multi-Source-Domain-Adaptation, insbesondere in datenschutzsensiblen federierten Settings. Die Autoren stellen fest, dass die Methode zwar höhere Kommunikationskosten pro Runde als selektive Methoden verursacht, aber einen zentralisierten Workflow bietet, ohne dass das Ziel alle Quellmodelle empfangen muss, und zukünftige Arbeiten könnten sich auf die Reduzierung der Teilnahmehäufigkeit der Quellen konzentrieren.