Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

Probleemstelling

Ongecontroleerde Multi-Source Domain Adaptation (UMDA) heeft als doel een model te leren dat generaliseert naar een niet-gelabeld doomeinde door gebruik te maken van gelabelde data uit meerdere brondomeinen. Hoewel federated learning een privacybehoudende oplossing biedt door het delen van ruwe data te vermijden, kampen bestaande federale UMDA-methode met schaalbaarheid. Huidige benaderingen zijn doorgaans ontworpen voor scenario's op kleine schaal (2–6 bronnen) en lijden onder hoge rekenkundige overhead of trainingsinstabiliteit wanneer het aantal heterogene brondomeinen toeneemt. Specifiek worden methoden die vertrouwen op paarwijze uitlijning computationeel onhaalbaar ($O(N^2)$), terwijl die welke gebruikmaken van willekeurige paarwijze steekproeven (bijv. FACT) hoge variantie introduceren en falen in convergentie in omgevingen met hoge diversiteit.

Methodologie: Het GALA-kader

De auteurs stellen GALA (Grouping-based Adaptive Learning) voor, een federale UMDA-kader dat is ontworpen om te schalen met de heterogeniteit van diverse brondomeinen. GALA werkt via twee primaire mechanismen:

1. Minimalisatie van Inter-Group Discrepancy (IGD)
Om de kwadratische complexiteit van volledige paarwijze uitlijning aan te pakken, introduceert GALA een discrepantie-objecitief op groepsniveau.

• Mechanisme: Tijdens elke trainingsronde worden de $N$ bronpredictors willekeurig gepartitioneerd in twee disjuncte groepen, $G_1$ en $G_2$.
• Aggregatie: Er worden gewogen gemiddelde predictors gevormd voor elke groep ($F_{G_1}$ en $F_{G_2}$).
• Doel: Het model minimaliseert de $\ell_1$-discordantie tussen deze twee groepspredictors op de niet-gelabelde doeldata:
  $$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$$
• Theoretisch Voordeel: In tegenstelling tot willekeurige paarwijze steekproeven (die hoge variantie hebben) of volledige paarwijze berekening (die duur is), middelt IGD veel paarwijze verschillen voordat de norm wordt genomen. Dit resulteert in een variantie-arme, lineaire-complexiteit benadering van het globale uitlijningsdoel. Hoewel dit een kleine bias introduceert, leidt de reductie in variantie tot stabielere training.

2. Temperatuur-geschaalde Centroid-gebaseerde Weging (MDMGB+)
Om negatieve overdracht van irrelevante of ruisbronnen te voorkomen, schat GALA dynamisch de relevantie van elke bron voor het doel.

• Centroid-ähnlichkeit: Clients berekenen zachte klassenspecifieke centroiden in de kenmerkruimte. De server berekent de cosinus-ähnlichkeit tussen bronceitroïden en de doelcentroïde.
• Temperatuur-schaling: De auteurs introduceren een gewijzigde versie van het MDMGB-algoritme, genaamd MDMGB+. Dit past een softmax-functie toe met een instelbare temperatuurparameter $\tau$ op de similariteitsscores:
  $$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$$
• Functie: De temperatuur $\tau$ controleert de selectiviteit. Hogere waarden versterken kleine verschillen in similariteit, waardoor bronnen die beter uitgelijnd zijn met het doel een groter gewicht krijgen en irrelevante bronnen worden onderdrukt. Deze gewichten worden gebruikt om de groepspredictors in de IGD-stap te vormen.

Algoritme Flow:
Het proces omvat iteratieve rondes waarbij de server het globale model uitzendt, clients centroiden berekenen en modellen lokaal updaten, de server kenmerkextractoren aggregeert met behulp van relevantiegewichten, en tot slot het doomeinde de kenmerkextractor bijwerkt door de IGD-verlies tussen de twee groepspredictors te minimaliseren.

Belangrijkste Bijdragen

1. Schaalbaarheidsanalyse: De auteurs identificeren dat bestaande gedistribueerde UMDA-methoden falen in convergentie of computationeel onhaalbaar worden naarmate het aantal heterogene bronnen groeit, een gat dat grotendeels onopgelost blijft in de huidige literatuur.
2. Inter-Group Discrepancy (IGD): Een nieuw doel dat volledige paarwijze discordantie benadert tegen lineaire kosten met lage variantie, waardoor robuuste uitlijning in scenario's op grote schaal mogelijk wordt.
3. GALA-algoritme: Een schaalbaar federale UMDA-kader dat IGD combineert met een temperatuur-geschaald, centroid-gebaseerd wegingsschema om bronnen die relevant zijn voor het doel te prioriteren en negatieve overdracht te mitigeren.
4. Digit-18 Benchmark: De introductie van een nieuwe benchmark bestaande uit 18 diverse cijferdatasets (die synthetische en real-world verschuivingen omvatten) om schaalbaarheid en bronheterogeniteit rigoureus te testen, waarmee de schaarste aan UMDA-benchmarks op grote schaal wordt aangepakt.

Experimentele Resultaten

Het artikel evalueert GALA op standaard benchmarks (Digit-Five, Office-Caltech10) en de nieuwe Digit-18-benchmark.

• Standaard Benchmarks: GALA bereikt state-of-the-art (SOTA) of bijna-SOTA prestaties op Digit-Five en Office-Caltech10, en komt overeen met of overtreft methoden zoals FACT en KD3A.
• Schaalbaarheid (Digit-18): In omgevingen met hoge diversiteit (tot 18 bronnen) tonen bestaande methoden significante degradatie:
  • FACT: Wordt instabiel met hoge variantie en faalt in convergentie op uitdagende doelen naarmate het aantal bronnen toeneemt.
  • KD3A: Lijdt onder exponentiële groei van de runtime door sequentiële consensusstappen, en wordt computationeel onhaalbaar boven 9 bronnen.
  • GALA: Behoudt stabiele nauwkeurigheid en convergentie. In de 18-bronsetting bereikt GALA een gemiddelde winst van 5,3% ten opzichte van FACT en presteert het beter dan alle baselines op elk doomeinde.
• Ablatiestudies: Resultaten bevestigen dat zowel het IGD-doel als de MDMGB+-weging kritiek zijn. IGD alleen faalt in convergentie op moeilijke doelen zonder de weging, terwijl weging alleen onvoldoende is zonder de uitlijning op groepsniveau.
• Efficiëntie: Hoewel GALA een iets hogere kosten per ronde heeft dan FACT vanwege groepsuitlijning, vermijdt het de exponentiële computerexplosie van KD3A en behoudt het lineaire schaalbaarheid.

Betekenis en Claims

Het artikel claimt de eerste te zijn die expliciet schaalbaarheid in gedistribueerde UMDA adresseert met betrekking tot het aantal heterogene brondomeinen. De betekenis van GALA ligt in het vermogen om stabiele, paralleliseerbare training mogelijk te maken over vele diverse bronnen waar huidige methoden ofwel falen in convergentie of computationeel onhaalbaar zijn. Door minimalisatie van discrepantie op groepsniveau te combineren met dynamische bronprioritering, vestigt GALA een nieuwe state-of-the-art voor multi-source domain adaptatie op grote schaal en met hoge diversiteit, met name in privacygevoelige federale settings. De auteurs merken op dat hoewel de methode hogere communicatiekosten per ronde met zich meebrengt dan selectieve methoden, het een gecentraliseerde workflow biedt zonder dat het doel alle bronmodellen hoeft te ontvangen, en dat toekomstig werk zich kan richten op het verminderen van de frequentie van bronparticipatie.