Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

Énoncé du problème

L'adaptation de domaine multi-source non supervisée (UMDA) vise à apprendre un modèle qui généralise à un domaine cible non étiqueté en exploitant des données étiquetées provenant de plusieurs domaines sources. Bien que l'apprentissage fédéré offre une solution respectueuse de la vie privée en évitant le partage de données brutes, les méthodes existantes d'UMDA fédérée peinent à être évolutives. Les approches actuelles sont généralement conçues pour des scénarios à petite échelle (2 à 6 sources) et souffrent d'une surcharge computationnelle élevée ou d'une instabilité de l'entraînement lorsque le nombre de domaines sources hétérogènes augmente. Plus précisément, les méthodes reposant sur un alignement par paires deviennent prohibitives en termes de calcul ($O(N^2)$), tandis que celles utilisant un échantillonnage aléatoire par paires (par exemple, FACT) introduisent une forte variance et échouent à converger dans des contextes de grande diversité.

Méthodologie : le cadre GALA

Les auteurs proposent GALA (Grouping-based Adaptive Learning), un cadre d'UMDA fédérée conçu pour évoluer avec l'hétérogénéité de domaines sources divers. GALA fonctionne grâce à deux mécanismes principaux :

1. Minimisation de la divergence inter-groupe (IGD)
Pour résoudre la complexité quadratique de l'alignement complet par paires, GALA introduit un objectif de divergence au niveau des groupes.

• Mécanisme : À chaque tour d'entraînement, les $N$ prédicteurs sources sont répartis aléatoirement en deux groupes disjoints, $G_1$ et $G_2$.
• Agrégation : Des prédicteurs moyennés pondérés sont formés pour chaque groupe ($F_{G_1}$ et $F_{G_2}$).
• Objectif : Le modèle minimise le désaccord $\ell_1$ entre ces deux prédicteurs de groupe sur les données cibles non étiquetées :
  $$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$$
• Avantage théorique : Contrairement à l'échantillonnage aléatoire par paires (qui présente une forte variance) ou au calcul complet par paires (qui est coûteux), l'IGD moyenne de nombreuses différences par paires avant de prendre la norme. Cela résulte en une approximation de faible variance et de complexité linéaire de l'objectif d'alignement global. Bien qu'elle introduise un léger biais, la réduction de la variance conduit à un entraînement plus stable.

2. Pondération basée sur les centroïdes avec échelle de température (MDMGB+)
Pour prévenir le transfert négatif provenant de sources non pertinentes ou bruyantes, GALA estime dynamiquement la pertinence de chaque source par rapport à la cible.

• Similarité des centroïdes : Les clients calculent des centroïdes de classe doux dans l'espace des caractéristiques. Le serveur calcule la similarité cosinus entre les centroïdes sources et le centroïde cible.
• Mise à l'échelle par température : Les auteurs introduisent une version modifiée de l'algorithme MDMGB, appelée MDMGB+. Elle applique une fonction softmax avec un paramètre de température ajustable $\tau$ aux scores de similarité :
  $$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$$
• Fonction : La température $\tau$ contrôle la sélectivité. Des valeurs plus élevées amplifient les petites différences de similarité, attribuant un poids plus important aux sources mieux alignées avec la cible et supprimant les sources non pertinentes. Ces poids sont utilisés pour former les prédicteurs de groupe dans l'étape IGD.

Flux de l'algorithme :
Le processus implique des tours itératifs où le serveur diffuse le modèle global, les clients calculent les centroïdes et mettent à jour les modèles localement, le serveur agrège les extracteurs de caractéristiques en utilisant les poids de pertinence, et enfin, le domaine cible met à jour l'extracteur de caractéristiques en minimisant la perte IGD entre les deux prédicteurs de groupe.

Contributions clés

1. Analyse de l'évolutivité : Les auteurs identifient que les méthodes d'UMDA distribuées existantes échouent à converger ou deviennent computationnellement irréalisables à mesure que le nombre de sources hétérogènes augmente, un vide largement non abordé dans la littérature actuelle.
2. Divergence inter-groupe (IGD) : Un objectif novateur qui approxime le désaccord complet par paires à un coût linéaire avec une faible variance, permettant un alignement robuste dans des contextes à grande échelle.
3. Algorithme GALA : Un cadre d'UMDA fédérée évolutif combinant l'IGD avec un schéma de pondération basé sur les centroïdes et mis à l'échelle par température pour privilégier les sources pertinentes pour la cible et atténuer le transfert négatif.
4. Référence Digit-18 : L'introduction d'une nouvelle référence comprenant 18 ensembles de données de chiffres divers (couvrant des décalages synthétiques et réels) pour tester rigoureusement l'évolutivité et l'hétérogénéité des sources, répondant à la rareté des références UMDA à grande échelle.

Résultats expérimentaux

L'article évalue GALA sur des références standard (Digit-Five, Office-Caltech10) et la nouvelle référence Digit-18.

• Références standard : GALA atteint des performances de pointe (SOTA) ou proches du SOTA sur Digit-Five et Office-Caltech10, égalant ou dépassant des méthodes comme FACT et KD3A.
• Évolutivité (Digit-18) : Dans des contextes de grande diversité (jusqu'à 18 sources), les méthodes existantes montrent une dégradation significative :
  • FACT : Devient instable avec une forte variance et échoue à converger sur des cibles difficiles à mesure que le nombre de sources augmente.
  • KD3A : Souffre d'une croissance exponentielle du temps d'exécution due aux étapes de consensus séquentielles, devenant computationnellement irréalisable au-delà de 9 sources.
  • GALA : Maintient une précision et une convergence stables. Dans le contexte à 18 sources, GALA réalise un gain moyen de 5,3 % par rapport à FACT et surpasse toutes les lignes de base sur chaque domaine cible.
• Études d'ablation : Les résultats confirment que l'objectif IGD et la pondération MDMGB+ sont tous deux critiques. L'IGD seul échoue à converger sur des cibles difficiles sans la pondération, tandis que la pondération seule est insuffisante sans l'alignement par groupes.
• Efficacité : Bien que GALA ait un coût par tour légèrement supérieur à celui de FACT en raison de l'alignement par groupes, elle évite l'explosion computationnelle exponentielle de KD3A, maintenant une évolutivité linéaire.

Signification et affirmations

L'article affirme être le premier à aborder explicitement l'évolutivité dans l'UMDA distribuée concernant le nombre de domaines sources hétérogènes. La signification de GALA réside dans sa capacité à permettre un entraînement stable et parallélisable à travers de nombreuses sources diverses là où les méthodes actuelles échouent à converger ou sont computationnellement irréalisables. En combinant la minimisation de la divergence par groupes avec une priorisation dynamique des sources, GALA établit un nouvel état de l'art pour l'adaptation de domaine multi-source à grande échelle et de grande diversité, en particulier dans des contextes fédérés sensibles à la vie privée. Les auteurs notent que si la méthode engendre des coûts de communication plus élevés par tour que les méthodes sélectives, elle fournit un flux de travail centralisé sans exiger que la cible reçoive tous les modèles sources, et des travaux futurs pourraient se concentrer sur la réduction de la fréquence de participation des sources.