Résumé Technique : FedDAF

Énoncé du Problème

L'adaptation de domaine fédérée (FDA) vise à améliorer les performances d'un modèle pour un client cible en collaborant avec des clients sources tout en préservant la confidentialité des données. Cependant, les méthodes existantes de FDA font face à deux défis critiques, souvent négligés simultanément :

1. Décalage de Domaine (Domain Shift) : Les incohérences dans les distributions de données entre les clients sources et le client cible provoquent une dérive du modèle local, entraînant une agrégation globale sous-optimale et une faible généralisation sur la cible.
2. Rareté des Données : De nombreuses approches actuelles supposent que le client cible possède une quantité abondante de données non étiquetées. En réalité, les clients cibles souffrent souvent d'un manque sévère d'échantillons étiquetés, rendant l'entraînement standard ou l'apprentissage fédéré personnalisé (PFL) inefficaces.

De plus, les méthodes actuelles qui tentent d'aborder ces deux problèmes échouent souvent à prioriser le partage d'informations pertinentes provenant des clients sources de manière spécifiquement adaptée à l'objectif du client cible.

Méthodologie : FedDAF

Les auteurs proposent FedDAF (Federated Domain Adaptation using Model Functional Distance), un nouveau cadre conçu pour maximiser le transfert d'informations sources pertinentes vers le modèle cible tout en s'alignant sur l'objectif spécifique de la cible, même dans des conditions de données limitées.

Mécanisme Central : Distance Fonctionnelle du Modèle

Contrairement aux méthodes reposant sur les mises à jour de gradients ou l'alignement des distributions de données brutes, FedDAF agrège le modèle source global ($w^S$) et le modèle cible ($w^T$) en fonction de leur similitude, quantifiée via la Distance Fonctionnelle du Modèle. Cette distance est calculée comme suit :

1. Champs de Gradients Moyens : Le serveur diffuse le modèle source global au client cible. Le client cible calcule les champs de gradients pour le modèle source global et pour son propre modèle local en utilisant les données cibles (même si elles sont limitées).
2. Similitude Cosinus et Angle : Les champs de gradients moyens des deux modèles sont calculés. La similitude cosinus entre ces gradients moyens est calculée, et l'angle $\theta$ entre eux est dérivé.
3. Normalisation via la Fonction de Gompertz : L'angle $\theta$ est normalisé à l'aide d'une fonction de Gompertz pour produire un poids de similitude $\alpha \in [0, 1]$. Ce poids représente la "distance" entre les modèles par rapport à l'objectif de la cible.
4. Agrégation Adaptative : Le modèle cible adapté ($w_n$) est formé par une combinaison pondérée du modèle cible précédent et du modèle source global :
   $$w_n = \alpha w^S_{n-1} + (1 - \alpha) w^T_{n-1}$$
   Ici, $\alpha$ agit comme le poids d'agrégation. Si les modèles sont fonctionnellement similaires concernant l'objectif de la cible, le modèle source contribue davantage ; s'ils divergent, le modèle cible est préservé.

Protocole d'Entraînement

• Client Cible : Utilise le modèle adapté $w_n$ comme initialisation pour l'entraînement local sur ses données cibles limitées. Le but est d'optimiser l'objectif cible $F_T$ tout en maintenant une distance contrôlée par rapport à l'objectif global de la source $F_S$.
• Clients Sources : Effectuent un entraînement local standard sur leurs ensembles de données respectifs et mettent à jour le modèle source global via une simple moyenne sur le serveur.
• Itération : Ce processus se répète sur $N$ cycles de communication.

Principales Contributions

L'article présente trois contributions majeures :

1. Solution au Double Défi : FedDAF est proposé pour traiter simultanément le décalage de domaine et la rareté des données cibles dans la FDA, une combinaison souvent négligée par les travaux antérieurs.
2. Nouvelle Stratégie d'Agrégation : L'introduction d'une méthode d'agrégation basée sur la similitude utilisant la Distance Fonctionnelle du Modèle. Cette métrique est dérivée des champs de gradients moyens évalués sur les données cibles, permettant une mesure de similitude fiable même avec des échantillons rares.
3. Optimisation Alignée sur l'Objectif : La méthode garantit que le modèle cible adapté est optimisé au sommet de l'objectif cible, positionné à une distance optimisée de l'objectif global de la source. Cela maximise le transfert d'informations sources pertinentes spécifiquement alignées avec les besoins de la cible.

Résultats Expérimentaux

Les auteurs ont validé FedDAF par des expériences approfondies sur des jeux de données réels sous des paramètres de décalage de domaine contrôlés et réels.

• Jeux de Données :
  • Décalage Contrôlé : CIFAR-10 avec différents niveaux de bruit gaussien (décalage de domaine) et rareté des étiquettes (5 %, 25 %, 50 % des données d'entraînement).
  • Décalage Réel : PACS, VLCS et Office Caltech10, simulant divers décalages de domaine (ex: photo vs croquis, différents types de caméras).
• Lignes de Base (Baselines) : FedDAF a été comparé à l'apprentissage fédéré standard (FedAvg), au Fine-tuned FedAvg, aux méthodes d'apprentissage fédéré personnalisé (FedDWA) et aux méthodes de FDA existantes (FedGP).
• Performance :
  • Sur CIFAR-10, FedDAF a systématiquement surpassé toutes les lignes de base à tous les niveaux de rareté des données et de décalage de domaine.
  • Sur les jeux de données réels (PACS, VLCS, Office Caltech10), FedDAF a obtenu une précision de test supérieure par rapport aux méthodes FL, PFL et FDA existantes, particulièrement dans les scénarios de rareté extrême des données (ex: utilisation de seulement 2 % des échantillons d'entraînement cibles).
• Analyse des Paramètres : L'étude a identifié que le paramètre $\mu$ de la fonction de Gompertz influence la performance selon le degré de décalage de domaine, $\mu=5$ étant le plus performant sous un décalage élevé et $\mu=1$ sous un décalage faible.

Signification et Revendications

L'article affirme que FedDAF représente une avancée significative dans l'adaptation de domaine fédérée en dépassant l'hypothèse de données cibles abondantes. Sa signification réside dans :

• Robustesse à la Rareté : Démontrer qu'une adaptation efficace est possible même lorsque le client cible possède très peu d'échantillons étiquetés, un scénario où l'entraînement centralisé et le PFL standard échouent.
• Adaptation Centrée sur la Cible : Contra-irement aux méthodes de FDA précédentes qui peuvent agréger des informations sans considération spécifique pour l'objectif unique de la cible, FedDAF construit explicitement le poids d'agrégation basé sur la distance fonctionnelle de la cible. Cela garantit que l'« information la plus pertinente » est fusionnée dans le modèle cible.
• Applicabilité Pratique : La méthode répond aux contraintes du monde réel rencontrées dans des domaines comme l'imagerie médicale (ex: diagnostic du cancer du sein), où les données sont souvent cloisonnées, sensibles en matière de confidentialité et faiblement étiquetées.

Les auteurs concluent qu'en optimisant le modèle cible adapté au sommet de l'objectif cible tout en maintenant une distance contrôlée de l'objectif global de la source, FedDAF comble efficacement l'écart entre les domaines sources et cibles dans des environnements respectant la vie privée et caractérisés par la rareté des données.