Résumé Technique : Sélection de Clients Fédérés sous Visibilité Partielle

Formulation du Problème

L'Apprentissage Fédéré (FL) repose généralement sur une sélection efficace des clients pour atténuer la dégradation des performances causée par l'hétérogénéité des données (données non-IID). Cependant, la plupart des méthodes existantes de sélection de clients supposent une visibilité totale, où le serveur a accès aux informations concernant l'ensemble de la population de clients à chaque round de communication.

Cet article aborde le défi de la Visibilité Partielle, un scénario qui émerge dans les déploiements à grande échelle ou basés sur le périphérique (edge), où le serveur ne peut accéder qu'à un sous-ensemble de clients en raison de contraintes telles que :

• Mobilité : Un serveur mobile se déplaçant à travers des régions réseau ne peut interagir qu'avec les clients situés dans sa couverture actuelle (par exemple, les scénarios EdgeFlow).
• Disponibilité : Les clients peuvent être indisponibles en raison de problèmes de planification, de connectivité ou de préférences de confidentialité.

Dans ce contexte, le serveur n'observe qu'un sous-ensemble de clients ($C_t$) au round $t$, rendant l'état global d'entraînement partiellement observable. Les approches d'Apprentissage par Renforcement (RL) existantes, qui modélisent généralement la sélection de clients comme un Processus de Décision Markovien (MDP) en supposant une visibilité complète de l'état, sont insuffisantes pour ce problème.

Méthodologie

1. Formulation POMDP

Les auteurs formulent le problème de sélection de clients sous visibilité partielle comme un Processus de Décision Markovien Partiellement Observable (POMDP).

• État ($s_t$) : Défini conceptuellement comme les paramètres mis à jour potentiels de tous les $N$ clients. Crucial, le serveur n'a pas accès aux gradients ou aux mises à jour des clients invisibles.
• Action ($a_t$) : Sélectionner un sous-ensemble de $K$ clients parmi le cluster actuellement visible $C_t$.
• Observation ($o_t$) : Un sous-ensemble masqué de l'état contenant les paramètres mis à jour et les identifiants des seuls clients visibles ($j \in C_t$).
• Récompense ($r_t$) : Définie sur la base du score F1 du modèle global après agrégation, lissée dans le temps pour contrôler la variance.

2. Solution par Deep Q-Learning (DQL)

Pour résoudre le POMDP, l'article propose un agent basé sur le DQL. Étant donné que le maintien d'un historique complet des interactions est computationnellement impraticable, la méthode approxime la fonction Q optimale en utilisant un contexte temporel tronqué des $H$ rounds les plus récents.

• Décomposition de la valeur Q par client : Pour gérer les tailles de cluster variables et les espaces d'actions combinatoires, la fonction Q globale est décomposée en contributions individuelles de clients. L'agent évalue chaque client visible indépendamment et sélectionne les $K$ meilleurs ayant les valeurs Q estimées les plus élevées.
• Optimisation Multi-étapes : L'agent utilise l'apprentissage par différence temporelle multi-étapes avec un facteur d'actualisation $\gamma$, optimisant le réseau Q pour prédire les retours sur un horizon de $H$ étapes.

3. Architecture d'Attention Spatio-Temporelle

L'innovation centrale est un Réseau Q basé sur l'Attention Spatio-Temporelle novateur, conçu pour traiter des entrées de longueur variable et capturer des dépendances complexes.

• Réduction de Dimension : Les paramètres de modèle de haute dimension sont mappés vers un espace de caractéristiques de basse dimension en utilisant une Projection Aléatoire (RP). Contrairement à l'ACP, la RP ne nécessite pas d'échantillons pré-collectés, la rendant adaptée à une visibilité dynamique.
• Contexte Temporel : Le réseau ingère une séquence de paramètres globaux historiques ($W_{glob}^{t-H} \dots W_{glob}^t$) pour capturer la trajectoire d'entraînement.
• Attention Spatiale : Un module traite les jetons des clients actuellement visibles pour raisonner sur leurs contributions relatives au sein du cluster spécifique.
• Attention Temporelle : Un module traite les jetons de paramètres globaux historiques en utilisant un encodage positionnel et un masquage causal pour apprendre les dépendances temporelles.
• Attention Croisée : Les jetons spatiaux et temporels sont intégrés via une attention croisée, permettant aux représentations des clients de s'attacher aux contextes globaux historiques.
• Encodage Sensible à l'Identité : Pour faire face à la parcimonie temporelle causée par la participation intermittente des clients, le modèle inclut des vecteurs d'identité (encodages) entraînables pour chaque client. Ceux-ci agissent comme une « mémoire » pour capturer les caractéristiques persistantes spécifiques aux clients à travers les rounds, même lorsque les clients ne sont pas visibles.
• Architecture Dueling : Le réseau Q sépare l'estimation de la valeur de l'état global et l'avantage relatif de la sélection de clients spécifiques pour améliorer la stabilité de l'apprentissage.

Contributions Clés

1. Cadre POMDP : La première formulation de la sélection de clients fédérés sous visibilité partielle comme un POMDP, abordant explicitement l'écart entre les hypothèses de visibilité totale et les contraintes du monde réel.
2. Réseau d'Attention Spatio-Temporelle : Une architecture novatrice qui intègre les modèles globaux historiques avec les observations actuelles des clients, permettant à l'agent de raisonner sur l'état global malgré des observations incomplètes.
3. Mémoire Sensible à l'Identité : Un mécanisme pour suivre les caractéristiques spécifiques aux clients à travers une participation discontinue, atténuant l'impact de la parcimonie des observations.
4. Stratégie DQL Robuste : Une approche de décomposition par client et d'optimisation multi-étapes adaptée à la nature discrète et irréversible de la sélection de clients en FL.

Résultats Expérimentaux

La méthode proposée a été évaluée sur trois jeux de données (CIFAR-10, Fashion-MNIST, UCI-HAR) dans deux configurations de visibilité partielle (Serveur Mobile et Disponibilité Aléatoire) et deux niveaux d'hétérogénéité (distribution de Dirichlet et Biais d'Étiquettes).

• Performance : La méthode proposée a atteint une précision supérieure par rapport aux méthodes de référence (FedProx, HA-EdgeFlow, FedAWAC) dans presque tous les scénarios. Elle a amélioré la précision moyenne de 3,6 % à 7,9 % par rapport aux méthodes existantes.
• Stabilité : La méthode a démontré une réduction des fluctuations de performance (écart-type plus faible) après convergence, indiquant une stabilité d'entraînement accrue.
• Études d'Ablation :
  • Longueur du Contexte ($H$) : La performance s'est améliorée lorsque $H$ a augmenté de 1 (MDP) à 5, validant la nécessité d'un contexte historique. Des augmentations ultérieures ($H=8, 10$) ont produit des rendements décroissants, suggérant que l'historique récent est suffisant.
  • Encodages d'Identité : La suppression du module Sensible à l'Identité a entraîné une baisse significative de la précision sous un Biais d'Étiquettes sévère et une augmentation des fluctuations sous les distributions de Dirichlet, confirmant son rôle dans la mémoire des clients et la stabilité.

Signification et Revendications

L'article revendique que son approche fournit une solution fondée sur des principes au problème sous-exploré de la sélection de clients sous visibilité partielle. En modélisant le problème comme un POMDP et en tirant parti de l'attention Spatio-Temporelle, la méthode comble efficacement le fossé d'information causé par des observations incomplètes. Les auteurs affirment que leur cadre est particulièrement efficace dans des environnements hétérogènes et partiellement visibles, offrant une alternative robuste aux stratégies de sélection existantes basées sur des MDP ou heuristiques qui échouent lorsque le serveur ne peut pas observer l'ensemble de la population de clients. Le travail valide que l'intégration du contexte historique et de la mémoire d'identité des clients est cruciale pour maintenir les performances du modèle dans des environnements périphériques dynamiques et réels.