Résumé technique : De l'hétérogénéité des données à la convergence : Une revue centrée sur les données de l'apprentissage fédéré

1. Énoncé du problème

L'apprentissage fédéré (FL - Federated Learning) est devenu un paradigme critique pour l'entraînement de modèles partagés entre des clients distribués sans centraliser les données, répondant ainsi aux préoccupations de confidentialité et de rareté des données. Cependant, les revues existantes adoptent principalement un prisme centré sur la méthode ou le système, se concentrant sur les fondements généraux, les pratiques de sécurité ou les applications larges. Ces revues échouent souvent à approfondir les aspects spécifiques des données en tant que moteur principal du comportement du système. Par conséquent, il existe un manque de « synthèse par le prisme des données » qui lie explicitement les propriétés concrètes des données (traits), les protocoles de partitionnement et les mécanismes de défense à la vitesse de convergence, la stabilité et la précision finale. Les praticiens éprouvent souvent des difficultés à prédire comment des caractéristiques de données spécifiques (ex. : biais de labels, variabilité intra-classe) ou des stratégies de division influenceront la dynamique d'entraînement, menant à une convergence imprévisible et à une conception de système sous-optimale.

2. Méthodologie

Les auteurs ont employé une méthodologie de revue structurée et centrée sur les données pour combler cette lacune :

• Stratégie de recherche : Les recherches primaires ont été effectuées sur Google Scholar en utilisant des combinaations de mots-clés liés à des sujets spécifiques (ex. : « federated learning » + « attack », « heterogeneity ») couplées à « federated learning ».
• Critères de sélection : La priorité a été donnée aux travaux récents (2020–2026) et hautement cités. Les critères secondaires incluaient la réputation du lieu de publication (quartiles Q1/Q2).
• Preuves de haute qualité : Pour l'analyse spécifique de l'impact de la division des données sur la convergence, le tableau de preuves a été restreint aux publications de rang A à A* (classement CORE) telles que AAAI, ICLR, CVPR, NeurIPS, etc., afin de garantir une synthèse comparative ciblée de travaux de haute qualité.
• Portée : L'étude se concentre strictement sur les données en tant que facteur déterminant et raison des défis. Elle exclut les contraintes environnementales et de niveau système (ex. : latence réseau, hétérogénéité matérielle), à moins qu'elles ne soient des conséquences directes des choix de manipulation des données.
• Cadre d'analyse : L'étude organise ses conclusions autour de quatre questions de recherche (RQ) :
  1. Quels traits de sources de données affectent la convergence ?
  2. Quels facteurs empêchent la simulation de refléter les données du monde réel ?
  3. Comment les jeux de données sont-ils typiquement divisés dans les expériences antérieures ?
  4. Quels sont les compromis convergence-confidentialité des méthodes de défense ?

3. Contributions clés et conclusions

RQ1 : Traits des données et convergence

Le document analyse les traits intrinsèques des données et classe leur influence sur la convergence comme Forte, Moyenne ou Légère :

• Impact Fort :
  • Provenance : Les configurations de type « cross-device » (nombreux clients intermittents) entraînent généralement une convergence plus lente et moins stable par rapport aux configurations « cross-silo » (peu de clients fiables) en raison d'une plus grande hétérogénéité statistique et de déconnexions (dropout).
  • Variabilité Intra-Classe (ICV) : Une variabilité plus élevée au sein d'une classe (ex. : arrière-plans encombrés dans SVHN, écritures diverses dans FEMNIST) gonfle la variance du gradient et ralentit la convergence.
  • Séparation Inter-Classe (ICS) : Des marges plus larges entre les classes (ex. : MNIST vs. Fashion-MNIST) accélèrent la convergence et améliorent la précision finale.
• Impact Moyen :
  • Biais de Labels (Label Skew) : Le déséquilibre natif des labels (commun dans les données cross-device) désaligne les gradients des clients, ralentissant la convergence et réduisant la précision pour des budgets de rounds finis.
  • Nombre de classes : Plus de classes réduisent la séparation inter-classe et augmentent la confusion, ralentissant la convergence (ex. : CIFAR-10 vs. CIFAR-100).
  • Dimension des caractéristiques : Une dimensionnalité plus élevée augmente la complexité de l'échantillon et la variance du gradient, bien que son effet soit secondaire par rapport à la géométrie.
  • Homophilie de graphe : Une homophilie plus élevée aligne le passage de messages avec la lissité des labels, accélérant la convergence dans le FL de graphes.
• Impact Léger :
  • Nombre d'échantillons : Augmenter le nombre d'échantillons n'aide que si cela augmente la couverture des labels ou réduit la variance ; sinon, cela augmente principalement le calcul par round sans accélérer la convergence.

Les auteurs fournissent une « carte trait-comportement » (Tableau 3) et une analyse de relation par paire (Figure 1), montrant que la géométrie (ICV/ICS) et la provenance sont les moteurs dominants, tandis que l'échelle (nombre d'échantillons) est le facteur le moins influent.

RQ2 & RQ3 : Division des données et simulation

Le document souligne un écart significatif entre la simulation synthétique et le déploiement réel :

• Limitations de la simulation : Les benchmarks standards utilisent souvent des divisions simples, égales, ou des distributions de Dirichlet synthétiques qui ne parviennent pas à capturer les hétérogénéités couplées comme les tailles de clients à longue traîne, les classes manquantes, les décalages de domaine et la participation dynamique.
• Stratégies de division :
  • Basées sur Dirichlet : La méthode synthétique la plus courante, contrôlée par le paramètre $\alpha$. Un $\alpha$ petit crée un biais extrême ; un $\alpha$ grand approche l'IID.
  • Division Naturelle : Partitionne les données par provenance réelle (ex. : ID utilisateur, site hospitalier). Cela préserve une hétérogénéité réaliste (ex. : jeux de données FEMNIST, LEAF) mais est plus difficile à contrôler et à comparer.
  • Basée sur les clusters et le temporel : Groupement par géographie/similitude ou intervalles de temps pour imiter des scénarios d'application spécifiques.
• Recommandation : Les auteurs préconisent de donner la priorité aux divisions naturelles plutôt qu'aux divisions de Dirichlet synthétiques pour la validité externe, tout en utilisant des bases synthétiques pour des ablations contrôlées. Ils insistent sur la nécessité de rapporter des diagnostics d'hétérogénéité quantitatifs (ex. : distribution de la taille des clients, couverture des classes) pour assurer la comparabilité.

RQ4 : Vulnérabilités et compromis de défense

Le document examine systématiquement les vulnérabilités liées aux données (Empoisonnement, Évasion, Inférence d'appartenance, Fuite involontaire) et leurs défenses en utilisant une lentille de frontière de Pareto (Utilité en mode propre vs Utilité sous attaque) :

• Empoisonnement (Retournement de labels/Backdoor) : Les défenses comme FLDetector et DOS peuvent réduire le succès de l'attaque à presque zéro tout en maintenant ou en améliorant légèrement la précision propre. SparseFed offre une réduction importante des attaques avec une faible baisse de l'exactitude propre (~1–3 pp).
• Évasion : Des méthodes comme USD-FL (utilisant le scoring de l'ensemble de réserve) et FedDef (pseudo-gradients) obtiennent des gains de robustesse significatifs avec une perte d'exactitude propre minimale.
• Inférence d'appartenance : Les défenses telles que MIST, HAMP et Purifier poussent les métriques d'attaque vers le niveau du hasard avec des impacts négligeables ou même positifs sur l'utilité propre.
• Exposition involontaire (Tampons de relecture/Replay Buffers) : Les techniques comme KDRSFL et FedPMR atténuent la fuite et l'oubli catastrophique avec des coûts d'exactitude proches de zéro.
• Insight sur le compromis : La plupart des défenses bien conçées améliorent la robustesse avec un impact négligeable sur la convergence. Une protection plus forte n'entraîne généralement qu'un coût faible (baisse de 1 à 3 % de l'exactitude), tandis que la Confidentialité Différentielle (Differential Privacy) implique souvent des compromis plus importants.

4. Signification et affirmations

Le document affirme être la première revue à fournir une compréhension complète, centrée sur les données, des défis régissant la convergence du FL. Sa signification réside dans :

1. Orientation actionnable : Il distille des enseignements clairs pour les praticiens, leur permettant de concevoir des systèmes avec une convergence et une stabilité prévisibles en comprenant comment des traits de données spécifiques (ex. : ICV, ICS, provenance) dictent le comportement d'optimisation.
2. Combler le fossé : Il lie les décisions de données concrètes (protocoles de division, curation de jeux de données) directement aux résultats d'optimisation, allant au-delà des limites théoriques abstraites pour atteindre les réalités empiriques observées sur les images, le texte et les graphes.
3. Compromis explicites : En cartographiant les défenses sur une frontière de Pareto, il clarifie quand les gains de robustesse se font au prix de coûts matériels versus quand ils préservent une exactitude proche de l'état propre.
4. Directions futures : Les auteurs identifient des questions ouvertes, particulièrement concernant l'initialisation du modèle (simple vs pré-entraîné) et son interaction avec les données non-IID, notant qu'aucun consensus n'existe sur la question de savoir si des initialisations spécifiques garantissent la convergence.

Ce travail sert de guide fondamental pour les chercheurs et les praticiens afin de naviguer dans l'interaction complexe entre l'hétérogénéité des données, les stratégies de partitionnement et la sécurité, ouvrant ainsi la voie à des systèmes d'apprentissage fédéré plus robustes et complets.