🤖 machine learning

Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases

Ce papier traite de l'écart persistant de performance dans l'apprentissage fédéré, causé par les biais de sélection liés à l'inscription et à la participation, en formalisant un modèle de sélection en deux étapes et en proposant \textsc{FedIPW}, un schéma d'agrégation pondérée par l'inverse de la probabilité qui permet de retrouver efficacement les objectifs de la population cible même lorsque les covariables au niveau des clients sont limitées.

Auteurs originaux : Gota Morishita

Publié 2026-04-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gota Morishita

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de préparer le gâteau parfait pour une ville entière. Pour ce faire, vous demandez à des milliers de pâtissiers amateurs de vous envoyer un petit morceau de leur pâte afin que vous puissiez les mélanger et déterminer la recette idéale. C'est essentiellement ainsi que fonctionne l'Apprentissage Fédéré (FL) : au lieu de rassembler toutes les données en un seul endroit, un serveur central demande à de nombreux appareils (comme des téléphones) d'entraîner un modèle localement et de renvoyer uniquement les « mises à jour » (les morceaux de pâte).

Le problème, comme l'explique cet article, est que qui vous demandez d'envoyer de la pâte compte tout autant que comment vous la mélangez.

Le filtre en deux étapes : Qui passe la porte ?

L'article soutient que, dans la vie réelle, les pâtissiers dont vous finissez par entendre parler sont rarement un échantillon parfait de la ville entière. Cela se produit en deux étapes distinctes, comme un contrôle de sécurité en deux temps à un concert :

Le biais d'« Inscription » (Qui reçoit l'invitation ?) :
D'abord, vous devez être éligible pour rejoindre le projet. Peut-être avez-vous besoin d'un type de téléphone spécifique, d'une certaine version de logiciel, ou devez-vous simplement cliquer sur « J'accepte » sur un formulaire de consentement. Si votre téléphone est ancien ou si vous vivez dans une zone avec une mauvaise connexion internet, vous ne recevez même jamais l'invitation. Vous êtes filtré avant même que le jeu ne commence. L'article appelle cela le Biais d'Inscription.
- Analogie : Imaginez que vous n'invitez que les personnes possédant une voiture rouge à votre club de pâtisserie. Même si vous demandez à tous ceux qui ont une voiture rouge de participer, vous avez déjà manqué tous ceux qui ont une voiture bleue, un vélo, ou aucun véhicule du tout. Votre « club de pâtisserie » est déjà biaisé.
Le biais de « Participation » (Qui se présente réellement ?) :
Deuxièmement, même parmi les personnes qui ont reçu l'invitation, tout le monde ne se présente pas à chaque réunion. Peut-être que leur batterie est morte, leur connexion internet est instable, ou il est 3 heures du matin dans leur fuseau horaire. Ils sont inscrits, mais ils ne participent pas à cette ronde spécifique. L'article appelle cela le Biais de Participation.
- Analogie : Même si vous avez invité tous ceux qui ont une voiture rouge, peut-être que seuls ceux qui sont éveillés et ont un réservoir plein se rendent réellement à la réunion.

Le problème : Cuire le mauvais gâteau

La plupart des méthodes existantes tentent de résoudre le deuxième problème (qui se présente). Elles disent : « D'accord, les personnes qui se sont présentées ce soir sont majoritairement des travailleurs de nuit ; ajustons la recette pour en tenir compte. »

Mais cet article soulève un problème plus important : Si les personnes qui ont été invitées dès le départ (les propriétaires de voitures rouges) ne ressemblent pas au reste de la ville, corriger la partie « qui se présente » n'y changera rien. Vous pouvez parfaitement ajuster pour les travailleurs de nuit, mais vous cuisez toujours un gâteau basé entièrement sur les propriétaires de voitures rouges. Le résultat final aura un goût délicieux pour les propriétaires de voitures rouges, mais sera terrible pour tout le monde else.

L'article appelle cela un « Décalage de la Population Cible ». Le modèle apprend à servir les personnes qui sont accessibles, et non les personnes qu'il est censé servir.

La solution : Une balance pondérée (FedIPW)

Pour résoudre cela, l'auteur propose une nouvelle méthode appelée FedIPW (Pondération Inverse de la Probabilité Fédérée).

Imaginez cela comme l'utilisation d'une balance pondérée au lieu d'une simple moyenne.

L'ancienne méthode (FedAvg) : Si 10 personnes envoient des mises à jour, vous attribuez à chaque personne un poids de 1/10.
La nouvelle méthode (FedIPW) : Vous regardez qui n'est pas venu et vous demandez « Pourquoi ? »
- Si un groupe de personnes (disons, les propriétaires de téléphones Android) reçoit rarement d'invitation en raison de règles logicielles strictes, mais qu'ils se présentent lorsqu'ils sont invités, l'algorithme donne à leurs mises à jour un poids supplémentaire.
- Si un groupe (disons, les propriétaires de nouveaux iPhones) reçoit souvent des invitations mais se présente rarement, leurs mises à jour sont également pondérées avec soin pour représenter ceux qui ont effectivement participé.

En « re-pondérant » mathématiquement les mises à jour en fonction de la probabilité d'être invité et de la probabilité de se présenter, le serveur peut reconstruire ce que le « pâtissier moyen de la ville » aurait contribué, même s'il n'a jamais réellement envoyé de morceau de pâte.

Et si nous n'avons pas tous les détails ? (La correction « Information Limitée »)

Parfois, le serveur ne connaît pas les détails des personnes qui n'ont pas reçu d'invitation (par exemple, il ne sait pas combien de personnes dans la ville ont des téléphones anciens). Il ne connaît que la vue d'ensemble (par exemple, « 20 % de la ville utilise Android »).

Dans ce cas, l'article suggère une astuce de Calibration.

Analogie : Imaginez que vous cuisez avec un échantillon de pâtissiers, mais que vous ne connaissez pas la démographie exacte de toute la ville. Cependant, vous disposez d'un rapport de recensement indiquant : « La ville est composée de 50 % d'hommes et de 50 % de femmes. »
Si votre échantillon de pâtissiers est composé à 80 % d'hommes, vous ne pouvez pas simplement ignorer les femmes. Au lieu de cela, vous attribuez moins de poids aux mises à jour des hommes et plus de poids à celles des femmes jusqu'à ce que votre échantillon ressemble au rapport de recensement (50/50).
Cela ne résout pas tout parfaitement, mais cela vous rapproche beaucoup plus de la bonne recette que de ne rien faire.

L'avertissement du « Plafond de Biais »

L'article met également en garde contre un « Plafond de Biais ».
Imaginez que vous essayez de toucher une cible. Si vous manquez légèrement la cible parce que votre visée est instable (erreur aléatoire), vous pouvez vous améliorer avec la pratique. Mais si votre arme est tordue (erreur structurelle), vous manquerez toujours le centre, peu importe combien vous vous entraînez.

L'article prouve que si vous ignorez l'étape d'« Inscription » (l'arme tordue), vous atteindrez un Plafond de Biais. Peu importe le nombre de rounds d'entraînement que vous effectuez, le modèle n'atteindra jamais la véritable meilleure solution pour l'ensemble de la population. Il restera coincé dans une zone « assez bonne » qui est en réalité fausse pour les personnes qui vous importent.

Résumé

Le problème : L'apprentissage fédéré échoue souvent parce que les personnes qui rejoignent l'entraînement (inscription) et les personnes qui participent réellement ne sont pas représentatives de l'ensemble de la population.
La solution : Utiliser une correction en deux étapes (FedIPW) qui pondère mathématiquement les mises à jour pour tenir compte de qui a été exclu au départ et de qui a abandonné au cours du processus.
L'essentiel : Il ne suffit pas de corriger qui se présente à la réunion ; vous devez corriger qui a été invité à la réunion dès le départ. Si vous ne le faites pas, votre modèle sera biaisé en faveur d'un groupe spécifique, peu importe à quel point l'algorithme est intelligent.

1. Énoncé du problème

L'apprentissage fédéré (FL) vise à entraîner un modèle global sur une population cible de clients distribués sans centraliser les données brutes. Les algorithmes standards (par exemple, FedAvg) supposent implicitement que les clients participant à chaque round de communication constituent un échantillon représentatif de la population cible. Cependant, dans la pratique, cette hypothèse échoue souvent en raison du biais de sélection, que l'article identifie comme se produisant à deux étapes distinctes :

Biais d'inscription : Déterminé par des règles d'éligibilité (contraintes matérielles, exigences logicielles, consentement utilisateur) qui dictent quels clients sont jamais joignables pour l'entraînement. Cela crée un décalage entre le pool inscrit et la population cible.
Biais de participation : Déterminé par des facteurs dynamiques (batterie, réseau, heure locale) qui dictent quels clients inscrits participent effectivement à un round de communication spécifique.

Le problème central : La littérature existante traite principalement du biais de participation au niveau du round. Cependant, l'article soutient que même si le biais de participation est parfaitement corrigé, le biais d'inscription induit un décalage persistant entre l'objectif d'entraînement (optimisation pour le sous-ensemble inscrit) et l'objectif de la population cible. Si le pool inscrit n'est pas représentatif, le modèle converge vers une solution sous-optimale pour la population visée.

2. Méthodologie

L'article formalise le FL sous un modèle de sélection à deux étapes et propose un cadre de débiaisage basé sur la pondération par l'inverse de la probabilité (IPW).

A. Cadre de sélection à deux étapes

Les auteurs modélisent l'inclusion des clients comme un processus causal :

Étape 1 (Inscription) : Un client $i$ est inscrit ( $E_i=1$ ) avec une probabilité $\pi^{enroll}_i = P(E_i=1 | Z_i)$ , où $Z_i$ sont des covariables pré-inscription (par exemple, type d'appareil, région).
Étape 2 (Participation) : Conditionnellement à l'inscription, le client $i$ participe au round $r$ ( $A_{i,r}=1$ ) avec une probabilité $\pi^{part}_{i,r} = P(A_{i,r}=1 | E_i=1, Z_i, X_{i,r})$ , où $X_{i,r}$ sont des covariables pré-round (par exemple, batterie, réseau).

La probabilité globale d'inclusion se factorise comme suit :
$p_{i,r} = \pi^{enroll}_i \times \pi^{part}_{i,r}$

B. L'algorithme proposé : FedIPW

Pour récupérer la mise à jour moyenne de la population cible, les auteurs proposent FedIPW (Federated Inverse Probability Weighting).

Mécanisme : Au lieu de moyenner les mises à jour de manière égale, le serveur pondère la mise à jour $\Delta_{i,r}$ de chaque client par l'inverse de sa probabilité d'inclusion :
$\hat{\bar{\Delta}}_r = \frac{1}{N} \sum_{i: A_{i,r}=1} \frac{\Delta_{i,r}}{\hat{p}_{i,r}}$
Estimation : Puisque les probabilités réelles sont inconnues, FedIPW estime les deux composantes séparément :
1. $\hat{\pi}^{enroll}_i$ est estimé à l'aide de covariables pré-inscription et d'indicateurs d'inscription (nécessitant des données au niveau de la population).
2. $\hat{\pi}^{part}_{i,r}$ est estimé parmi les clients inscrits en utilisant des covariables au niveau du round.
Garantie théorique : Sous les hypothèses d'ignorabilité et de positivité, FedIPW fournit un estimateur non biaisé de la mise à jour moyenne de la population cible.

C. Extension à information limitée : Calibration agrégée

Dans de nombreux scénarios réels, les covariables au niveau individuel pour les clients non inscrits sont indisponibles, rendant l'IPW d'inscription complet impossible.

Solution : Les auteurs introduisent une extension de Calibration Agrégée.
Méthode : Elle repondère l'échantillon inscrit de sorte que la distribution pondérée des covariables pré-inscription (par exemple, région, version du système d'exploitation) corresponde aux résumés agrégés connus de la population cible (par exemple, données de recensement).
Rôle : Cela agit comme une correction partielle du biais d'inscription lorsque les données individuelles complètes font défaut.

3. Contributions clés

Formalisation de la sélection à deux étapes : L'article distingue le biais d'inscription du biais de participation, les formalisant comme un processus causal séquentiel. Il démontre que l'ignorance du biais d'inscription conduit à un décalage structurel que les corrections basées uniquement sur la participation ne peuvent pas résoudre.
Algorithme FedIPW : Dérivation d'un schéma d'agrégation pondéré par l'inverse de la probabilité qui récupère l'objectif de la population cible sous des hypothèses standards.
Analyse d'optimisation avec plancher de biais : Les auteurs fournissent une analyse indépendante de l'algorithme montrant que les erreurs de pondération résiduelles (dûes à l'erreur d'estimation ou à une mauvaise spécification structurelle, telle que l'omission de l'étape d'inscription) induisent un plancher de biais non vanishing.
- La borne d'erreur se décompose en un terme transitoire, un terme de variance et un plancher de biais proportionnel à $\epsilon_w^2 G^2 / \mu$ , où $\epsilon_w$ est l'erreur de pondération et $G$ l'hétérogénéité du gradient.
- Cela prouve qu'une correction de sélection incomplète (par exemple, corriger uniquement la participation) entraîne une sous-optimalité persistante.
Calibration agrégée : Une méthode pratique pour les régimes à information limitée qui utilise des résumés de population pour atténuer partiellement le biais d'inscription.

4. Résultats expérimentaux

Les auteurs valident leur théorie en utilisant une régression logistique fédérée synthétique, où l'optimum réel de la population cible peut être calculé avec précision.

Décalage d'objectif : FedAvg naïf converge vers une "solution des clients sélectionnés" avec une perte de population cible significativement plus élevée par rapport à l'optimum réel.
Performance de FedIPW : FedIPW récupère avec succès l'objectif de la population cible, suivant de près la performance "Oracle" (idéale) même lorsque le biais d'inscription augmente.
Échec de la correction uniquement par participation : Les méthodes qui corrigent uniquement la participation au niveau du round s'améliorent par rapport à FedAvg mais échouent à atteindre l'optimum à mesure que le biais d'inscription se renforce, confirmant l'existence du plancher de biais.
Calibration agrégée : Dans des contextes où les données individuelles non inscrites manquent, la calibration agrégée réduit considérablement l'erreur résiduelle laissée par les méthodes de correction de participation uniquement, bien qu'elle soit sensible au bruit dans les résumés de population.

5. Signification et implications

Changement de paradigme : L'article soutient que "qui peut former du tout" (inscription) est aussi critique que "qui participe à un round" (participation). Les efforts actuels de débiaisage du FL se concentrant uniquement sur la sélection au niveau du round sont insuffisants si le pool inscrit n'est pas représentatif.
Erreur structurelle vs erreur statistique : L'analyse distingue les erreurs d'estimation statistique (qui peuvent être réduites avec de meilleurs modèles) des erreurs de spécification structurelle (par exemple, omettre l'étape d'inscription), qui créent un plancher de biais irréductible.
Guidance pratique : Le travail fournit une feuille de route pour les praticiens :
1. Si des données individuelles pour les utilisateurs non inscrits sont disponibles, utilisez FedIPW avec une pondération à deux étapes.
2. Si seules des données agrégées de population sont disponibles, utilisez la Calibration Agrégée pour corriger partiellement le biais d'inscription.
3. Se fier uniquement à la correction de participation est théoriquement insuffisant pour atteindre des objectifs alignés sur la population dans des environnements hétérogènes.

En résumé, cet article établit que l'obtention d'un modèle représentatif de la population cible en FL nécessite de corriger le biais de sélection à la fois aux étapes d'inscription et de participation, offrant un cadre mathématique rigoureux et des algorithmes pratiques pour y parvenir.