🤖 machine learning

FLOSS: Federated Learning with Opt-Out and Straggler Support

Ce papier présente FLOSS, un système conçu pour atténuer les impacts des données manquantes, causées par les opt-out des utilisateurs et les stragglers, sur l'apprentissage fédéré en démontrant son efficacité par des simulations.

Auteurs originaux : David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Dilemme de la Cuisine Collective : Comment cuisiner un bon gâteau quand certains participants disparaissent ?

Imaginez que vous essayez de créer le meilleur gâteau du monde (c'est notre modèle d'intelligence artificielle). Au lieu de tout faire dans une seule grande cuisine centrale, vous demandez à des milliers de personnes dans le monde entier de cuisiner un petit morceau de gâteau chez eux, puis de vous envoyer uniquement la recette de leur morceau (les "gradients"), sans vous envoyer leurs ingrédients secrets (leurs données privées). C'est ce qu'on appelle l'Apprentissage Fédéré.

C'est génial pour la vie privée : personne ne voit vos données personnelles. Mais il y a un gros problème...

🚧 Le Problème : Les "Paresseux" et les "Fuyards"

Dans ce grand projet de cuisine collective, deux choses peuvent mal tourner :

Les "Lentards" (Stragglers) : Certains cuisiniers ont une vieille cuisinière ou une connexion internet lente. Ils mettent trop de temps à envoyer leur recette. Le chef central (le serveur) ne peut pas attendre éternellement, donc il doit continuer sans eux.
Les "Fuyards" (Opt-out) : D'autres cuisiniers changent d'avis. Ils disent : "Non, je ne veux plus partager ma recette aujourd'hui, je veux garder mes secrets pour moi." C'est leur droit, grâce aux nouvelles lois sur la vie privée.

Le résultat ? Le gâteau final est raté. Pourquoi ? Parce que les recettes qui manquent ne sont pas perdues au hasard.

Peut-être que les cuisiniers des zones rurales (internet lent) ont des ingrédients différents de ceux des villes.
Peut-être que les gens qui ne veulent plus partager sont ceux qui ont eu une mauvaise expérience avec le gâteau (par exemple, leur recette a donné un goût bizarre).

Si vous cuisinez seulement avec les recettes de ceux qui sont restés, votre gâteau aura un goût biaisé. Il ne représentera plus tout le monde, juste une petite partie.

💡 La Solution : FLOSS (Le Système de "Poids Équitable")

Les auteurs de ce papier, David et son équipe, ont créé un système appelé FLOSS. Imaginez-le comme un chef intelligent qui compense les absents.

Au lieu de simplement ignorer ceux qui ne répondent pas, FLOSS utilise une astuce mathématique appelée pondération par probabilité inverse (Inverse Probability Weighting).

Voici comment ça marche avec une analogie simple :

Le Questionnaire de Satisfaction : Avant de commencer, le système demande aux cuisiniers : "Avez-vous aimé votre expérience ?" et note des infos sur leur cuisine (âge, type de four, etc.).
L'Analyse des Absences : Le système se demande : "Pourquoi ce cuisinier n'a-t-il pas envoyé sa recette ? Est-ce à cause de son vieux four ? Ou est-ce parce qu'il n'a pas aimé le résultat ?"
Le Poids Magique :
- Si un cuisinier a envoyé sa recette, le système lui donne un poids normal.
- Si un cuisinier aurait dû envoyer sa recette mais ne l'a pas fait (parce qu'il est lent ou qu'il a fui), le système dit : "Attends, ce cuisinier représente 10 autres personnes qui sont dans la même situation !"
- Donc, quand le système calcule le gâteau final, il multiplie l'importance des recettes reçues de ceux qui sont restés, pour qu'elles comptent autant que si tout le monde avait participé.

C'est comme si, lors d'un vote, vous saviez que 50 personnes n'ont pas pu voter à cause de la pluie. Au lieu de compter seulement les voix des gens au soleil, vous dites : "Chaque voix au soleil compte double pour représenter ceux qui étaient sous la pluie."

📊 Les Résultats : Ça marche !

Les chercheurs ont testé leur système avec des simulations informatiques.

Sans correction : Le gâteau (le modèle) était mauvais et biaisé. Plus ils ajoutaient de cuisiniers, moins ça s'améliorait, car le biais restait.
Avec FLOSS : Le système a réussi à "deviner" ce que les absents auraient apporté. Le gâteau final était presque aussi bon que si tout le monde avait participé, même avec beaucoup d'absents.

🎯 En Résumé

FLOSS est une nouvelle façon de faire de l'intelligence artificielle qui respecte la vie privée ET qui est plus juste.

Avant : Si vous ne pouvez pas parler, votre opinion est perdue, et le résultat est faussé.
Avec FLOSS : Même si vous ne parlez pas (à cause d'un problème technique ou par choix), le système comprend pourquoi vous êtes silencieux et ajuste le résultat pour que votre voix soit quand même entendue indirectement.

C'est une étape cruciale pour rendre l'intelligence artificielle plus robuste, plus équitable et plus respectueuse de nos choix, même quand tout le monde ne peut pas participer en même temps.

1. Problématique

L'apprentissage fédéré (FL) permet d'entraîner des modèles de manière distribuée sans partager les données brutes des utilisateurs avec un serveur central, préservant ainsi la vie privée. Cependant, les systèmes FL modernes font face à deux défis majeurs liés à la donnée manquante, qui dégradent la performance du modèle et introduisent des biais :

Les "stragglers" (traînards) : Des appareils hétérogènes (faible puissance de calcul, mauvaise connectivité réseau) ne parviennent pas à envoyer leurs gradients dans les délais impartis.
Le "Opt-out" (désinscription) : Conformément aux accords de confidentialité modernes, les utilisateurs peuvent choisir de ne pas partager leurs gradients ou leurs poids à un moment donné, même s'ils sont techniquement capables de le faire.

Le cœur du problème :
La littérature suppose souvent que les données manquantes sont "manquantes complètement au hasard" (MCAR). Or, dans le FL, les données sont souvent manquantes au hasard (MAR) ou manquantes non au hasard (MNAR) :

MAR : La probabilité de manquer dépend de variables observables (ex: type d'appareil, réseau).
MNAR : La probabilité de manquer dépend des données elles-mêmes (ex: un utilisateur refuse de partager ses gradients car il est mécontent de la prédiction du modèle sur ses données sensibles).

Ignorer ces biais systématiques conduit à une estimation biaisée des gradients, ce qui empêche le modèle de minimiser le risque réel et réduit sa précision, même avec un grand nombre d'appareils.

2. Méthodologie : FLOSS

Les auteurs proposent FLOSS, un système qui intègre des techniques de pondération pour corriger ces biais sans violer la confidentialité des données ni collecter de nouvelles informations.

A. Modélisation Formelle (m-DAG)

L'article utilise des graphes acycliques dirigés pour les données manquantes (m-DAG) pour formaliser les relations causales entre :

Les données utilisateur ( $X, Y$ ).
Les informations démographiques et techniques ( $D$ ).
L'indicateur de réponse ( $R=1$ si le gradient est reçu, $0$ sinon).
La satisfaction de l'utilisateur ( $S$ ).

Le modèle démontre que dans un scénario réaliste incluant le "opt-out", les gradients manquants sont de type MNAR, car la décision de ne pas partager dépend de la satisfaction de l'utilisateur vis-à-vis des prédictions du modèle sur ses propres données.

B. Solution : Pondération par Inverse de Probabilité (IPW)

Pour corriger le biais MNAR, FLOSS utilise la pondération par l'inverse de la probabilité (Inverse Probability Weighting - IPW). L'idée est de surpondérer les gradients des utilisateurs qui répondent, afin de compenser l'absence des autres.

Défi technique : Estimer la probabilité de réponse $P(R=1 | D, S)$ est difficile car $S$ (satisfaction) et les données sous-jacentes peuvent être partiellement non observées ou corrélées avec le manque.

Innovation clé : La variable "Shadow" (Ombre)
FLOSS introduit une variable "shadow" $Z$ (ex: puissance de traitement de l'appareil) qui :

Est corrélée avec la satisfaction ( $S$ ) ou les données ( $X, Y$ ).
N'influence pas directement la probabilité de réponse ( $R$ ) une fois les autres variables contrôlées.

En utilisant cette variable $Z$ et les équations d'estimation (résolution d'un système d'équations basé sur l'espérance conditionnelle), le système peut estimer les poids de pondération $\pi = P(R=1 | D', S_{miss})$ uniquement à partir des données observées, sans jamais accéder aux données privées $X$ ou $Y$ .

C. Algorithme

L'algorithme FLOSS (Algorithme 1) fonctionne comme suit :

Initialisation : Enregistrement des infos utilisateurs ( $D$ ) et initialisation du modèle.
Rondes d'entraînement :
- Le serveur demande la participation et la satisfaction ( $S$ ) aux utilisateurs.
- Calcul des probabilités de réponse $\pi$ en utilisant la méthode d'estimation avec la variable "shadow".
- Échantillonnage pondéré : Au lieu d'un échantillonnage uniforme, le serveur sélectionne les participants actifs avec une probabilité proportionnelle à $1/\pi$ .
- Agrégation des gradients pondérés et mise à jour du modèle.
Diffusion : Le modèle mis à jour est renvoyé à tous les clients.

3. Contributions Clés

Formalisation du problème MNAR en FL : L'article établit théoriquement que les mécanismes d'opt-out et les stragglers créent un biais MNAR qui ne peut être résolu par de simples augmentations de la taille de l'échantillon.
Cadre théorique pour l'IPW en FL : Proposition d'une méthode pour estimer les poids de correction en présence de données MNAR en utilisant des variables "shadow", garantissant que la correction se fait sans violer la confidentialité des données locales.
Implémentation et Preuve de Concept : Développement d'un prototype FLOSS en Python (avec une version Flower en cours) qui intègre la sélection pondérée et la confidentialité différentielle.
Preuve de convergence : Démonstration mathématique (Proposition 2) que l'utilisation de l'échantillonnage pondéré permet de minimiser le risque réel non observé, contrairement aux méthodes standard.

4. Résultats Expérimentaux

Les auteurs ont évalué FLOSS sur une tâche de classification binaire avec différents scénarios de données manquantes :

Sans données manquantes : Performance de référence (bleu).
MNAR sans correction : La précision chute significativement, même avec un grand nombre de clients (orange). Cela confirme que l'augmentation du nombre de participants ne résout pas le biais systématique.
MNAR avec correction "Oracle" : (Vert) Utilise la vraie probabilité de désinscription (non disponible en pratique).
MNAR avec FLOSS : (Rouge) La méthode FLOSS permet de retrouver une précision très proche du cas "Oracle" et du cas sans données manquantes.

Conclusion des résultats : FLOSS réduit efficacement la dégradation des performances causée par les données manquantes systématiques. Plus le nombre de clients augmente, plus la méthode de FLOSS se rapproche de la performance idéale, tandis que les méthodes non corrigées stagnent ou régressent.

5. Signification et Impact

Ce travail est significatif car il adresse un angle mort critique dans l'adoption pratique de l'apprentissage fédéré : la robustesse face aux choix des utilisateurs et aux limitations matérielles.

Viabilité du FL : En montrant comment corriger les biais d'opt-out, FLOSS rend les systèmes FL plus fiables pour des applications réelles où les accords de confidentialité sont dynamiques.
Équité algorithmique : En corrigeant les biais de sélection (qui touchent souvent des groupes démographiques spécifiques), la méthode améliore indirectement l'équité du modèle.
Extensibilité : Bien que présenté pour l'apprentissage supervisé, le cadre s'applique également aux modèles génératifs.

En résumé, FLOSS fournit un cadre théorique et pratique pour transformer un système FL fragile face aux données manquantes en un système robuste, capable de tolérer les réalités du déploiement mondial (hétérogénéité des appareils et préférences des utilisateurs) tout en respectant strictement la vie privée.