💻 computer science

An Empirical Study of Stability and Fairness Side-Effects of Federated Unlearning for Departed Clients under Non-IID Data

Cet article démontre empiriquement que, bien que les méthodes d'oubli fédéré soient efficaces sur le plan computationnel, elles induisent souvent des effets secondaires significatifs sur la stabilité et l'équité pour les clients restants sous des données non-IID, révélant un arbitrage critique entre le coût, l'exhaustivité de l'oubli et la performance équitable du modèle que les métriques agrégées ne parviennent pas à capturer.

Auteurs originaux : Md. Sihabul Islam Islam, Abdullah Al Mamun, Muhammad Imran Khan, Md. Alamgir Hossain

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md. Sihabul Islam Islam, Abdullah Al Mamun, Muhammad Imran Khan, Md. Alamgir Hossain

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où votre smartphone, votre hôpital local et votre banque veulent tous construire une IA super intelligente pour les aider, mais qu'aucun d'entre eux n'est autorisé à partager ses données privées. Ils ne peuvent pas envoyer leurs dossiers médicaux ou leurs relevés bancaires vers un serveur central car les lois sur la protection de la vie privée l'interdisent. À la place, ils utilisent une astuce ingénieuse appelée Apprentissage Fédéré (Federated Learning). Imaginez cela comme un groupe de chefs dans différentes cuisines essayant de perfectionner une recette secrète unique. Au lieu d'envoyer leurs ingrédients dans une marmite centrale, chacun cuisine un petit lot, le goûte, puis envoie uniquement les instructions sur la façon d'améliorer la recette au chef principal. Le chef principal mélange toutes les instructions pour créer une meilleure recette globale, puis renvoie les nouvelles instructions à tout le monde. Tout le monde devient plus intelligent sans jamais révéler ses ingrédients secrets.

Mais voici le rebondissement : et si l'un de ces chefs décidait de quitter le club ? Dans le monde réel, les lois sur la protection de la vie privée (comme le « Droit à l'oubli ») stipulent que si quelqu'un part, le système ne doit pas seulement supprimer ses coordonnées ; il doit effacer entièrement son influence sur la recette. C'est comme si le chef principal devait magiquement « dé-mélanger » les instructions de ce chef spécifique, sans avoir à jeter toute la marmite et à recommencer la cuisson depuis le début. Ce processus est appelé Désapprentissage Fédéré (Federated Unlearning). La grande question est la suivante : quand vous effacez magiquement la contribution d'un chef, est-ce que la recette reste délicieuse pour les autres ? Ou est-ce qu'elle prend soudain un goût bizarre, ou pire, commence-t-elle à favoriser un certain type de plat, rendant certains clients mécontents ?

Ce document est une expérience massive et contrôlée pour trouver la réponse. Les chercheurs n'ont pas inventé une nouvelle façon d'effacer des données ; ils ont plutôt agi comme des experts en criminalistique, testant plusieurs méthodes d'« oubli » existantes pour voir ce qui arrive au groupe restant lorsqu'un client part. Ils ont mis en place une simulation numérique avec 10 « clients » différents (comme les chefs) et leur ont donné des données qui n'étaient pas parfaitement mélangées (certains avaient surtout des plats épicés, d'autres des plats sucrés). Ils ont ensuite exclu un client et ont tenté de désapprendre son influence en utilisant quatre techniques différentes : une méthode appelée FedEraser, la Ascension de Gradient Projetée (PGA), le Fine-tuning (le simple fait de continuer l'entraînement) et le Continue-to-Train (continuer l'entraînement un peu plus longtemps).

Les résultats ont été surprenants et ont révélé un danger caché. L'étude a révélé que certaines méthodes qui semblent très peu coûteuses et rapides — comme le simple fait de continuer l'entraînement ou de faire du fine-tuning — ne suppriment en réalité pas du tout l'influence du client. Elles semblent avoir effacé le client parce que la recette n'a pas beaucoup changé, mais en réalité, l'influence demeure. C'est comme essayer de dé-mélanger un gâteau en remuant simplement plus vite ; les ingrédients sont toujours là. Les méthodes qui ont réellement supprimé l'influence (FedEraser et PGA) ont effectivement modifié la recette, et ce changement a entraîné un coût.

La plus grande découverte concernait l'équité (fairness). Les chercheurs ont découvert que, bien que le goût moyen de la recette soit resté presque identique, l'expérience pour des groupes spécifiques de personnes a radicalement changé. Lorsque les données étaient très inégales (certains clients avaient des goûts très différents des autres), le retrait d'un client a rendu la recette beaucoup moins bonne pour certains clients restants, même si le score global semblait correct. C'est comme si le retrait des instructions d'un chef rendait la soupe parfaite pour 9 personnes mais totalement immangeable pour la 10ème. De plus, si le chef qui est parti détenait des données rares ou uniques (comme une épice rare spécifique), le retrait de celui-ci a provoqué un déséquilibre significatif envers certains groupes démographiques, déplaçant l'équilibre de manière imprévisible.

L'étude a également mesuré la « difficulté » de l'apprentissage pour savoir quand le client partait. Si un client partait tôt dans le processus, il était peu coûteux de l'effacer. Mais s'il était resté jusqu'à ce que la recette soit presque parfaite, le retirer devenait sept fois plus coûteux et perturbateur. Curieusement, les chercheurs ont découvert que l'utilisation d'un protocole de mélange plus sophistiqué (FedProx) ne réglait pas ces problèmes d'équité ; les problèmes étaient ancrés dans la nature même du désapprentissage, et non dans la méthode de mélange.

En résumé, l'article nous avertit que le « désapprentissage » n'est ni gratuit ni invisible. Si vous utilisez une méthode qui n'efface pas réellement les données, vous ne protégez pas la vie privée. Mais si vous utilisez une méthode qui efface réellement les données, vous pourriez accidentellement nuire aux utilisateurs restants, surtout si les données sont hétérogènes ou si la personne qui part est unique. Les auteurs concluent que nous devons cesser de regarder uniquement le score « moyen » de l'IA et commencer à vérifier si le processus de désapprentissage ne crée pas d'iniquité pour des groupes spécifiques, afin de garantir que respecter un « Droit à l'oubli » ne punisse pas silencieusement ceux qui restent.

Résumé technique : Une étude empirique des effets secondaires sur la stabilité et l'équité de l'oubli fédéré pour les clients sortants sous des données non-IID

1. Énoncé du problème

L'apprentissage fédéré (FL) permet un entraînement collaboratif de modèles sans centralisation des données brutes, mais les réglementations sur la vie privée (ex. : RGPD, HIPAA) imposent le « droit à l'oubli » (RTBF). Cela nécessite l'oubli fédéré (FU) : la suppression de l'influence d'un client sortant du modèle global. Alors que la recherche actuelle se concentre sur l'optimisation de l'efficacité et de la complétude de l'oubli, elle néglige largement les effets collataux sur les clients restants.

Plus précisément, lorsqu'un client est « oublié », la perturbation résultante du modèle global peut ne pas être répartie uniformément. Sous des données Non-IID (où les distributions de données des clients diffèrent considérablement), cette perturbation pourrait :

Dégrader la qualité globale du modèle (Coût de stabilité).
Nuire de manière disproportionnée à certains clients ou groupes démographiques restants (Coût d'équité), amplifiant potentiellement le biais contre les groupes sous-représentés.

La littérature actuelle manque d'une compréhension empirique de qui supporte ces coûts et de comment ils évoluent avec l'hétérogénéité des données, les profils de clients et les méthodes d'oubli. Ce document traite cette lacune par une étude de mesure contrôlée plutôt qu'en proposant un nouvel algorithme d'oubli.

2. Méthodologie

Conception de l'étude

Les auteurs ont mené une étude de mesure factorielle en balayant :

Jeux de données : Deux jeux de données tabulaires avec des attributs sensibles (Adult, COMPAS) et deux jeux de données d'images (MNIST, CIFAR-10).
Hétérogénéité : Contrôlée via le biais de distribution de labels de Dirichlet ( $\alpha \in \{10, 1, 0.5, 0.1, 0.05\}$ ), allant d'un état quasi-IID à un biais extrême.
Profils de clients sortants : Typiques, à motifs rares (détenant des intersections sous-représentées), Grands (volume de données élevé) et Petits.
Méthodes d'oubli : FedEraser, Projected Gradient Ascent (PGA), Fine-tuning, Continue-to-train, et une référence de réentraînement à partir de zéro (Retrain-from-scratch).
Protocoles d'agrégation : FedAvg et FedProx.
Moment du départ : Départ précoce vs départ proche de la convergence.

Cadre d'évaluation

L'étude compare trois modèles pour chaque configuration :

$M_{orig}$ : Le modèle de base entraîné avec tous les clients.
$M_{unl}$ : Le modèle produit par l'opérateur d'oubli.
$M_{ret}$ : La Référence de réentraînement, entraînée à partir de zéro uniquement sur les clients restants. Elle sert d'ancre contrefactuelle.

Catégories de métriques clés :

Vérification de l'oubli (Précondition) : Avant d'interpréter les coûts, l'étude vérifie que l'oubli a réellement eu lieu. Elle utilise une sonde de Taux de succès d'attaque par porte dérobée (ASR) (implantée dans le client sortant) et des attaques d'inférence d'appartenance (MIA). Une méthode n'est considérée comme valide que si elle réduit l'ASR au niveau de la référence de réentraînement ( $M_{ret}$ ).
Stabilité : Mesurée par la divergence de sortie (divergence KL) entre $M_{unl}$ et $M_{ret}$ , les écarts de précision et l'erreur de calibration.
Équité de performance : Mesurée par la dispersion ( $\sigma_{cl}$ ), la pire précision ( $a_{min}$ ) et l'étendue ( $\Gamma$ ) des précisions par client parmi les clients restants.
Équité de groupe : Mesurée par les changements dans les écarts de Parité Démographique (DP) et d'Égalité des Chances (EO) par rapport à $M_{ret}$ .

3. Contributions clés

Protocole de mesure unifié : Le document établit un benchmark reproductible pour les effets secondaires du FU, ancré à une référence de réentraînement à partir de zéro et intégrant la vérification de l'oubli avec les métriques de stabilité et d'équité.
Caractérisation empirique : Il fournit une caractérisation large de la manière dont les coûts d'oubli varient selon les méthodes, les jeux de données et les conditions contrôlées de non-IID, en isolant spécifiquement l'impact des profils de clients et de l'hétérogénéité.
Identification des compromis cachés :
- Compromis Stabilité–Équité–Oubli : L'étude révèle que les métriques agrégées (comme la précision globale) masquent des dommages concentrés. Un modèle peut paraître stable globalement tout en dégradant sévèrement les performances pour certains clients ou groupes spécifiques.
- Efficacité vs Oubli : Le document démontre que les méthodes « peu coûteuses » (Fine-tuning, Continue-to-train) semblent souvent efficaces uniquement parce qu'elles échouent à oublier. Inversement, les méthodes qui suppriment réellement l'influence (FedEraser, PGA) engendrent des coûts de stabilité plus élevés.
Orientation pratique : Les auteurs distillent des directives fondées sur des preuves pour la sélection des méthodes de FU en fonction des niveaux d'hétérogénéité et des exigences d'équité, en publiant le code et les configurations pour soutenir la recherche sur le FU sensible à l'équité.

4. Résultats clés

Vérification de l'oubli

FedEraser et PGA ont réussi à supprimer les influences de portes dérobées implantées, réduisant l'ASR au niveau de la référence de réentraînement.
Fine-tuning et Continue-to-train ont échoué à supprimer l'influence ; leur faible réduction de l'ASR indiquait qu'ils continuaient simplement l'entraînement sur les données restantes sans effacer la contribution spécifique du client sortant.
Conclusion : Les métriques de coût n'ont aucun sens sans une porte de vérification de l'oubli.

Impact de la stabilité et de l'hétérogénéité (RQ1 & RQ4)

Impact de l'hétérogénéité : Les coûts de stabilité (mesurés par la divergence KL) croissent de manière monotone avec le biais des données. À un biais extrême ( $\alpha=0.05$ ), le coût est environ 100 fois plus élevé que dans les contextes quasi-IID.
Impact du profil de client : Supprimer un client Grand ou à Motif Rare est nettement plus coûteux (jusqu'à 56x de dérive) que de supprimer un client typique ou petit.
Temporalité : Les départs survenant près de la convergence sont environ 7 fois plus coûteux que les départs précoces en raison de la dilution de l'influence au fil du temps.

Dommage agrégé vs distribué (RQ2)

La stabilité agrégée masque le dommage concentré : La précision globale reste souvent presque préservée (ex. : $\Delta Acc \approx 0.018$ ), mais la dispersion de la précision par client ( $\sigma_{cl}$ ) peut être massive (ex. : $0.428$).
Implication : Les opérateurs surveillant uniquement la précision globale passeront à côté d'une dégradation sévère affectant une minorité de clients restants.

Équité de groupe (RQ3)

Départs de Motifs Rares : L'oubli d'un client détenant un motif rare (ex. : intersection de groupes sensibles minoritaires) provoque des changements importants et imprévisibles dans les écarts de parité de groupe (DP et EO).
Directionnalité : La direction du changement (élargissement ou rétrécissement du biais) dépend du jeu de données et ne peut être prédite par les métriques de stabilité.
Indépendance : Le dommage à l'équité de groupe ne coïncide pas nécessairement avec le dommage à la stabilité ; un système peut être stable globalement mais injuste pour des groupes spécifiques.

Protocole d'agrégation

FedProx vs FedAvg : Les effets secondaires mesurés sont restés inchangés sous FedProx. Cela indique que les coûts sont inhérents à l'oubli sous hétérogénéité, et non des artefacts du mécanisme d'agrégation FedAvg.

5. Signification et affirmations

Le document affirme exposer un compromis stabilité–équité–oubli qui est caché par les métriques agrégées. Sa principale signification réside dans :

Correction des idées reçues : Il remet en question l'hypothèse selon laquelle les méthodes d'oubli à faible coût sont efficaces. Il soutient qu'un faible coût signifie souvent une non-suppression, tandis qu'une suppression efficace entraîne de réels coûts de stabilité.
Risque opérationnel : Il souligne que respecter les demandes de RTBF peut dégrader silencieusement le service pour certaines institutions restantes ou amplifier le biais contre les groupes protégés, des risques invisibles pour une surveillance standard.
Fondation pour des travaux futurs : En fournissant une base de preuves ouverte, le document soutient que la conception de méthodes d'oubli « sensibles à l'équité » nécessite d'abord de comprendre ces coûts collatéraux. Il pose comme postulat que les futures méthodes ne doivent pas seulement passer une porte d'oubli, mais aussi redistribuer les erreurs résiduelles pour prévenir les dommages concentrés.

Les auteurs restent modestes quant à la portée de leurs travaux, notant que leurs conclusions sont basées sur des modèles de petite taille et interprétables, ainsi que sur des contextes multi-silos avec pleine participation. Cependant, ils affirment que la structure qualitative des résultats (les compromis et le masquage des dommages concentrés) est robuste à travers les jeux de données et les protocols d'agrégation.