⚡ electrical engineering

Fed-FBD: Federated Functional Block Diversification for Isolation, Privacy, and Surgical Unlearning

Fed-FBD est une architecture d'apprentissage fédéré modulaire qui décompose les réseaux de neurones en blocs fonctionnels suivis indépendamment afin de fournir une isolation architecturalement garantie contre les clients adverses, une confidentialité intrinsèque contre l'inférence d'appartenance, et un désapprentissage chirurgical en moins d'une seconde des participants sortants, tout en maintenant une précision compétitive sur des ensembles de données d'images médicales et générales.

Auteurs originaux : Weijie Chen, Alan B. McMillan

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weijie Chen, Alan B. McMillan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigiez un concours de cuisine massif où des chefs issus de différents hôpitaux (les « clients ») veulent créer la meilleure recette du monde pour diagnostiquer des maladies, mais qu'ils ne peuvent pas partager leurs ingrédients secrets (les données des patients) entre eux en raison des lois sur la protection de la vie privée.

Dans la méthode standard actuelle (appelée FedAvg), tous les chefs envoient leurs notes à un juge central, qui les mélange toutes pour créer une seule et immense « Recette Maîtresse ».

Le Problème : Si un chef est un saboteur (un « client adverse ») ou s'il commet simplement une énorme erreur, il gâche l'intégralité de la Recette Maîtresse. Si un chef veut partir et que sa contribution soit supprimée, vous devez jeter toute la Recette Maîtresse et recommencer la cuisine depuis le début.

Le papier présente un nouveau système appelé FED-FBD. Au lieu d'une seule gigantesque Recette Maîtresse, ce système construit un Entrepôt de six différentes recettes de « couleurs ».

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La Cuisine Modulaire (Diversification des Blocs Fonctionnels)

Imaginez qu'un ResNet (le modèle d'IA) n'est pas un bloc d'argile unique, mais une voiture composée de six parties distinctes : le moteur, le châssis, les roues, l'intérieur, l'électronique et la peinture.

Dans FED-FBD, le système crée six versions différentes (ou « couleurs ») de la voiture finale.

La Couleur A pourrait avoir un moteur du Chef 1, des roues du Chef 2 et de la peinture du Chef 3.
La Couleur B pourrait avoir un moteur du Chef 2, des roues du Chef 3 et de la peinture du Chef 4.

L'entrepôt garde une trace exacte de quel chef a contribué à quelle partie de quelle voiture de couleur.

2. Le « Pare-feu » contre les Saboteurs (Isolation)

C'est le super-pouvoir du système.

Le Scénario : Le Chef 1 est un saboteur. Il essaie de placer une bombe dans le moteur de la Couleur A.
Le Résultat : Comme le Chef 1 n'avait accès qu'au moteur de la Couleur A, il ne peut pas toucher aux roues, à la peinture, ni au moteur de la Couleur B, C, D, E ou F.
L'Issue : Les « Couleurs Propres » (B à F) restent parfaitement sûres et fonctionnelles. Le saboteur n'a fait que gâcher les voitures spécifiques qu'il était autorisé à toucher. Dans l'ancien système, la bombe aurait fait exploser la Recette Maîtresse unique, tout ruinant pour tout le monde.

3. Le « Droit à l'Oubli » (Désapprentissage Chirurgical)

Et si le Chef 2 décide de démissionner et exige que sa contribution soit effacée ?

L'Ancienne Méthode : Vous devez réentraîner tout le modèle à partir de zéro, ce qui prend des jours.
La Méthode FED-FBD : Le système examine l'entrepôt, trouve les parties spécifiques (les blocs) que le Chef 2 a construites, et les remplace simplement par la moyenne des parties des autres chefs.
La Vitesse : Cela se produit en moins d'une seconde. C'est comme changer un pneu sur une voiture garée, plutôt que de reconstruire toute l'usine.

4. Confidentialité Intégrée (Privacy-by-Design)

Dans l'ancien système, la Recette Maîtresse mémorisait des détails sur des patients spécifiques, ce qui pouvait être piraté pour révéler qui figurait dans les données d'entraînement.

FED-FBD : Parce que les données sont divisées si finement (chaque « partie » de la voiture n'est confrontée qu'à une infime tranche des données), aucune partie individuelle ne peut apprendre assez pour mémoriser un patient spécifique.
Le Résultat : Même avant d'ajouter des mesures de sécurité supplémentaires, le système est naturellement « aveugle » aux identités individuelles. C'est comme essayer de deviner le visage d'une personne spécifique en regardant un seul pixel d'une photo ; c'est impossible.

5. Le Compromis (Le Coût)

Est-ce parfait ? Presque, mais il y a un petit prix à payer.

Le Coût : Sur des ensembles de données très larges et bien équilibrés, le nouveau système est légèrement moins précis (environ 0,3 % à 3 % de moins) que l'ancienne méthode de la « Recette Maîtresse ».
Le Bénéfice : Vous échangez une infime partie de précision contre une sécurité totale face aux saboteurs, une suppression instantanée des acteurs malveillants et une confidentialité intégrée.
Le Piège : Si les données sont très désordonnées ou si les chefs disposent de très peu de données (petits ensembles de données), le système peut avoir du mal à s'accorder sur une bonne recette, et la précision chute de manière plus significative.

Résumé

FED-FBD change la donne : on passe de « tout mélanger dans un même pot » à « construire une bibliothèque de composants modulaires et tracés ».

Si un composant est empoisonné, seule cette partie spécifique est gâchée ; le reste de la bibliothèque est en sécurité.
Si un chef part, vous remplacez simplement ses composants spécifiques instantanément.
Le système est naturellement privé car aucun composant ne voit assez de données pour mémoriser des secrets.

Le papier prouve que cela fonctionne bien sur des ensembles de données d'imagerie médicale (comme des radiographies et des scanners cutanés), en maintenant le système sûr et privé tout en conservant des performances élevées, à condition qu'il y ait suffisamment de données disponibles.

Résumé Technique : FED-FBD

Problématique

L'apprentissage fédéré (FL - Federated Learning) permet l'entraînement collaboratif de modèles sur des données médicales décentralisées sans partager les dossiers bruts des patients. Cependant, les méthodes dominantes comme FedAvg, FedProx et FedNova traitent les clients comme des boîtes noires, ce qui entraîne trois vulnérabilités critiques dans les déploiements médicaux réalistes :

Manque d'isolation : Un client malveillant ou avec des étiquettes erronées peut corrompre l'ensemble du modèle global car le gradient de chaque client contribue à chaque paramètre.
Faibles garanties de confidentialité : Le FL standard n'offre aucune confidentialité intrinsèque ; la protection repose sur des mécanismes « ajoutés après coup » comme la confidentialité différentielle ou l'agrégation sécurisée.
Oubli inefficace : Respecter le « droit à l'oubli » d'un participant nécessite généralement de réentraîner le modèle à partir de zéro ou d'utiliser des approximations coûteuses.

Les auteurs soutiennent que ces problèmes découlent d'une racine commune : chaque poids est une ressource partagée. Si les paramètres étaient plutôt détenus par de petits ensembles de clients connus, la contamination pourrait être contenue par construction, la mémorisation structurellement limitée, et le retrait d'un client réduit à une opération d'ensemble.

Méthodologie : FED-FBD

Le papier propose FED-FBD (Federated Functional Block Diversification), une architecture modulaire qui décompose un squelette ResNet en six blocs fonctionnels : la tige (stem), quatre groupes résiduels et la tête de classification.

Architecture Centrale

L'Entrepôt (The Warehouse) : Le serveur maintient un entrepôt de $N$ « variantes de couleurs » (modèles complets). Chaque couleur est assemblée à partir d'un bloc par position fonctionnelle.
Estampillage des Contributeurs (Contributor Stamping) : Chaque tenseur de poids de bloc reçoit un hachage unique et une trace d'entraînement enregistrant les identifiants spécifiques des clients qui l'ont mis à jour.
Plan d'Expédition (Shipping Plan) : Un plan prédéfini restreint chaque client à un sous-ensemble connu de couleurs. Par exemple, dans une configuration à 6 clients et 6 couleurs, le Client 0 pourrait n'être autorisé à écrire que dans les blocs des couleurs $M_0, M_1, M_2$ . Par conséquent, les couleurs $M_3, M_4, M_5$ sont architecturalement isolées du Client 0.
Objectif d'Entraînement : Les clients minimisent une fonction de perte combinant l'exactitude de l'entropie croisée et un terme de divergence de Kullback-Leibler (KL). Le terme KL tire les prédictions d'un client vers une « couleur sœur » choisie aléatoirement et dotée d'une paramétrisation différente pour encourager la diversité fonctionnelle et prévenir l'effondrement.
Protocole Serveur : Le serveur effectue un remplacement direct des poids de blocs plutôt qu'une moyenne pondérée. Lorsqu'un client renvoie un bloc mis à jour, il écrase le tenseur existant pour cette intersection spécifique bloc-couleur.

Mécanismes Clés

Isolation au niveau du bloc : Parce que les blocs sont remplacés directement, tout bloc exclu du plan d'expédition d'un client est mathématiquement garanti de ne jamais contenir d'informations dérivées des données de ce client.
Oubli Chirurgical (Surgical Unlearning) : Pour supprimer un client, le serveur identifie tous les blocs où le client est un contributeur et remplace ces blocs par la moyenne des autres couleurs « propres » à ces positions. Cela ne nécessite aucun réentraînement.
Routage d'Inférence : Lors de l'inférence, le système peut router les prédictions vers la couleur la plus fiable par échantillon ou moyenner l'ensemble, permettant l'exclusion post-hoc des couleurs compromises.

Principales Contributions

Isolation Architecturale : FED-FBD fournit une isolation parfaite au niveau des blocs. Les expériences montrent que même sous des attaques adverses sévères (inversion d'étiquettes, injection de bruit), les « couleurs propres » (celles que l'attaquant ne peut toucher) ne dévient pas de plus de $\pm 0,01$ AUC, tandis que les couleurs empoisonnées se dégradent significativement.
Confidentialité par Conception : Le framework supprime structurellement la mémorisation. L'avantage de l'attaque d'inférence d'appartenance (MIA) est indiscernable du hasard ( $0,50 \pm 0,01$ ) avant l'application de tout mécanisme de confidentialité explicite, car aucun bloc unique ne voit assez de données pour mémoriser des échantillons individuels.
Efficacité de l'Oubli : Le papier démontre un apprentissage machine non-répertorié (unlearning) « chirurgical » via le remplacement de blocs agrégés. Cela permet une suppression exacte de la contribution d'un client en un temps de calcul inférieur à la seconde avec une perte d'utilité de moins de $0,25\%$ AUC, évitant ainsi le besoin de réentraînement.
Caractérisation de la Transition de Phase : Les auteurs identifient une transition de phase « données par client $\times$ hétérogénéité ». FED-FBD est compétitif (à environ $4\%$ de FedAvg) lorsque les clients disposent de suffisamment de données (ex. $\ge 15\,000$ échantillons), même sous une forte hétérogénéité ( $\alpha=0,25$ ), mais ses performances s'effondrent sur de très petits jeux de données avec une forte asymétrie.

Résultats Expérimentaux

Les expériences ont été menées sur six jeux de données MedMNIST-2D, PathMNIST à une résolution de $224\times224$ , et CIFAR-10 avec 6 clients et 100 cycles de communication.

Compromis d'Exactitude : Sur des jeux de données de taille adéquate, FED-FBD échange un écart d'exactitude modeste de $0,3\%$ à $3,1\%$ contre FedAvg pour ses garanties de sécurité. Sur PathMNIST ( $224\times224$ ), l'écart se réduit à $1,2\%$ .
Performance Non-IID : Sous une hétérogénéité légère ( $\alpha=1,0$ ), FED-FBD reste dans une plage de $0,8\%$ à $4,0\%$ de FedAvg sur trois des quatre jeux de données. Les performances se dégradent sous une asymétrie extrême sur de petits jeux de données, mais l'écart se réduit à mesure que le nombre d'échantillons par client augmente.
Robustesse Adversaire : À travers six configurations d'attaque, les couleurs propres sont restées isolées. Un simple score z côté serveur sur la perte de validation a détecté $39\%$ à $76\%$ des attaques avec peu de faux positifs.
Efficacité de l'Oubli : Les opérations d'oubli se sont achevées en moins d'une seconde avec une perte d'AUC négligeable (pire cas $-0,0022$).

Signification et Revendications

Le papier affirme que FED-FBD déplace le paradigme de l'apprentissage fédéré de la sécurité « probabiliste » (reposant sur l'agrégation robuste ou le bruit) vers une sécurité structurelle. En rendant la propriété des paramètres granulaire et explicite :

La contamination devient impossible plutôt que simplement improbable.
L'oubli devient une opération de recherche et d'agrégation plutôt qu'un problème d'optimisation.
La confidentialité est inhérente à l'architecture, et non un ajout.

Les auteurs positionnent FED-FBD comme une solution spécifiquement motivée par les besoins stricts de gouvernance des données des réseaux hospitaliers, offrant un moyen de gérer les clients empoisonnés et les demandes de suppression sans réentraînement coûteux. Ils reconnaissent les limites, notamment les plans d'expédition fixes et le fait que l'oubli exact n'est possible que pour les blocs possédés exclusivement, mais soutiennent que le compromis sur l'exactitude est justifié pour les applications médicales à enjeux élevés où l'isolation et l'auditabilité sont primordiales.