🤖 machine learning

ERIS: Enhancing Privacy and Scalability in Federated Learning via Federated Shard Aggregation

ERIS est un nouveau cadre d'apprentissage fédéré qui améliore la confidentialité et l'évolutivité des modèles à milliards de paramètres en introduisant l'agrégation de fragments fédérés pour distribuer les mises à jour côté client sur plusieurs agrégateurs, éliminant ainsi les goulots d'étranglement centraux et limitant les fuites d'informations tout en maintenant la convergence et l'utilité du modèle sans recourir à une cryptographie lourde.

Auteurs originaux : Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous et un groupe d'amies vouliez construire ensemble un cerveau de robot géant et ultra-intelligent. Le problème est que chacun possède son propre journal secret d'expériences personnelles (données) qu'il ne peut pas partager en raison des lois sur la confidentialité ou de la confiance personnelle.

L'Apprentissage Fédéré est l'idée que vous pouvez entraîner ce cerveau de robot sans que personne ne remette jamais ses journaux. Au lieu de cela, chacun entraîne une petite partie du cerveau sur son propre ordinateur et n'envoie que les « leçons apprises » (mises à jour mathématiques) à un enseignant central. L'enseignant combine ces leçons pour améliorer le robot.

Cependant, l'article souligne deux grands problèmes avec cette méthode actuelle :

Le Goulot d'étranglement : Si vous avez des millions d'amis, l'enseignant central est submergé en essayant de collecter et de trier toutes les leçons. C'est comme une personne essayant de trier un million de lettres dans un bureau de poste ; cela prend une éternité.
La Fuite de Confidentialité : Même si vous n'envoyez pas votre journal, les « leçons apprises » peuvent parfois être reconstituées par un hacker sournois pour deviner ce qui se trouvait dans votre journal.

Les auteurs présentent ERIS, un nouveau système conçu pour résoudre ces deux problèmes à la fois sans rendre le cerveau de robot moins intelligent. Voici comment cela fonctionne, en utilisant des analogies simples :

1. La Stratégie du « Puzzle » (Agrégation de Fragments Fédérés)

Dans l'ancien système, chacun envoie sa toute leçon à un seul enseignant central. Dans ERIS, le système utilise une technique appelée Agrégation de Fragments Fédérés (FSA).

Imaginez que chaque leçon est un puzzle géant et complexe.

L'Ancienne Façon : Chacun envoie son puzzle entier à une seule personne. Cette personne voit tout.
La Façon ERIS : Avant d'envoyer, chacun découpe son puzzle en 50 pièces séparées et non chevauchantes (fragments).
- La Personne A envoie la Pièce 1 à l'Enseignant 1, la Pièce 2 à l'Enseignant 2, la Pièce 3 à l'Enseignant 3, et ainsi de suite.
- L'Enseignant 1 ne voit que la Pièce 1 de tout le monde. L'Enseignant 2 ne voit que la Pièce 2.
- La Magie : Parce que les pièces sont découpées d'une manière spécifique et coordonnée, les enseignants peuvent toujours assembler leurs pièces pour former la même image exacte que l'ancien système. Le cerveau de robot apprend aussi bien.
- Le Gain de Confidentialité : Aucun enseignant unique ne voit jamais un puzzle entier. Si un pirate informatique pirate l'Enseignant 1, il n'obtient qu'un minuscule fragment inutile de l'information, pas tout le secret.

2. La « Carte Postale Compressée » (Compression Décalée Distribuée)

Même avec les pièces de puzzle, envoyer 50 pièces à 50 enseignants différents peut encore représenter beaucoup de courrier. Pour accélérer le processus, ERIS ajoute une deuxième couche appelée Compression Décalée Distribuée (DSC).

Pensez-y comme écrire votre leçon sur une carte postale au lieu d'un livre entier.

Avant de découper le puzzle, le système résume les parties les plus importantes et jette le superflu (compression).
Il utilise également un « truc de décalage » (comme un code secret) pour s'assurer que même si des informations sont jetées, les mathématiques s'additionnent parfaitement lorsque les enseignants les remettent ensemble.
Cela rend le « courrier » (transmission de données) minuscule, accélérant considérablement l'ensemble du processus.

3. Le Résultat : Un Système Plus Rapide, Plus Sûr, Plus Intelligent

L'article affirme qu'en combinant ces deux idées, ERIS réalise trois choses qui se combattent habituellement :

Confidentialité : Parce qu'aucun observateur unique ne voit l'image complète, il est beaucoup plus difficile pour les pirates informatiques de voler des données privées. L'article prouve mathématiquement que plus vous avez d'« enseignants » (agrégateurs), plus c'est sûr.
Évolutivité : Parce que le travail est réparti parmi de nombreux enseignants au lieu d'un seul, le système ne se bouche pas. Il peut gérer d'énormes modèles (comme ceux utilisés pour les grands modèles de langage) sans ralentir.
Utilité (Intelligence) : C'est la partie la plus importante. Habituellement, lorsque vous essayez de rendre les choses plus privées ou plus rapides, le cerveau de robot devient « moins intelligent » (moins précis). ERIS prétend être le premier système qui garde le cerveau aussi intelligent que la version originale non modifiée, tout en restant privé et rapide.

La Conclusion

Les auteurs ont testé ERIS sur diverses tâches, de la reconnaissance d'images de chats et de chiens à la compréhension du langage humain. Ils ont constaté que :

Il était aussi précis que la méthode standard.
Il était beaucoup plus difficile pour les pirates informatiques de voler des données ou de deviner sur quoi les gens s'entraînaient.
Il était beaucoup plus rapide à exécuter, surtout lorsqu'il s'agissait de modèles massifs.

En bref, ERIS est comme une nouvelle façon d'organiser un projet de groupe où chacun divise son travail en minuscules fragments secrets, les envoie à différents chefs d'équipe, et les réassemble parfaitement à la fin — garantissant qu'aucune personne ne voit l'image complète, mais que le résultat final est parfait.

Résumé technique : ERIS – Amélioration de la confidentialité et de l'évolutivité dans l'apprentissage fédéré via l'agrégation de fragments fédérés

Énoncé du problème

Le passage à l'échelle de l'apprentissage fédéré (FL) vers des modèles à milliards de paramètres (par exemple, les grands modèles de langage) crée un compromis critique entre confidentialité, évolutivité et utilité du modèle. Les solutions existantes abordent généralement ces défis de manière isolée, sacrifiant souvent l'un pour les autres :

Confidentialité vs Utilité : Les méthodes basées sur la perturbation, comme la confidentialité différentielle (DP) ou l'élagage des gradients, réduisent les fuites d'information mais dégradent fréquemment la précision du modèle, en particulier dans les grands modèles ou les régimes à faible quantité de données. Les protocoles cryptographiques (par exemple, l'agrégation sécurisée) masquent les mises à jour mais introduisent une surcharge computationnelle et des exigences matérielles significatives, entravant l'évolutivité.
Évolutivité vs Utilité : Le FL centralisé traditionnel souffre d'un goulot d'étranglement au niveau du serveur unique, entraînant une congestion du réseau et des inefficacités de communication à mesure que le nombre de clients augmente. Les architectures entièrement décentralisées distribuent la communication mais reposent souvent sur une agrégation limitée au voisinage, ce qui peut altérer la trajectoire d'optimisation, ralentir la convergence ou réduire l'utilité finale du modèle par rapport au FedAvg centralisé.
Le conflit central : Les méthodes actuelles introduisent souvent des approximations, des perturbations ou des écarts par rapport à l'agrégation centralisée qui modifient la trajectoire d'apprentissage. Il existe un besoin persistant d'un cadre qui préserve simultanément l'utilité de la collaboration centralisée, assure une confidentialité informationnelle et s'adapte efficacement sans dépendre de la cryptographie lourde ou du bruit dégradant l'utilité.

Méthodologie : Le cadre ERIS

Les auteurs proposent ERIS, un nouveau cadre FL centré sur l'agrégation de fragments fédérés (FSA), éventuellement renforcé par la compression décalée distribuée (DSC).

1. Agrégation de fragments fédérés (FSA)

La FSA est le mécanisme central conçu pour éliminer le goulot d'étranglement de l'agrégation centrale tout en préservant la trajectoire de mise à jour exacte du FL centralisé.

Fragmentation : Au lieu d'envoyer une mise à jour complète d'un client à un serveur central, chaque client partitionne son vecteur de mise à jour en $A$ fragments disjoints et non chevauchants à l'aide de masques binaires.
Agrégation distribuée : Chaque fragment est envoyé à un agrégateur distinct côté client. Les agrégateurs calculent indépendamment la moyenne des fragments qu'ils reçoivent de tous les clients.
Réassemblage : Les agrégateurs diffusent leurs mises à jour de modèle partielles vers les clients. Les clients réassemblent le modèle global complet en sommant les fragments reçus.
Propriété clé : Parce que les fragments sont disjoints et complets (leurs masques somment au vecteur de uns), le modèle global réassemblé est mathématiquement identique à celui produit par le FedAvg centralisé. Aucune coordonnée n'est rejetée et aucune erreur d'approximation n'est introduite lors de l'étape d'agrégation.

2. Intégration avec la compression décalée distribuée (DSC)

Pour améliorer davantage l'évolutivité et la confidentialité, ERIS intègre la DSC comme une couche de prétraitement avant la fragmentation.

Mécanisme : Les clients appliquent un opérateur de compression décalée à leurs gradients locaux avant le partitionnement. Cela réduit le nombre de paramètres transmis et les coordonnées exposées dans chaque fragment.
Compensation du décalage : Pour maintenir la convergence, les clients et les agrégateurs maintiennent des vecteurs de référence pour suivre et compenser le décalage de compression, garantissant que la mise à jour agrégée reste non biaisée.
Modularité : Cette conception permet à ERIS d'incorporer d'autres transformations (par exemple, la DP) avant le partitionnement, à condition que le côté agrégation applique des corrections correspondantes.

Contributions clés

Agrégation de fragments fédérés (FSA) : Un mécanisme d'agrégation distribuée qui fragmente les mises à jour des clients sur plusieurs agrégateurs. Il élimine le goulot d'étranglement du serveur central, limite les informations visibles par un seul observateur (améliorant la confidentialité) et préserve la trajectoire de mise à jour exacte du FL centralisé (assurant l'utilité).
Intégration transparente de la DSC : Le cadre prend en charge naturellement la DSC, réduisant les charges utiles transmises et les coordonnées exposées sans compromettre les garanties d'utilité fournies par la FSA.
Garanties théoriques :
- Convergence : Les auteurs prouvent que la FSA n'entraîne aucune perte d'information par rapport à l'agrégation centralisée. Avec la DSC, ils établissent des bornes de convergence montrant que l'utilité dépend de la variance de l'estimateur de gradient et est indépendante du nombre de tours $T$ (contrairement à certaines méthodes DP compressées antérieures).
- Confidentialité : Ils dérivent une borne supérieure informationnelle sur la fuite d'information mutuelle. La fuite est montrée comme évoluant avec $1/A$ (où $A$ est le nombre d'agrégateurs) et la probabilité de rétention de compression $p$ . Cela démontre une amplification de la confidentialité par la fragmentation et la compression.
Validation empirique : Des expériences extensives sur des tâches d'image (MNIST, CIFAR-10, ImageNet, LFW) et de texte (IMDB, CNN/DailyMail), allant de petits modèles à des LLM de 1,3 milliard de paramètres, valident le cadre par rapport à six bases de référence de l'état de l'art.

Résultats expérimentaux

L'article évalue ERIS selon trois dimensions :

Utilité : ERIS atteint des performances comparables au FedAvg non privé sur tous les jeux de données et tailles de modèles, y compris les grands modèles de langage. En revanche, des bases de référence comme FedAvg-LDP, PriPrune et SoteriaFL souffrent souvent d'une dégradation significative de la précision, en particulier dans les grands modèles ou les régimes à faible quantité de données.
Confidentialité :
- Attaques par inférence d'appartenance (MIA) : ERIS réduit considérablement la précision des MIA par rapport au FedAvg, s'approchant de la base de référence "Min. Leakage" (où aucun gradient n'est partagé). L'augmentation du nombre d'agrégateurs ( $A$ ) et de la force de compression ( $\omega$ ) réduit davantage les fuites.
- Attaques de reconstruction de données (DRA) : Contre les attaques en boîte blanche (DLG, iDLG, ROG, GGL), ERIS rend les reconstructions fortement déformées. Même avec une configuration minimale ( $A=2$ ), le système obscurcit efficacement les gradients, alors que la compression seule est souvent insuffisante contre les attaques adaptatives.
Évolutivité :
- Efficacité de communication : En distribuant l'agrégation, ERIS élimine le goulot d'étranglement central. Pour un modèle de 1,3 milliard de paramètres, ERIS réduit le temps de distribution d'environ 5200 s (FedAvg) à environ 468 s (sans DSC) et jusqu'à environ 236 s (avec DSC).
- Réduction de la charge utile : Avec la DSC, ERIS peut réduire la taille de téléversement à environ 1 % de la mise à jour complète (par exemple, 46,8 Mo pour un modèle de 1,3 milliard de paramètres) tout en maintenant l'utilité.

Importance et revendications

L'article revendique qu'ERIS constitue une étape fondamentale pour les systèmes FL de nouvelle génération en démontrant que la confidentialité et l'évolutivité peuvent être renforcées sans sacrifier l'utilité du modèle.

Briser le compromis : Contrairement aux méthodes précédentes qui forcent un choix entre confidentialité/évolutivité et précision, ERIS maintient la trajectoire d'optimisation exacte du FL centralisé tout en distribuant la charge et en limitant l'exposition des informations.
Indépendance vis-à-vis de la cryptographie lourde : Le cadre atteint de fortes garanties de confidentialité grâce à une conception architecturale (fragmentation) et des bornes informationnelles, évitant la surcharge computationnelle du calcul multipartite sécurisé ou des environnements d'exécution de confiance.
Robustesse : Le système s'avère robuste face aux défaillances des agrégateurs et des liens (dégradation gracieuse) et efficace contre les attaques par inférence d'appartenance et de reconstruction de données.
Généralité : La nature modulaire de la FSA lui permet de prendre en charge divers algorithmes de FL centralisé (par exemple, FedAdam, FedYogi) et de s'intégrer avec d'autres mécanismes de confidentialité, la positionnant comme une couche à usage général pour un apprentissage évolutif et respectueux de la vie privée.