🤖 machine learning

Robust Federated Inference

Ce papier traite de la vulnérabilité critique de l'inférence fédérée face aux attaques en formalisant le problème, en analysant les limites des agrégateurs basés sur la moyenne, et en proposant un nouveau cadre basé sur DeepSet qui combine l'entraînement adversaire avec une agrégation robuste au moment du test pour améliorer significativement la précision par rapport aux méthodes existantes.

Auteurs originaux : Akash Dhasade, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Maxime Jacovella, Anne-Marie Kermarrec, Rafael Pinot

Publié 2026-04-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akash Dhasade, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Maxime Jacovella, Anne-Marie Kermarrec, Rafael Pinot

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Ce papier résout principalement un problème concernant « comment écouter en toute sécurité les opinions de multiples parties ».

Imaginez que vous êtes un directeur d'école (serveur) ayant à sa disposition un groupe d'élèves (clients/modèles). Ces élèves apprennent chacun localement, possédant leurs propres connaissances (données privées), mais leurs niveaux de compétence sont inégaux, et il est possible que quelques perturbateurs (attaquants malveillants) se soient infiltrés parmi eux.

Vous avez maintenant une question à poser à tous, dans l'espoir d'obtenir la réponse la plus précise. C'est ce qu'on appelle l'« inférence fédérée » (Federated Inference) : le directeur ne collecte pas les devoirs des élèves (les données), mais leur demande directement leurs réponses, puis agrège l'ensemble de ces réponses.

Le cœur de ce papier est le suivant : lorsque les perturbateurs écrivent délibérément des réponses erronées, comment le directeur peut-il agréger intelligemment pour ne pas être égaré ?

Voici une décomposition du contenu du papier en langage courant et simple :

1. État des lieux : comment procédait-on auparavant ? (Moyenne simple vs. être égaré)

L'ancienne méthode (Moyenne simple) :
Le directeur additionne les réponses de 10 élèves et divise par 10.
- Problème : Si 3 perturbateurs écrivent délibérément « la réponse est 999 », tandis que les bons élèves écrivent « la réponse est 1 », la moyenne pourrait devenir « 300 », ce qui est totalement faux.
Les améliorations précédentes (Moyenne robuste) :
Le directeur est intelligent ; il sait éliminer les notes les plus hautes et les plus basses (par exemple, en retirant les réponses extrêmes des 3 perturbateurs), puis calcule la moyenne. C'est comme la méthode de la moyenne élaguée.
- Problème : Le papier révèle que même en éliminant les perturbateurs, si les réponses des bons élèves présentent elles-mêmes une certaine « divergence » (par exemple, certains pensent que c'est 1, d'autres 2), ou si les perturbateurs sont rusés et modifient leurs réponses pour qu'elles soient très proches de la réponse correcte sans l'être exactement, une simple « moyenne élaguée » risque toujours de choisir la mauvaise réponse. C'est comme si, même après avoir éliminé les notes les plus aberrantes, la réponse correcte et la réponse erronée parmi les notes restantes étaient si proches que le directeur risquait encore de se tromper.

2. Découverte centrale : pourquoi une simple « élagage » est-il insuffisant ?

Les auteurs du papier ont réalisé une analyse mathématique et ont constaté que les erreurs du directeur dépendent principalement de trois facteurs :

La proportion de perturbateurs : Plus il y a de mauvais élèves, plus c'est difficile.
La divergence entre les bons élèves : Si les bons élèves se disputent eux-mêmes (leurs réponses sont très différentes), il est difficile pour le directeur de déterminer qui a raison.
La « solidité » de la réponse correcte : Si la réponse correcte est nettement supérieure aux autres (par exemple, une probabilité de 90 % pour la réponse correcte contre 5 % pour les autres), l'erreur est peu probable ; mais si la réponse correcte ne dépasse la deuxième que de peu (par exemple, 40 % contre 39 %), il est très facile de se tromper à cause d'une légère perturbation.

Conclusion : Se contenter d'éliminer les perturbateurs (moyenne élaguée) ne suffit pas, car les réponses des bons élèves peuvent elles-mêmes être floues, ou les perturbateurs peuvent jouer la carte de la « micro-ajustement ».

3. Solution innovante : DeepSet + entraînement adversarial (donner au directeur un « super-cerveau »)

Pour résoudre ce problème, les auteurs proposent une « combinaison de techniques », comme si l'on équipait le directeur d'un système d'assistance par IA :

Étape 1 : Donner au directeur un « super-cerveau » (Modèle DeepSet)

Le directeur ne se contente plus de simples additions et multiplications, mais utilise un réseau de neurones (DeepSet).

Analogie : Ce cerveau est très intelligent ; il ne se soucie pas de l'ordre dans lequel les élèves répondent (peu importe qui répond en premier ou en dernier, le résultat est le même). Il peut apprendre des régularités à partir de motifs de réponses complexes.
Difficulté : Comment entraîner ce cerveau ? Si, à chaque entraînement, l'identité des perturbateurs change (aujourd'hui c'est Zhang San, demain c'est Li Si), le volume d'entraînement serait trop important, impossible à calculer.
Astuce : Les auteurs ont découvert qu'il suffit de tirer aléatoirement un petit sous-ensemble de combinaisons de perturbateurs pour l'entraînement ; le cerveau apprendra ainsi à identifier les « caractéristiques des perturbateurs », sans avoir besoin d'énumérer toutes les possibilités. C'est comme « faire face au changement par l'immutabilité ».

Étape 2 : Double assurance (Entraînement adversarial + élagage lors de l'inférence)

Les auteurs ont combiné deux techniques :

Entraînement adversarial (Adversarial Training) : Lors de l'entraînement du cerveau du directeur, on crée délibérément divers « perturbateurs » pour l'attaquer, afin qu'il apprenne à rester lucide dans le chaos. C'est comme « s'entraîner dans des simulations de combat pour monter de niveau ».
Élagage lors de l'inférence (Robust Averaging) : Lors du véritable examen (inférence), le cerveau du directeur, avant de produire la réponse finale, passe d'abord par un filtre de « moyenne élaguée » pour éliminer une nouvelle fois les valeurs aberrantes les plus flagrantes.

Analogie : C'est comme un arbitre entraîné par des forces spéciales (entraînement adversarial) qui, avant de siffler, élimine d'abord plusieurs concurrents ayant clairement triché (moyenne élaguée).

4. Résultats : une victoire éclatante

Les auteurs ont testé cette méthode sur divers examens (jeux de données : CIFAR-10, CIFAR-100, AG-News) :

Adversaires : La traditionnelle « moyenne élaguée », la simple « vote médian », et d'autres méthodes de défense antérieures.
Attaquants : Divers perturbateurs très intelligents (y compris une nouvelle invention, l'« attaque inverse la plus puissante SIA »).
Résultats : La combinaison « super-cerveau + double assurance » de l'auteur a obtenu les meilleurs résultats dans tous les tests.
- Dans des situations extrêmement difficiles, la précision était supérieure de 4,7 % à 22,2 % par rapport au deuxième meilleur.
- C'est comme si, dans une pièce bruyante remplie de perturbations, seul ce directeur pouvait entendre clairement la réponse correcte, tandis que les autres devinaient au hasard.

5. Résumé : que dit exactement ce papier ?

En termes simples, ce papier nous dit :
Dans des scénarios de collaboration multipartite (apprentissage/inférence fédérée), les approches simples du « la minorité suit la majorité » ou de « l'élimination des valeurs extrêmes » ne suffisent plus face à des interférences rusées. Nous avons besoin de :

Un agrégateur plus intelligent (remplacer la moyenne mathématique simple par un réseau de neurones).
Un entraînement plus rigoureux (simuler diverses attaques lors de l'entraînement pour renforcer le modèle).
Une double défense (s'entraîner en simulation, puis filtrer à nouveau lors de l'utilisation).

Une analogie en une phrase :
Auparavant, nous pensions qu'en éliminant les perturbateurs et en faisant la moyenne des réponses des bons élèves, nous obtiendrions un score élevé ; maintenant, les auteurs nous disent que les bons élèves peuvent aussi avoir des opinions divergentes, et les perturbateurs sont très rusés. Par conséquent, nous avons besoin d'un super-arbitre formé par un « entraînement diabolique », capable à la fois de comprendre les opinions complexes des bons élèves et de démasquer d'un coup d'œil les déguisements des perturbateurs, afin de prendre la décision la plus précise au milieu du chaos.

Résumé Technique : Inférence Fédérée Robuste

Formulation du Problème

L'article comble une lacune critique en matière de robustesse au sein de l'Inférence Fédérée, un paradigme où un serveur central agrège les prédictions de plusieurs modèles détenus par des clients (par exemple, via l'apprentissage fédéré en une seule passe, des ensembles de périphérie ou des ensembles fédérés) sans accéder aux données locales ni aux poids des modèles. Alors que la littérature existante se concentre sur la précision de tels ensembles, elle néglige largement leur vulnérabilité aux défaillances byzantines et aux sorties empoisonnées.

Les auteurs formalisent le problème de l'Inférence Fédérée Robuste comme suit :

Configuration : Un système de $n$ clients, chacun possédant un classifieur local à valeurs probit $h_i$ mappant les entrées vers un simplexe de probabilité $\Delta_K$ .
Modèle de Menace : Jusqu'à $f < n/2$ clients (d'identités cachées) peuvent renvoyer des vecteurs probit arbitrairement corrompus au moment de l'inférence.
Objectif : Concevoir un schéma d'agrégation $\psi$ qui minimise le risque d'inférence fédérée robuste ( $R_{adv}$ ), défini comme l'erreur de prédiction dans le pire des cas sur tous les motifs de corruption possibles de taille $f$ , tout en maintenant la précision sur la distribution globale des données.

L'article distingue deux types d'agrégateurs :

Linéaires (basés sur la moyenne) : Le serveur calcule une moyenne robuste des probits des clients (par exemple, la Moyenne Élaguée par Coordonnée - CWTM) avant de prendre l'argmax.
Non linéaires (Appris) : Le serveur utilise un agrégateur neuronal entraîné pour combiner les probits des clients, qui a montré des performances supérieures dans des contextes non corrompus mais manque de garanties de robustesse.

Méthodologie

1. Analyse des Agrégateurs Basés sur la Moyenne

Les auteurs analysent d'abord les schémas de moyenne robuste (comme CWTM) comme référence. Ils démontrent que, bien que la moyenne robuste assure que la sortie soit proche de la moyenne des probits honnêtes en norme $\ell_2$ , cette proximité ne garantit pas une classification correcte en raison de la non-continuité de l'opérateur argmax.

Insight Théorique : Ils dérivent un certificat de robustesse montrant que l'erreur de l'agrégateur dépend de trois facteurs :
1. La fraction de corruptions ( $f/n$ ).
2. La dissimilarité entre les sorties des clients honnêtes ( $\sigma_x$ ).
3. La marge entre les deux classes prédites en tête.
Conclusion : La moyenne robuste est insuffisante lorsque la marge est faible ou que les modèles clients sont très dissemblables, même si l'agrégation est robuste d'un point de vue statistique.

2. Inférence Robuste comme Problème d'Apprentissage Adversarial

Pour les agrégateurs non linéaires, les auteurs formulent le problème comme un problème d'apprentissage adversarial sur l'espace des vecteurs probit.

Défi : L'entraînement adversarial standard est computationnellement intraitable car l'ensemble des sous-ensembles adversariaux possibles (choisir $f$ clients malveillants parmi $n$ ) a une cardinalité élevée ( $\binom{n}{f} \times f!$ ).
Solution (DeepSet) : Les auteurs proposent d'utiliser une architecture DeepSet (Zaheer et al., 2017), qui est invariante par permutation. Cette propriété permet de réduire l'espace de recherche des permutations aux combinaisons ( $\binom{n}{f}$ ), rendant le problème plus traitable.
Approximation : Au lieu d'énumérer tous les sous-ensembles adversariaux, ils échantillonnent un petit nombre $N$ de configurations adverses aléatoires pendant l'entraînement ( $N \ll \binom{n}{f}$ ) et appliquent une méthode de gradient rapide multi-étapes (FGSM) pour perturber les probits des adversaires sélectionnés.

3. La Composition DeepSet-TM

Pour renforcer davantage la robustesse, les auteurs introduisent une composition novatrice de l'Entraînement Adversarial et de la Moyenne Robuste au moment de l'inférence :

Architecture : Un modèle DeepSet où les probits d'entrée sont d'abord traités par un opérateur de moyenne robuste (CWTM) avant d'être alimentés dans l'agrégateur neuronal.
Stratégie d'Entraînement : Le modèle est entraîné de manière adversariale sur les probits bruts (sans CWTM) pour apprendre des caractéristiques robustes.
Stratégie d'Inférence : Au moment du test, la moyenne robuste (CWTM) est appliquée aux entrées des clients avant l'inférence DeepSet. Cela découple le coût de l'entraînement du mécanisme de robustesse au moment de l'inférence, empêchant le processus d'entraînement de devenir prohibitivement coûteux.

Contributions Clés

Formalisation : La première définition formelle et l'analyse de robustesse du problème d'inférence fédérée sous des corruptions byzantines.
Bornes Théoriques : Déduction de certificats de robustesse formels pour les agrégateurs linéaires (moyenne) et non linéaires (DeepSet), reliant les taux d'erreur aux fractions de corruption, à la dissimilarité des modèles et aux marges de prédiction.
Innovation Algorithmique : La proposition de DeepSet-TM, une méthode combinant des réseaux neuronaux invariants par permutation avec un entraînement adversarial et une moyenne robuste au moment du test. Cette approche résout l'intratabilité computationnelle de l'entraînement contre des sous-ensembles arbitraires d'adversaires.
Nouvelle Attaque : Introduction de l'Attaque Inversée la Plus Forte (SIA), une nouvelle attaque en boîte blanche et en boîte noire qui exploite la deuxième classe la plus probable pour inverser les décisions d'agrégation, utilisée pour évaluer rigoureusement les défenses.

Résultats Expérimentaux

Les auteurs évaluent leur approche sur CIFAR-10, CIFAR-100 et AG-News en utilisant diverses familles de modèles (ResNet-8, ViT-B/32, DistilBERT) et des niveaux variables d'hétérogénéité des données ( $\alpha \in \{0.3, 0.5, 0.8\}$ ).

Performance : DeepSet-TM surpasse systématiquement les références d'agrégation robuste existantes (CWTM, CWMed, Médiane Géométrique) et les défenses de l'état de l'art (COPUR, Projection sur Variété).
Amélioration : La méthode réalise une amélioration de 4,7 % à 22,2 % en points de précision dans le pire des cas sur divers benchmarks et types d'attaques.
Robustesse face aux Attaques Fortes : Sous les attaques SIA et PGD-cw proposées, les méthodes de référence subissent souvent des chutes de précision de 35 à 40 points, tandis que DeepSet-TM limite ces chutes à 20–30 points. Sur AG-News, DeepSet-TM conserve 83,2 % de précision sous PGD-cw contre environ 53 % pour les références.
Évolutivité : L'approche s'adapte efficacement au nombre de clients ( $n=10, 17, 25$ ) et d'adversaires ( $f=3, 4, 5$ ), maintenant des performances supérieures à mesure que le système grandit.
Efficacité : Bien que l'entraînement adversarial engendre un coût ponctuel (environ 1,5 heure), la latence d'inférence reste faible (environ 0,3 ms par lot), la rendant adaptée aux scénarios inter-silos.

Signification et Revendications

L'article affirme que l'Inférence Fédérée Robuste est un problème distinct et critique qui ne peut être résolu en appliquant simplement des techniques d'entraînement byzantin-robuste ou des méthodes de purification existantes (comme COPUR), qui échouent souvent dans l'espace des probits ou face à des attaques puissantes.

La signification de ce travail réside dans :

Combler le Vide : Il fournit le premier cadre complet pour sécuriser l'inférence fédérée, un paradigme en croissance pour exploiter des modèles propriétaires (y compris les LLM) sans centraliser les données.
Composition Novatrice : En combinant l'entraînement adversarial (de la littérature sur l'apprentissage adversarial) avec la moyenne robuste (de la littérature sur les statistiques robustes et l'apprentissage fédéré byzantin), les auteurs démontrent que ces deux domaines peuvent être synergiquement combinés pour atteindre une robustesse de l'état de l'art.
Praticité : Le DeepSet-TM proposé offre une solution pratique qui équilibre une haute robustesse face à des attaques sophistiquées avec une surcharge computationnelle acceptable, spécifiquement adaptée aux scénarios inter-silos où les clients sont statiques mais les demandes d'inférence sont dynamiques.

Les auteurs concluent que leur méthode établit un nouvel état de l'art pour l'inférence fédérée, empêchant efficacement les avantages technologiques de devenir des vulnérabilités significatives en présence d'acteurs malveillants.