Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

Résumé technique : Le partage partiel de modèles améliore la résilience byzantine dans la prédiction conforme fédérée

Énoncé du problème
L'apprentissage fédéré (FL) permet l'entraînement collaboratif de modèles sur des appareils décentralisés sans partager les données brutes, mais il reste vulnérable aux adversaires byzantins. Ces clients malveillants peuvent manipuler le processus d'apprentissage en soumettant des gradients corrompus ou des informations trompeuses, dégradant ainsi le modèle global. Bien que la prédiction conforme fédérée (FCP) offre une quantification de l'incertitude sans hypothèse de distribution avec des garanties de couverture statistique, la FCP standard hérite des vulnérabilités du FL. Les approches robustes existantes, telles que Rob-FCP, se concentrent principalement sur le renforcement de la phase de calibration en détectant les clients malveillants sur la base de scores de non-conformité. Cependant, elles ne parviennent pas à traiter l'empoisonnement durant la phase d'entraînement fédéré, où les adversaires peuvent déjà corrompre le modèle appris, propageant ainsi des erreurs dans les intervalles conformes. De plus, les méthodes de calibration robustes entraînent souvent un surcoût de communication supplémentaire.

Méthodologie
Les auteurs proposent un cadre FCP résilient aux attaques byzantines intégrant l'apprentissage fédéré en ligne à partage partiel (PSO-Fed) avec une calibration conforme robuste. La méthode opère en deux phases distinctes :

1. Phase d'entraînement (Partage partiel de modèles) :
   Au lieu d'échanger des vecteurs complets de paramètres de modèle, les clients et le serveur échangent uniquement un sous-ensemble de coordonnées du modèle à chaque itération. Ce mécanisme, défini par une matrice de sélection diagonale $S_{k,n}$, restreint intrinsèquement la surface d'attaque. En limitant la fraction de paramètres qu'un adversaire peut influencer dans le modèle agrégé, le partage partiel atténue l'impact des mises à jour empoisonnées tout en réduisant simultanément les coûts de communication. L'analyse théorique issue de travaux antérieurs indique que PSO-Fed maintient la convergence même lorsque des clients byzantins injectent du bruit.

2. Phase de calibration (Détection basée sur des histogrammes) :
   Pour se défendre contre la manipulation byzantine des scores de non-conformité, les clients bénins compressent leurs scores locaux en vecteurs de caractérisation basés sur des histogrammes. Ces vecteurs représentent la distribution de probabilité empirique des scores à travers $H$ intervalles. Le serveur calcule ensuite les distances $\ell_2$ par paires entre ces vecteurs pour attribuer un score de malveillance ($m_k$) à chaque client, défini comme la distance moyenne à ses $K_b - 1$ voisins les plus proches. Les clients ayant les scores de malveillance les plus faibles sont identifiés comme bénins et conservés pour estimer le quantile conforme, tandis que les valeurs aberrantes (clients byzantins) sont exclues.

Contributions clés

• Résilience biphasique : Contrairement aux travaux antérieurs se concentrant uniquement sur la calibration, cette approche protège à la fois les étapes d'entraînement fédéré et de calibration conforme. Elle exploite le partage partiel pour atténuer l'empoisonnement durant l'entraînement et l'analyse vectorielle basée sur des histogrammes pour filtrer les attaques durant la calibration.
• Efficacité de communication : La méthode réduit la surcharge de communication en transmettant uniquement une fraction des paramètres du modèle durant l'entraînement et des vecteurs d'histogrammes compressés durant la calibration, évitant ainsi la transmission de scores bruts ou de statistiques complètes.
• Estimation robuste du quantile : En filtrant les contributeurs byzantins sur la base de scores de malveillance fondés sur la distance, le serveur estime le quantile conforme en utilisant uniquement des données bénines, garantissant ainsi des intervalles de prédiction valides.

Résultats expérimentaux
Les auteurs ont évalué la méthode proposée par rapport à la FCP standard et à Rob-FCP dans le cadre de trois scénarios d'attaque byzantine : attaques d'efficacité (rapport de scores anormalement faibles), attaques de couverture (rapport de scores artificiellement élevés) et attaques aléatoires.

• Efficacité de détection : Les scores de malveillance ont clairement distingué les clients byzantins des clients bénins pour tous les types d'attaques, permettant une exclusion fiable.
• Couverture et largeur des intervalles : Dans divers scénarios d'attaque, la méthode proposée a atteint une couverture plus proche de l'objectif nominal de 90 % par rapport à la FCP standard (qui a souffert d'une couverture gonflée et d'intervalles larges) et à Rob-FCP.
• Gains de performance : L'approche proposée a produit des intervalles de prédiction 1,8 fois plus étroits que Rob-FCP et 2,2 fois plus étroits que la FCP standard. Cette amélioration est attribuée à l'atténuation de l'empoisonnement du modèle durant l'entraînement (via le partage partiel) et à l'estimation robuste du quantile durant la calibration.

Signification et affirmations
L'article prétend établir une approche robuste et économe en communication pour la quantification de l'incertitude fédérée. En couplant l'échange de paramètres partiel économe en communication avec une calibration conforme robuste, la méthode atteint une résilience face aux attaques byzantines sur l'ensemble du pipeline FCP. Les auteurs affirment que leur approche produit des intervalles de prédiction valides et fiables avec des bornes substantiellement plus étroites que les méthodes existantes, même lorsqu'une part importante des clients (par exemple, 20 %) est byzantine. Ils concluent que l'intégration de PSO-Fed dans des cadres de calibration robuste offre une direction prometteuse pour un FL digne de confiance, bien qu'ils notent que l'établissement de garanties théoriques quantifiant les effets spécifiques du partage partiel sur la robustesse et la couverture reste une voie pour les travaux futurs.