Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

Résumé Technique : Calcul Distribué Codé Approximatif Préservant la Confidentialité et Vérifiable

Énoncé du Problème
Les paradigmes d'apprentissage automatique distribué, spécifiquement l'Apprentissage Fédéré (FL) et l'Apprentissage Décentralisé (DL), permettent un entraînement collaboratif de modèles sans centraliser les données brutes. Cependant, ces systèmes restent vulnérables à deux classes de menaces distinctes : la fuite de confidentialité (où des adversaires déduisent des données sensibles à partir des mises à jour du modèle) et la manipulation malveillante (attaques byzantines où les participants injectent des mises à jour empoisonnées). Les défenses existantes traitent généralement ces menaces de manière isolée. Les technologies de préservation de la confidentialité (PET), telles que le chiffrement homomorphe ou la confidentialité différentielle, imposent souvent des surcoûts de calcul prohibitifs ou dégradent l'utilité du modèle. Inversement, les techniques d'agrégation robustes atténuent les comportements malveillants mais traitent rarement la fuite de confidentialité et sont souvent adaptées à des architectures spécifiques. De plus, la plupart des travaux antérieurs se concentrent sur le FL avec un agrégateur central, laissant les contextes décentralisés — où les données sont échangées plutôt que les mises à jour de modèles — sous-explorés concernant une résilience unifiée face aux adversaires.

Méthodologie
Les auteurs proposent un cadre unifié, agnostique au modèle, qui traite conjointement la confidentialité et l'intégrité dans les contextes FL et DL. Le fondement technique central est le Calcul Codé Approximatif Généralisé Sensible à la Confidentialité (GPBACC), une technique de calcul codé améliorant la confidentialité, applicable à des modèles d'apprentissage automatique arbitraires.

1. Mécanisme Central (GPBACC) :

   • Construit sur le BACC (Berrut Approximated Coded Computing), qui utilise l'interpolation rationnelle (formulation barycentrique de Berrut) pour distribuer le calcul de fonctions arbitraires tout en tolérant les traînards (stragglers).
   • Extension de Confidentialité : GPBACC introduit un bruit gaussien aléatoire dans le processus de codage. Le nœud maître encode les tenseurs de données à l'aide d'une fonction d'interpolation rationnelle augmentée de termes de bruit aléatoires. Cela crée un effet de canal à bruit blanc gaussien additif (AWGN), limitant l'information mutuelle accessible aux nœuds semi-honnêtes collusoires.
   • Généralisation : Contrairement aux schémas précédents, GPBACC prend en charge des configurations multi-sources et des entrées de tenseurs de rang arbitraire, ce qui le rend adapté aux charges de travail de l'apprentissage profond (deep learning).

2. Intégration de l'Apprentissage Fédéré (FL) :

   • Dans le FL, où un agrégateur central existe, le cadre intègre GPBACC avec des stratégies d'agrégation robustes (ex: Médiane par coordonnée, Moyenne tronquée, Krum, Multi-Krum).
   • La règle d'agrégation est intégrée comme la fonction cible $f$ évaluée par les travailleurs. Le système définit la dimension de compression de codage $K=1$ pour permettre un décodage par coordonnée, permettant à l'agrégateur de reconstruire la mise à jour agrégée de manière robuste avec une haute précision numérique malgré la nature approximative du codage.

3. Intégration de l'Apprentissage Décentralisé (DL) :

   • Dans le DL, où aucun agrégateur central n'existe, le cadre emploie un pipeline de vérification combinant le Décodage et Comparaison Approximatifs (ADC) et le Test de Groupe (GT).
   • ADC : Puisque GPBACC introduit des perturbations contrôlées pour la confidentialité, les vérifications d'égalité exactes sont insuffisantes. L'ADC établit un seuil dynamique ($\tau$) basé sur une stratégie de bootstrap pour déterminer si les résultats reconstruits de différents sous-ensembles de travailleurs sont cohérents dans une enveloppe d'erreur acceptable.
   • Test de Groupe : Pour isoler efficacement les travailleurs malveillants sans décodage complet, le système utilise des matrices de regroupement non adaptatives. Les travailleurs sont groupés, et leurs résultats regroupés sont testés contre le seuil ADC. Un décodeur de Test de Groupe bruité (ex: COMP, DD) identifie l'ensemble des travailleurs adverses, qui sont ensuite élagués avant la reconstruction finale.

Contributions Clés

• Cadre Unifié : Définition d'un cadre unique qui traite simultanément la fuite de confidentialité et le comportement malveillant dans les deux paradigmes FL et DL, sans restreindre l'applicabilité à des architectures de modèles spécifiques.
• Adaptation FL : Proposition de combiner GPBACC avec des stratégies d'agrégation robustes, préservant la nature agnostique au modèle du schéma de codage.
• Adaptation DL : Proposition de compléter GPBACC avec des techniques de décodage et comparaison approximatifs ainsi que de test de groupe, permettant une vérification légère et l'isolement des adversaires sans agrégateur de confiance.
• Évaluation Pilotée par l'Attaque : Une méthodologie d'évaluation pratique qui implémente explicitement des attaques de confidentialité représentatives (Attaques d'Inférence d'Appartenance) et des comportements malveillants (Inversion de Labels, Ajout de Bruit, Bruit Gaussien) pour valider empiriquement l'efficacité du cadre, plutôt que de s'appuyer uniquement sur des garanties théoriques.

Résultats Expérimentaux
Le cadre a été évalué sur des réseaux de neurones convolutifs (CNN) utilisant les jeux de données MNIST et CIFAR10.

• Apprentissage Fédéré :

  • Confidentialité : Sous les attaques d'inférence d'appartenance (RMIA), GPBACC a considérablement réduit l'aire sous la courbe (AUC) à des niveaux proches du hasard (~0,50), comparable au chiffrement homomorphe multi-clés (MKHE) et à la confidentialité différentielle (DP-SVT), mais sans la dégradation sévère de l'utilité observée avec la DP.
  • Robustesse : Sous les attaques d'inversion de labels et d'ajout de bruit, GPBACC combiné avec des agrégateurs robustes (Médiane, Multi-Krum) a maintenu une précision élevée, se rapprochant des bases de référence robustes non protégées. Bien que l'agrégation Krum ait montré une sensibilité au bruit de décodage approximatif, le système a tout de même convergé.
  • Utilité : GPBACC a préservé presque parfaitement l'utilité du modèle propre, avec des écarts de précision inférieurs à $4 \times 10^{-4}$ par rapport aux bases de référence non protégées.

• Apprentissage Décentralisé :

  • Robustesse : Sous les attaques d'ajout de bruit, le DL non protégé s'est effondré (précision ~0,63), tandis que GPBACC avec ADC+GT a maintenu une précision élevée (>0,96), démontrant une résilience comparable au codage exact (ALCC) mais avec une plus grande flexibilité.
  • Confidentialité : L'information mutuelle entre les jeux de données originaux et encodés a été estimée à l'aide de l'estimateur KSG, produisant environ 1,012 bits, ce qui s'aligne étroitement avec les limites de confidentialité théoriques dérivées de l'analyse informationnelle.

Signification et Revendications
L'article affirme que la combinaison du codage améliorant la confidentialité (GPBACC) avec des stratégies de résistance aux adversaires spécifiques au paradigme fournit une base pratique et déployable pour l'apprentissage automatique distribué sécurisé. Contrairement aux travaux antérieurs qui traitent la confidentialité et la robustesse de manière isolée ou reposent sur des primitives cryptographiques lourdes, cette approche offre une solution unifiée, validée par l'attaque, qui équilibre les garanties de confidentialité, la robustesse face aux adversaires actifs et l'utilité du modèle. Les auteurs soulignent que leur contribution réside dans le pont jeté entre ces lacunes des paradigmes d'apprentissage, offrant un mécanisme de défense indépendant de l'architecture, adapté au déploiement dans le monde réel. Le travail ne prétend pas résoudre tous les modèles de menaces, mais démontre que l'intégration explicite de ces techniques pilotées par l'attaque réduit considérablement la fuite de confidentialité et améliore la résilience par rapport aux défenses isolées existantes.