Résumé Technique : VMask – Protection de la Confidentialité des Étiquettes Ajustable pour l'Apprentissage Fédéré Vertical via le Masquage de Couches

1. Énoncé du Problème

L'apprentissage fédéré vertical (VFL - Vertical Federated Learning) permet à plusieurs parties de collaborer à l'entraînement d'un modèle d'apprentissage automatique tout en préservant la confidentialité de leurs ensembles de données locaux. Dans une configuration VFL typique, une partie active détient les étiquettes (labels), tandis que les parties passives détiennent des sous-ensembles de caractéristiques (features). Bien que le VFL soit généralement considéré comme respectueux de la vie privée car seules les plongements de caractéristiques intermédiaires et les gradients sont échangés, des études récentes ont démontré sa vulnérabilité aux attaques par inférence d'étiquettes.

Parmi les diverses surfaces d'attaque, l'attaque par Complétion de Modèle (MC - Model Completion) est identifiée comme la menace la plus puissante et la plus grave. Dans ce scénario, une partie passive semi-honnête (honnête mais curieuse), qui suit strictement le protocole d'entraînement, peut affiner un modèle de base (bottom model) entraîné localement avec une tête d'inférence ajoutée pour prédire avec précision les étiquettes privées de la partie active. Cela est possible car le modèle de base apprend à générer des plongements de caractéristiques qui sont fortement corrélés aux étiquettes privées.

Les mécanismes de défense existants contre les attaques MC font face à trois défis critiques :

1. Compromis Sous-optimal : Les méthodes sacrifient souvent une part significative de l'utilité du modèle pour obtenir la confidentialité, ou vice versa.
2. Surcoût Impractical : Les solutions basées sur la cryptographie (ex: Chiffrement Homomorphe, Calcul Multi-Parties Sécurisé) offrent une confidentialité rigoureuse mais imposent des coûts de calcul prohibitifs, les rendant inadaptées à un déploiement à grande échelle.
3. Manque de Réglage (Tunability) : Les méthodes actuelles ne permettent pas au défenseur d'ajuster de manière flexible le niveau de confidentialité des étiquettes en fonction de contraintes de ressources spécifiques ou d'exigences de précision.

2. Méthodologie : Le Cadre VMask

Les auteurs proposent VMask, un nouveau cadre qui défend contre les attaques MC grâce au masquage de couches tout en préservant l'utilité du modèle et en offrant une confidentialité ajustable.

Intuition Fondamentale

L'intuition fondamentale est que la forte corrélation entre les données d'entrée et les plongements de caractéristiques résultants permet aux attaquants d'inférer les étiquettes. VMask perturbe cette corrélation en randomisant les paramètres de couches spécifiques au sein du modèle de base de l'attaquant. En masquant ces couches, la capacité du modèle à générer des plongements de caractéristiques représentatifs est dégradée, réduisant ainsi la précision d'inférence de l'attaquant.

Composants Clés

VMask intègre deux modules et deux procédures dans un système VFL standard :

1. Partage de Secret (SS - Secret Sharing) pour le Masquage de Couches :

   • Au lieu de simplement supprimer des couches, VMask utilise le Partage de Secret Additif pour masquer les paramètres des couches linéaires.
   • La partie active et les parties passives partagent les paramètres de telle sorte que la partie passive (l'attaquant) détienne une part aléatoire, tandis que la partie active détienne la part complémentaire (plus un bruit aléatoire pour empêcher la reconstruction).
   • Cela préserve l'intégrité des calculs linéaires (opérations d'Addition et de Multiplication) pendant l'entraînement, garantissant que la précision de la tâche principale reste élevée.

2. Stratégie de Sélection de Couches Critiques :

   • Masquer naïvement toutes les couches est coûteux en termes de calcul. VMask emploie une stratégie pour sélectionner uniquement les couches critiques à masquer.
   • Critère : Les couches sont sélectionnées en fonction de leurs normes de gradient accumulées sur l'historique de l'entraînement. Les couches ayant des gradients plus importants sont jugées plus critiques pour l'inférence d'étiquettes.
   • Observation : Les résultats empiriques montrent que le masquage de couches critiques non adjacentes est plus efficace pour réduire la précision de l'attaque que le masquage de couches consécutives.

3. Modèle Fantôme (Shadow Model) pour l'Estimation :

   • Puisque la partie active ne peut pas accéder directement aux vrais gradients de l'attaquant, elle maintient un modèle fantôme (architecture identique au modèle de base de la partie passive) entraîné de manière synchrone sur un petit ensemble de données auxiliaire.
   • La partie active utilise ce modèle fantôme pour simuler localement l'attaque MC et estimer l'étendue de la fuite d'étiquettes.

4. Budget de Confidentialité Ajustable :

   • Le cadre prend en charge un budget de confidentialité ajustable ($\epsilon$). La partie active simule l'attaque sur le modèle fantôme ; si la précision de l'attaque estimée dépasse le budget, le système sélectionne de manière gloutonne des couches critiques supplémentaires à masquer jusqu'à ce que la fuite tombe dans la limite définie.

Flux de Travail (Workflow)

1. Initialisation : Les parties passives et la partie active initialisent les modèles. La première couche est masquée par défaut.
2. Masquage de Couches : Basé sur la stratégie de sélection, des couches spécifiques sont masquées via le partage de secret (SS).
3. Mise à jour Sécurisée du Modèle : Le modèle VFL s'entraîne. Les couches masquées sont calculées via le partage de secret (forward/backward sécurisés), tandis que les couches non masquées utilisent un calcul en clair standard.
4. Mise à jour du Modèle Fantôme : La partie active entraîne le modèle fantôme sur l'ensemble de données auxiliaire.
5. Sélection de Couches : La partie active simule une attaque MC sur le modèle fantôme. Si la fuite > budget, davantage de couches sont ajoutées à la liste de masquage pour l'époque suivante.
6. Itération : Ce processus se répète jusqu'à ce que le modèle VFL global converge.

3. Principales Contributions

• Nouveau Cadre : L'introduction de VMask, le premier cadre utilisant le partage de secret pour le masquage de couches afin de défendre contre les attaques MC tout en maintenant une utilité de modèle élevée.
• Confidentialité Ajustable : La conception d'un mécanisme de budget de confidentialité ajustable, permettant aux défenseurs de contrôler de manière flexible le compromis entre confidentialité et utilité selon les besoins réels, une fonctionnalité absente des travaux précédents.
• Stratégie de Sélection Efficace : Une stratégie de sélection de couches basée sur les normes de gradient accumulées qui cible des couches critiques et non adjacentes, réduisant considérablement le surcoût de l'application du partage de secret à l'ensemble du modèle.
• Évaluation Complète : Expérimentations approfondies sur 5 architectures de modèles (MLP3, LeNet5, VGG13, ResNet18, DistilBERT) et 13 jeux de données (tabulaires, images, texte), comparant VMask à 12 méthodes de défense existantes.

4. Résultats Expérimentaux

L'évaluation démontre que VMask atteint le meilleur compromis confidentialité-utilité parmi toutes les méthodes comparées :

• Protection de la Confidentialité : VMask neutralise avec succès les attaques MC, réduisant la précision de l'inférence d'étiquettes à un niveau de devinette aléatoire (comparable à un modèle d'attaquant randomisé). Dans tous les cas testés, la précision de l'attaque a été réduite à des niveaux proches du hasard (ex: ~10-20% selon le jeu de données, contre 40-90% pour les modèles non protégés).
• Utilité du Modèle : Le cadre préserve la performance du modèle avec une dégradation minimale.
  • Dans les modèles basés sur les Transformers (DistilBERT), la chute moyenne de la précision du modèle VFL n'est que de 0,09%.
  • Sur l'ensemble des modèles, la chute de précision moyenne est au maximum de 0,34%.
• Efficacité :
  • VMask est jusqu'à 60 846 fois plus rapide que les méthodes basées sur la cryptographie (ex: Chiffrement Homomorphe).
  • Comparé au VFL standard, le surcoût de temps d'exécution est marginal. Pour des modèles larges comme DistilBERT (67 millions de paramètres), le temps d'exécution de VMask n'est que de 1,8 fois celui du VFL standard, ce que les auteurs jugent généralement acceptable.
• Ajustabilité : Le cadre contrôle systématiquement la fuite d'étiquettes à l'intérieur du budget de confidentialité défini à travers différents niveaux de confidentialité.

5. Signification et Revendications

L'article affirme que VMask répond au besoin urgent d'une défense pratique contre l'attaque par Complétion de Modèle dans le VFL. Sa signification réside dans :

1. Briser le Compromis : Il atteint simultanément une haute utilité de modèle et une forte confidentialité, surmontant les limites des défenses précédentes basées sur le ML qui sacrifient souvent l'une pour l'autre.
2. Déploiement Pratique : En évitant les opérations cryptographiques lourdes, il offre une solution informatiquement réalisable pour des scénarios réels, contrairement aux approches cryptographiques existantes.
3. Flexibilité : C'est le premier à proposer un budget de confidentialité ajustable, permettant aux défenseurs de prendre des décisions éclairées basées sur leurs contraintes de ressources et de confidentialité spécifiques sans avoir à réentraîner ou redessiner le système.

Les auteurs concluent que VMask fournit une solution robuste, efficace et flexible pour protéger la confidentialité des étiquettes dans l'apprentissage fédéré vertical, ce qui en fait un candidat viable pour un déploiement dans des domaines sensibles tels que la finance et la santé, où la fuite d'étiquettes est une préoccupation critique.