ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning

Titre : ProtoGuard-SL : Défense contre les attaques par porte dérobée basée sur la cohérence des prototypes pour l'apprentissage fractionné vertical

1. Problématique

L'apprentissage fractionné vertical (Vertical Split Learning - SL) permet à plusieurs parties de collaborer à l'entraînement d'un modèle sans partager leurs données brutes, chaque partie détenant un sous-ensemble de caractéristiques (features) complémentaires pour les mêmes échantillons, tandis qu'un serveur central détient les étiquettes (labels).

Cependant, cette architecture introduit une nouvelle surface d'attaque au niveau des représentations intermédiaires (embeddings) échangées entre les clients et le serveur. Les travaux récents montrent que le SL est extrêmement vulnérable aux attaques par porte dérobée (backdoor attacks) basées sur l'empoisonnement.

• Mécanisme de l'attaque : Un client malveillant manipule les embeddings envoyés au serveur pour injecter des motifs cachés (déclencheurs). Sous certaines conditions, le modèle serveur est biaisé pour prédire une classe spécifique définie par l'attaquant.
• Défi de détection : Ces attaques sont conçues pour être furtives. Les embeddings empoisonnés se superposent fortement aux embeddings bénins dans l'espace d'origine, rendant leur détection difficile par les méthodes de défense conventionnelles (basées sur la géométrie ou la détection d'anomalies simples). Les défenses existantes (comme VFLIP, DP, MP) offrent une robustesse limitée face aux attaques adaptatives et dégradent souvent la précision du modèle.

2. Méthodologie : ProtoGuard-SL

Les auteurs proposent ProtoGuard-SL, un mécanisme de défense côté serveur qui exploite la cohérence de représentation conditionnelle par classe dans l'espace d'embedding. L'idée centrale est que les échantillons bénins d'une même classe partagent une cohérence sémantique stable, tandis que les échantillons empoisonnés perturbent cette structure.

La méthode suit un cadre en deux étapes :

A. Représentation basée sur la cohérence des prototypes
Au lieu d'analyser les embeddings bruts, le serveur transforme l'espace de représentation :

1. Construction de prototypes robustes : Le serveur calcule un prototype pour chaque classe en utilisant la médiane des embeddings de cette classe (la médiane étant plus robuste aux valeurs aberrantes que la moyenne).
2. Transformation en vecteur de cohérence : Chaque embedding $E_k$ est transformé en un vecteur de cohérence $v_k$ qui représente sa similarité cosinus avec tous les prototypes de classes. Cela mappe les embeddings d'un espace géométrique absolu vers un espace relationnel basé sur la similarité sémantique relative.
3. Résultat : Dans cet nouvel espace, les échantillons bénins forment des motifs stables, tandis que les échantillons empoisonnés deviennent clairement séparables car ils dévient de la cohérence sémantique attendue.

B. Filtrage conforme conditionnel par classe
Pour identifier et supprimer les embeddings malveillants sans supposer de distribution paramétrique spécifique :

1. Score de déviation : Pour chaque classe, un score de déviation ($s_k$) est calculé comme la distance entre le vecteur de cohérence de l'échantillon et le vecteur de référence (médiane des vecteurs de cohérence) de sa classe.
2. Filtrage conforme (Conformal Filtering) : Une stratégie de filtrage basée sur le rang (p-valeur conforme) est appliquée. Elle évalue si le score de déviation d'un échantillon est statistiquement significatif par rapport aux autres échantillons de la même classe.
3. Décision : Les embeddings dont la p-valeur est inférieure à un seuil de signification $\alpha$ sont considérés comme empoisonnés et rejetés.

3. Contributions Clés

• Identification d'une propriété fondamentale : Les auteurs démontrent que la cohérence de représentation conditionnelle par classe est une propriété intrinsèque des embeddings bénins, et que les attaques par porte dérobée perturbent inévitablement cette structure, même si elles sont furtives dans l'espace original.
• Nouvelle représentation relationnelle : Proposition d'une transformation basée sur les prototypes qui convertit les embeddings en un espace de similarité relative, augmentant considérablement la séparabilité entre les échantillons bénins et empoisonnés.
• Mécanisme de filtrage robuste : Conception d'un filtre conditionnel par classe et sans distribution (distribution-free) qui protège contre les attaques adaptatives tout en préservant les données bénignes et la performance globale du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données hétérogènes (CIFAR-10, SVHN, Bank Marketing) et sous trois types d'attaques (VILLAIN, SplitNN, BadVFL).

• Performance globale : ProtoGuard-SL atteint des performances de pointe (State-of-the-Art).
  • Réduction du taux de succès de l'attaque (ASR) : Le taux de réussite des attaques chute drastiquement, passant de >90% (sans défense) à 0,03 - 0,08 (3% à 8%).
  • Préservation de la précision (MA) : Contrairement aux autres méthodes (DP, VFLIP) qui sacrifient la précision pour la sécurité, ProtoGuard-SL maintient ou améliore la précision sur les données bénines (ex: 0,83 à 0,87 selon les jeux de données).
• Comparaison avec l'état de l'art :
  • Les méthodes de défense existantes (Différentielle Privée, Élagage de modèle, VFLIP) réduisent partiellement l'ASR mais entraînent une chute significative de la précision (MA) ou échouent face aux attaques furtives.
  • ProtoGuard-SL surpasse systématiquement ces méthodes en équilibrant sécurité et utilité.
• Robustesse et Scalabilité :
  • L'analyse d'ablation confirme que chaque composant (représentation de cohérence, relation multi-classes, filtrage conditionnel) est essentiel.
  • La méthode reste efficace même avec un nombre croissant de clients (de 2 à 8), là où les défenses baselines se dégradent.
  • Elle fonctionne bien sur différentes architectures de modèles (ResNet, VGG, FCN).

5. Signification et Impact

Ce travail est significatif car il adresse une vulnérabilité critique de l'apprentissage fédéré vertical, souvent négligée par les défenses traditionnelles conçues pour l'apprentissage horizontal ou les données brutes.

• Changement de paradigme : Il déplace le focus de la détection d'anomalies géométriques vers l'analyse de la cohérence sémantique dans l'espace latent.
• Préservation de la vie privée : La défense s'effectue entièrement côté serveur sans nécessiter l'accès aux données brutes des clients, respectant ainsi les contraintes de confidentialité du SL.
• Applicabilité : La méthode est générique, ne dépend pas d'hypothèses de distribution spécifiques et s'adapte à divers types de données et d'attaques, offrant une solution robuste pour le déploiement sécurisé de l'apprentissage collaboratif vertical dans des secteurs sensibles (santé, finance).