Privacy Against Agnostic Inference Attacks in Vertical Federated Learning

Cet article propose une nouvelle attaque d'inférence agnostique en apprentissage fédéré vertical où la partie active peut déduire des informations sur les caractéristiques de la partie passive, et présente des mécanismes de protection de la vie privée qui préservent l'utilité du modèle tout en introduisant une distorsion contrôlée des paramètres pour équilibrer confidentialité et interprétabilité.

L'essentiel

🏦 L'Histoire : Le Banquier et le Détective Privé

Imaginez une scène où deux personnes veulent construire un détective privé (un modèle d'intelligence artificielle) très intelligent pour prédire si un client est fiable ou non.

1. Le Banquier (La partie "Active") : Il connaît les clients. Il sait qui a remboursé ses prêts par le passé (les étiquettes) et il connaît l'âge et le revenu de ces clients. Mais il ne connaît pas tout.
2. La FinTech (La partie "Passive") : Elle a les mêmes clients, mais elle détient des informations secrètes et précieuses que le Banquier n'a pas : leurs habitudes d'achat, leurs dépenses en ligne, etc.

Pour créer le meilleur détective possible, ils décident de travailler ensemble (Federated Learning Vertical). Le Banquier garde ses données, la FinTech garde les siennes, et ils entraînent le détective sans jamais se montrer leurs carnets de notes secrets.

---

🕵️‍♂️ Le Problème : L'Attaque "Agnostique" (L'Enquêteur Téméraire)

Jusqu'à présent, on pensait que si le Banquier ne voyait pas les résultats exacts de la prédiction (le "score de confiance" du détective), il ne pouvait pas deviner les secrets de la FinTech.

Mais l'auteur de l'article a découvert une nouvelle faille :

Le Banquier est malin. Il a déjà ses propres données (âge, revenu, historique de remboursement). Il peut donc entraîner son propre détective personnel (qu'on appelle le Modèle Adversaire) uniquement avec ses propres informations.

• L'astuce : Même sans voir le score final du détective collaboratif, le Banquier utilise son propre détective pour deviner ce que le détective collaboratif aurait répondu.
• Le résultat : En comparant sa propre réponse avec la réponse réelle du détective collaboratif, le Banquier peut faire des calculs mathématiques pour reconstruire les secrets de la FinTech. Il peut déduire les habitudes d'achat des clients, même si la FinTech n'a jamais partagé ces chiffres directement !

C'est ce qu'on appelle une attaque agnostique : le Banquier attaque sans même connaître la réponse exacte de la cible. Il devine la réponse, et cette devinette suffit à voler les secrets.

---

🛡️ La Solution : Le Miroir Déformant (Les Schémas de Protection)

Comment protéger la FinTech sans arrêter le travail ? Si on cache tout (mode "boîte noire"), le Banquier ne peut plus comprendre pourquoi le détective a pris telle ou telle décision (problème d'interprétabilité).

L'auteur propose une solution élégante : Le Miroir Déformant.

Au lieu de cacher les données, la FinTech va déformer légèrement ses paramètres (les règles internes de son détective) avant de les montrer au Banquier.

• L'analogie du miroir : Imaginez que la FinTech donne au Banquier un miroir qui déforme légèrement les images. Le Banquier voit toujours le reflet (il peut comprendre la décision globale), mais les détails précis sont flous.
• Le compromis (Trade-off) :
  • Si le miroir déforme très peu : Le Banquier comprend très bien les décisions (Interprétabilité élevée), mais il peut encore deviner les secrets (Confidentialité faible).
  • Si le miroir déforme beaucoup : Les secrets sont bien protégés (Confidentialité élevée), mais le Banquier a du mal à comprendre pourquoi le détective a pris telle décision (Interprétabilité faible).

L'article propose des méthodes mathématiques pour trouver le point d'équilibre parfait : une déformation suffisante pour protéger les secrets, mais pas assez pour rendre le modèle incompréhensible.

---

🎯 Les Résultats : Ce que l'expérience nous apprend

Les chercheurs ont testé cela sur de vraies données (banques, crédits, etc.) :

1. L'attaque fonctionne : Même sans les scores exacts, le Banquier peut reconstruire les secrets de la FinTech avec une bonne précision, surtout si les données des deux parties sont liées (ex: les gens qui gagnent beaucoup ont tendance à dépenser beaucoup).
2. La protection fonctionne : En appliquant le "Miroir Déformant" (les schémas de protection), on peut rendre la reconstruction des secrets très difficile (l'erreur de reconstruction explose), tout en gardant le modèle utile pour le Banquier.
3. Le secret de la réussite : Tout dépend de la quantité de "déformation" choisie. C'est un accord entre les deux parties : combien de secrets sommes-nous prêts à "flouter" pour être sûrs de ne pas les perdre ?

En Résumé

Ce papier nous dit : "Attention, même si vous ne donnez pas les résultats exacts, un partenaire malveillant peut deviner vos secrets en utilisant son propre cerveau. Mais nous avons trouvé une façon de brouiller légèrement les pistes mathématiques pour protéger vos secrets, tout en permettant au partenaire de continuer à comprendre le travail."

C'est un équilibre délicat entre confiance (pouvoir expliquer les décisions) et confidentialité (garder ses secrets).

Résumé technique

1. Problématique

L'article aborde un nouveau type de menace de sécurité dans le cadre de l'Apprentissage Fédéré Vertical (VFL). Dans un scénario VFL, deux parties collaborent pour entraîner un modèle :

• La partie active possède les étiquettes (labels) et un sous-ensemble de caractéristiques (features).
• La partie passive possède un autre sous-ensemble de caractéristiques pour les mêmes échantillons, mais pas les étiquettes.
• Un tiers de confiance (Autorité de Coordination - CA) coordonne l'entraînement et la prédiction.

Le problème identifié :
Les travaux précédents sur les attaques par inférence supposaient que l'attaquant (la partie active) avait accès aux scores de confiance (probabilités de sortie) des échantillons ciblés pour reconstruire les caractéristiques privées de la partie passive. Cependant, cet article propose une attaque d'inférence agnostique.

• Définition : L'attaquant tente de reconstruire les caractéristiques de la partie passive sans connaître les scores de confiance réels des échantillons cibles (que ce soit pour des échantillons de prédiction futurs ou pour l'ensemble d'entraînement).
• Risque : Cela expose non seulement les données de prédiction, mais aussi l'ensemble des données d'entraînement, car l'attaquant n'a pas besoin d'interroger le système pour obtenir les scores avant d'attaquer.

2. Méthodologie

L'article propose une approche en deux temps : la modélisation de l'attaque et la conception de mécanismes de défense.

A. L'Attaque par Inférence Agnostique

L'attaquant (partie active) construit un Modèle Adversaire (AM) indépendant :

1. Construction du AM : L'attaquant entraîne un classifieur (Logistic Regression) uniquement sur ses propres données (ses caractéristiques + les étiquettes réelles). Ce modèle apprend à prédire les étiquettes sans jamais voir les données de la partie passive.
2. Estimation des scores : Le AM est utilisé pour estimer les scores de confiance des échantillons cibles.
3. Reconstruction : En utilisant ces scores estimés et en connaissant ses propres paramètres de modèle (configuration "boîte blanche"), l'attaquant résout un système d'équations linéaires pour reconstruire les caractéristiques de la partie passive.
4. Modèle Adversaire Raffiné (RAM) : Pour améliorer la précision, l'attaquant peut affiner son AM en utilisant un petit nombre de scores de confiance réels reçus du CA lors de phases de prédiction antérieures. Cela permet d'ajuster le AM pour qu'il se rapproche du modèle VFL global, augmentant ainsi la précision de l'attaque.

B. Mécanismes de Protection de la Vie Privée (PPS)

Pour contrer cette attaque, l'auteur propose des Schémas de Protection de la Vie Privée (PPS) qui ne modifient pas les scores de confiance (pour préserver l'utilité du modèle), mais qui déforment systématiquement les paramètres de la partie passive avant de les révéler à la partie active.

• Principe : La partie passive transforme ses paramètres originaux ($W_{pas}$) en une version déformée ($W_n$) via une matrice de transformation (souvent orthogonale) ou une perturbation optimisée.
• Compromis (Trade-off) : L'objectif est de trouver un équilibre entre :
  • Vie privée : Maximiser l'erreur quadratique moyenne (MSE) de la reconstruction par l'attaquant.
  • Interprétabilité : Minimiser la déviation entre les paramètres révélés et les paramètres originaux, afin que la partie active puisse toujours expliquer les décisions du modèle (crucial dans la finance ou la santé).
• Optimisation : Le problème est formulé comme un problème d'optimisation sous contraintes, souvent sur des variétés de Stiefel (pour garantir l'orthogonalité des transformations), afin de maximiser le bruit d'inférence tout en respectant un budget de distorsion $\epsilon$ pour l'interprétabilité.

3. Contributions Clés

1. Définition de l'attaque agnostique : Identification et formalisation d'une attaque où l'adversaire n'a pas besoin des scores de confiance réels pour reconstruire les données privées, rendant obsolètes les défenses basées uniquement sur le masquage des scores (bruit, arrondi).
2. Modélisation de l'attaque (AM et RAM) : Démonstration qu'un classifieur entraîné localement par la partie active peut servir de substitut efficace pour estimer les scores et mener une attaque, surtout lorsqu'il est raffiné avec quelques scores réels.
3. Nouvelle stratégie de défense (PPS) : Proposition de défenses qui agissent directement sur les paramètres du modèle plutôt que sur les sorties. Cela permet de maintenir l'utilité du modèle (scores exacts) tout en protégeant les données sources.
4. Analyse du compromis Vie privée / Interprétabilité : Formulation mathématique explicite de ce compromis, montrant qu'une petite perturbation des paramètres peut augmenter considérablement la sécurité sans rendre le modèle ininterprétable.
5. Validation empirique : Tests sur cinq jeux de données réels (Bank, Adult, Satellite, PenDigits, Grid) montrant l'efficacité de l'attaque agnostique et la robustesse des PPS proposés.

4. Résultats Expérimentaux

• Efficacité de l'attaque : Les résultats montrent que l'attaque agnostique via le AM est très efficace. Sur des jeux de données comme "Bank" et "Adult", la précision de reconstruction (MSE) est proche de celle obtenue avec les scores exacts. L'utilisation du RAM (avec seulement 50 à 100 scores réels) améliore encore significativement l'attaque, réduisant le MSE.
• Impact de la corrélation : L'attaque est plus efficace lorsque les caractéristiques actives et passives sont fortement corrélées. Sur le jeu de données "Grid" (faible corrélation), l'attaque échoue presque aussi bien qu'une estimation naïve (valeur 0.5).
• Performance des PPS :
  • Les schémas PPS augmentent considérablement le MSE de reconstruction pour l'attaquant.
  • Il existe une courbe de compromis : une faible distorsion des paramètres ($\epsilon$ faible) préserve l'interprétabilité mais offre moins de protection. Une distorsion plus forte protège mieux la vie privée mais rend les paramètres moins explicables.
  • Les résultats montrent que pour de nombreuses configurations, une petite perturbation suffit à dégrader fortement l'attaque tout en maintenant une interprétabilité acceptable.

5. Signification et Impact

Cet article est significatif car il change le paradigme de la sécurité en VFL :

• Au-delà du masquage des sorties : Il démontre que protéger uniquement les scores de sortie (confidentialité des résultats) est insuffisant si les paramètres du modèle sont accessibles (configuration boîte blanche). L'attaque agnostique contourne ces protections.
• Approche équilibrée : Au lieu de choisir entre un modèle totalement opaque (boîte noire, protégeant la vie privée mais perdant l'interprétabilité) ou un modèle totalement transparent (boîte blanche, risquant la fuite de données), les PPS proposés offrent une solution intermédiaire. Ils permettent de "bricoler" les paramètres de manière contrôlée pour tromper l'attaquant tout en gardant le modèle utilisable pour des tâches d'audit et de conformité.
• Applicabilité : La méthode est particulièrement pertinente pour les secteurs réglementés (banque, santé) où l'explicabilité des décisions algorithmiques est une exigence légale, mais où la protection des données sensibles des clients est primordiale.

En conclusion, l'article fournit une analyse rigoureuse d'une nouvelle vulnérabilité en VFL et propose des solutions mathématiquement fondées pour naviguer dans le compromis complexe entre la sécurité des données et l'utilité opérationnelle des modèles collaboratifs.