Résumé technique : Cohérence contrefactuelle sélective pour l'apprentissage fédéré vertical (SCC-VFL)

1. Énoncé du problème

L'article aborde le défi de garantir l'équité individuelle dans les contextes d'apprentissage fédéré vertical (VFL) où les caractéristiques des données sont réparties entre plusieurs institutions (parties), et où les attributs sensibles (par exemple, la race, l'âge, le genre) peuvent être détenus de manière privée par une seule partie ou un enclave.

Dans le VFL, les parties détiennent des sous-ensembles de caractéristiques disjoints pour des entités qui se chevauchent. Bien que l'apprentissage fédéré permette un entraînement collaboratif de modèles sans centraliser les données brutes, il complique l'application de l'équité. Les approches d'équité existantes reposent souvent sur des métriques au niveau du groupe (par exemple, la parité démographique, les cotes égales) ou supposent un accès complet aux caractéristiques et aux graphes causaux, lesquels sont indisponibles dans le VFL. De plus, les interventions contrefactuelles naïves dans le VFL sont instables car :

1. Visibilité partielle : Aucune partie unique n'observe toutes les caractéristiques, ce qui rend difficile la détermination desquelles sont des médiateurs permis par rapport à des substituts impermissibles d'un attribut sensible.
2. Contraintes de confidentialité : Les attributs sensibles sont souvent privés, empêchant toute intervention directe pendant l'entraînement.
3. Fuites : Les représentations partagées ou les mises à jour peuvent involontairement révéler des informations sensibles ou permettre à des substituts de transmettre une influence sensible.

Les auteurs se concentrent sur la stabilité contrefactuelle au niveau individuel : garantir que la prédiction d'un individu reste inchangée sous une intervention hypothétique sur son attribut protégé, à condition que les caractéristiques non-descendantes soient maintenues fixes et que seuls les médiateurs autorisés par la politique soient autorisés à varier.

2. Méthodologie : SCC-VFL

Les auteurs proposent SCC-VFL (Cohérence contrefactuelle sélective pour l'apprentissage fédéré vertical), un cadre centré sur le serveur qui opérationnalise l'équité individuelle à travers trois composants intégrés :

A. Découverte de masques sans graphe et différentiellement privée (DP)

Puisque les graphes causaux sont rarement disponibles dans les contextes multi-parties, SCC-VFL utilise une procédure sans graphe et DP pour partitionner les caractéristiques de chaque partie en trois ensembles :

• Non-descendants ($N$) : Caractéristiques qui doivent rester fixes sous une intervention sur l'attribut sensible.
• Médiateurs ($M$) : Caractéristiques qu'il est permis de modifier (voies autorisées par la politique).
• Substituts ($P$) : Un sous-ensemble de médiateurs qui agissent comme des voies impermissibles pour l'influence sensible et doivent être supprimés.

Mécanisme :

1. Un détenteur de confiance (ou un enclave) génère un croquis DP ($z_s$) de l'attribut sensible $s$ en tronquant et en ajoutant du bruit gaussien aux tableaux de contingence. Ce croquis satisfait la propriété $(\epsilon, \delta)$-DP mais n'est pas appliqué à l'ensemble du pipeline d'entraînement.
2. Les parties utilisent $z_s$ comme covariable auxiliaire pour tester si leurs caractéristiques locales sont statistiquement réactives à $s$.
3. Le système calcule deux métriques pour chaque caractéristique :
   • Gain de risque ($\Delta_j$) : Amélioration de la prédiction de la caractéristique lorsque $z_s$ est inclus.
   • Critère d'indépendance Hilbert-Schmidt (HSIC) : Dépendance résiduelle à $z_s$ après conditionnement sur les autres caractéristiques locales.
4. Les caractéristiques avec un HSIC faible sont assignées à $N$ ; celles avec un HSIC élevé sont des candidates pour $M$. Au sein de $M$, les caractéristiques avec un gain de risque élevé (forte sensibilité à $s$ mais faible pertinence pour la tâche) sont signalées comme substituts $P$.

B. Génération contrefactuelle masquée

Chaque partie entraîne un générateur conditionnel local (un cVAE) pour créer des entrées contrefactuelles.

• Préservation de l'identité : Les non-descendants ($N$) sont copiés à l'identique ($x^{cf}_N = x_N$).
• Édition des médiateurs : Les médiateurs ($M$) sont édités pour se situer sur le support de la distribution conditionnelle $p(x_M | x_N, c, z_{s'})$, où $z_{s'}$ est l'embedding sensible cible.
• Suppression des fuites : Les substituts ($P$) passent sans modification mais sont soumis à une perte adversariale. Un adversaire tente de récupérer $z_s$ à partir des caractéristiques de substitut contrefactuelles ; le générateur minimise ce taux de succès pour supprimer les signaux sensibles résiduels.

C. Perte de cohérence contrefactuelle sélective (SCC) côté serveur

Le serveur agrège les représentations des entrées originales et des entrées contrefactuelles masquées pour former des représentations fusionnées $z$ et $z^{cf}$.

• Pénalité de cohérence : Le serveur minimise un terme de perte $\mathcal{L}_{SCC}$ qui pénalise la différence entre les prédictions $f_\theta(z)$ et $f_\theta(z^{cf})$.
• Objectif : Cela impose que la décision du modèle ne bascule pas arbitrairement lorsque seuls les médiateurs autorisés par la politique sont édités. L'objectif total combine l'utilité de la tâche, la cohérence SCC et les contraintes de validité (identité, support, fuite).

3. Contributions clés

1. Formulation du problème : Définition de la cohérence contrefactuelle sélective (SCC) pour le VFL, ciblant la stabilité par instance sous des interventions spécifiées par la politique plutôt que la parité de groupe.
2. Découverte de masques DP : Introduction d'un mécanisme sans graphe et différentiellement privé pour identifier les non-descendants candidats, les médiateurs et les substituts sans nécessiter de graphe causal prédéfini ni d'accès aux données sensibles brutes.
3. Génération masquée avec contrôle des fuites : Conception de générateurs locaux aux parties qui éditent uniquement les médiateurs tout en imposant l'identité sur les non-descendants et en supprimant les fuites de substituts via un entraînement adversarial.
4. Application côté serveur : Mise en œuvre d'une perte de cohérence au niveau du serveur qui pénalise les changements de prédiction impermissibles, validée sur divers domaines.

4. Résultats expérimentaux

Les auteurs ont évalué SCC-VFL sur trois ensembles de données réels : German Credit (Banque), UCI Heart Disease (Santé) et COMPAS Cox (Justice pénale), dans des conditions de splits IID et Non-IID (décalage de distribution).

• Métriques d'équité : SCC-VFL a considérablement réduit le taux de basculement (FR) (la fraction d'échantillons changeant de prédiction sous intervention) jusqu'à 98 % par rapport à des bases de référence solides (par exemple, Adv-NoMask, Uniform-CF, Masque aveugle à la politique). Il a également atteint le plus faible écart de cohérence sélective (SCG).
  • Exemple : Sur German Credit (Non-IID), SCC-VFL a réduit le FR à 0,12 % contre 6,24–8,22 % pour les bases de référence.
• Utilité : La méthode a maintenu ou amélioré la précision prédictive et le LogLoss, démontrant des compromis utilité-équité favorables.
• Confidentialité et robustesse :
  • Attaques d'inférence d'attributs (AIA) : SCC-VFL a réduit les taux de succès des attaques de 4 à 5 points de pourcentage par rapport aux bases de référence.
  • Attaques Subspace-PGD : Sous des perturbations ciblées des coordonnées des médiateurs, SCC-VFL a affiché les taux de succès les plus faibles (par exemple, 9,3 % à $\epsilon=0,20$ contre 21,7 % pour Adv-NoMask), indiquant des frontières de décision aplaties le long des directions sensibles.
• Études d'ablation : La suppression de tout composant (découverte de masques, générateur ou perte de cohérence) a dégradé les performances, confirmant la nécessité du pipeline complet pour la stabilité et le contrôle des fuites.

5. Importance et revendications

L'article affirme que SCC-VFL fournit une cible d'équité pratiquement auditable pour les déploiements VFL où les données sont en silos et les attributs sensibles sont privés.

• Responsabilité individuelle : Contrairement aux métriques au niveau du groupe qui peuvent masquer des incohérences individuelles, SCC-VFL garantit que des individus spécifiques reçoivent des décisions stables sous des changements contrefactuels des attributs protégés, s'alignant sur les exigences légales contre la discrimination (par exemple, la discrimination basée sur l'âge dans le prêt).
• Alignement politique : Le cadre impose une politique déclarée concernant les voies causales qui sont permises. Il ne prétend pas découvrir la causalité de vérité terrain mais opérationnalise plutôt une spécification définie par la gouvernance ($N/M/P$) dans un algorithme d'apprentissage.
• Robustesse au décalage : La méthode reste efficace dans des contextes Non-IID et sous des décalages de distribution, où les méthodes de base souffrent souvent d'une dégradation de la stabilité.
• Portée de la confidentialité : Les auteurs déclarent explicitement que la garantie formelle DP s'applique uniquement au croquis utilisé pour la découverte de masques, et non à l'ensemble du pipeline d'entraînement (représentations, gradients ou paramètres du modèle). Les avantages en matière de confidentialité observés dans les expériences sont des réductions empiriques des fuites sous des modèles de menace spécifiques, et non des garanties formelles de DP de bout en bout.

Ce travail positionne la stabilité contrefactuelle au niveau individuel comme un complément viable à l'équité de groupe, offrant un mécanisme pour que les parties prenantes audite, contestent et vérifient que les décisions algorithmiques ne sont pas arbitrairement pilotées par des attributs protégés dans des environnements d'apprentissage distribués.