On the Fragility of Data Attribution When Learning Is Distributed

Résumé technique : Sur la fragilité de l'attribution des données lorsque l'apprentissage est distribué

Énoncé du problème
L'attribution des données est devenue un composant critique pour la tarification, l'audit et la gouvernance dans les pipelines d'apprentissage automatique, en particulier dans des contextes distribués tels que l'apprentissage fédéré (FL). Ces systèmes s'appuient sur des métriques d'attribution (par exemple, les valeurs de Shapley, les fonctions d'influence) pour quantifier la contribution de chaque propriétaire de données à l'utilité globale du modèle. Cependant, les méthodes d'attribution actuelles supposent implicitement que ces scores reflètent fidèlement les contributions réelles des participants. Cet article remet en cause cette hypothèse, démontrant que dans les flux de travail d'entraînement distribué standard, un seul participant malveillant peut manipuler stratégiquement sa valeur d'attribution mesurée pour apparaître nettement plus bénéfique qu'il ne l'est réellement, sans dégrader l'utilité du modèle global. La vulnérabilité fondamentale réside dans la sensibilité des estimateurs d'utilité marginale à la couverture des étiquettes non IID et aux préférences structurelles spécifiques des évaluateurs d'attribution.

Méthodologie : Attaque par optimisation latente
Les auteurs proposent un modèle de menace « attribution d'abord » où un client malveillant ($i^\star$) vise à maximiser son score d'attribution $E(\hat{g}^\star_t)$ tout en préservant strictement l'utilité globale $U(\cdot)$ dans une petite tolérance $\delta$. Contrairement aux attaques par empoisonnement traditionnelles qui dégradent les performances, cette attaque opère sous la contrainte que la précision de test reste stable.

L'attaque par optimisation latente proposée se déroule comme suit :

1. Injection de données synthétiques : L'attaquant utilise un décodeur fixe et pré-entraîné ($Dec(\cdot)$) pour générer un petit lot d'échantillons synthétiques $(\tilde{x}, \tilde{y})$ à partir d'un vecteur latent $z$.
2. Optimisation du vecteur latent : L'attaquant optimise le vecteur latent $z$ par descente de gradient pour satisfaire une fonction de perte conjointe $L(z) = L_1(z) + L_2(z) + L_3(z)$ :
   • $L_1$ (Alignement directionnel) : Assure que le gradient du lot synthétique s'aligne avec une direction de référence bénigne (par exemple, la mise à jour du modèle global $w_t - w_{t-1}$) en utilisant la similarité cosinus.
   • $L_2$ (Cohérence de la norme) : Fait correspondre l'amplitude du gradient synthétique à celle des mises à jour bénignes pour échapper aux défenses basées sur la géométrie.
   • $L_3$ (Fidélité de la tâche) : Maintient une perte d'entropie croisée standard sur le lot synthétique pour garantir que les données sont discriminantes par classe et utiles pour l'entraînement.
3. Couverture stratégique : L'attaquant cible spécifiquement les classes sous-représentées ou absentes dans son jeu de données réel local ($D^{(i^\star)}_r$). En injectant des échantillons synthétiques pour ces étiquettes « manquantes », l'attaquant exploite la sensibilité de l'évaluateur aux lacunes de couverture.
4. Mise à jour hybride : L'attaquant mélange le lot synthétique optimisé avec ses données réelles pour effectuer un entraînement local, générant une mise à jour déclarée $\hat{g}^\star_t$ statistiquement indiscernable des mises à jour bénignes, mais produisant une utilité marginale disproportionnée aux yeux de l'évaluateur côté serveur.

Contributions clés

• Modèle de menace « attribution d'abord » : L'article formalise un nouvel objectif d'attaque dans le FL où le but est d'gonfler les scores d'attribution de données sous des contraintes explicites d'utilité et de plausibilité, distincts des objectifs traditionnels d'empoisonnement de modèle.
• Attaque pratique par optimisation latente : Les auteurs introduisent un mécanisme d'attaque concret utilisant des données synthétiques générées par un décodeur pour construire des mises à jour locales conscientes de l'attribution. Cette méthode préserve l'utilité et reste statistiquement plausible, échappant aux vérifications de bon sens standard.
• Validation théorique et empirique : L'article fournit un aperçu théorique expliquant pourquoi de telles mises à jour augmentent l'attribution marginale sans dégrader la précision (en raison de l'alignement avec les directions de descente globale et des gains d'utilité liés à la couverture). Empiriquement, l'attaque est validée sur trois jeux de données (CIFAR-10, FashionMNIST, SVHN), trois architectures de modèles (ResNet-18, WRN-28-10, VGG16 BN) et plusieurs évaluateurs (Valeur de Shapley Fédérée et Leave-One-Out).

Résultats expérimentaux

• Gonflement de l'attribution : Sous l'attaque par optimisation latente, un client malveillant initialement classé dernier (recevant une attribution proche de zéro) se déplace systématiquement dans la moitié supérieure du classement, atteignant souvent des valeurs d'attribution comparables ou supérieures à celles des hauts contributeurs bénins. Par exemple, sur CIFAR-10 avec ResNet-18, la valeur d'attribution du client malveillant est passée de 0,0547 à 0,1682, faisant passer son rang du 10e au 2e.
• Préservation de l'utilité : Contrairement aux attaques de base (retournement d'étiquettes, bruit aléatoire) qui dégradent considérablement la précision de test, l'attaque par optimisation latente maintient la précision globale dans une marge étroite de la base de référence sans attaque (par exemple, 77,59 % contre 76,75 % sur CIFAR-10/ResNet-18).
• Remodelage de la structure d'attribution : L'attaque n'a pas simplement augmenté le score de l'attaquant ; elle a redistribué les parts d'attribution parmi les clients bénins, modifiant l'attribution relative des crédits au sein du système.
• Évasion des défenses : Les défenses standard de rognage basées sur la géométrie, qui filtrent les mises à jour en fonction de l'écart par rapport à la masse des mises à jour des clients, n'ont pas détecté l'attaque (Précision et Rappel proches de 0,00). Les mises à jour hybrides sont restées alignées avec la direction de descente globale et statistiquement intégrées dans la distribution bénigne.
• Robustesse : L'attaque est restée efficace à travers différents nombres de clients, différents classements initiaux des clients et différents évaluateurs d'attribution (FedSV et LOO).

Signification et affirmations
L'article affirme que l'attribution elle-même constitue une nouvelle surface d'attaque dans l'apprentissage distribué. Les résultats démontrent que le maintien de la précision du modèle seul est insuffisant pour un apprentissage collaboratif digne de confiance ; l'intégrité de l'attribution est tout aussi critique. Les auteurs soutiennent que les mécanismes d'incitation et les cadres de gouvernance actuels sont vulnérables car ils reposent sur des évaluateurs qui peuvent être manipulés sans nuire aux performances globales. Ce travail motive le développement d'évaluateurs robustes à l'attribution et de mécanismes de notation compatibles avec les incitations, soulignant que la vulnérabilité découle des propriétés d'incitation de l'évaluation de l'utilité marginale plutôt que de règles de notation spécifiques. L'article conclut que sans remédier à ces vulnérabilités, les systèmes risquent de récompenser les mauvais contributeurs, d'identifier à tort des acteurs nuisibles et de tirer des conclusions trompeuses sur la qualité des données.