Challenges in Enabling Private Data Valuation

Cet article analyse la tension fondamentale entre la confidentialité différentielle et l'utilité de l'évaluation des données, en identifiant les causes algorithmiques de cette incompatibilité et en proposant des principes de conception pour préserver la confidentialité sans sacrifier totalement la fidélité du classement des contributions.

L'essentiel

Imaginez que vous avez cuisiné un énorme gâteau pour une fête (c'est votre modèle d'intelligence artificielle). Vous avez utilisé des centaines d'ingrédients différents : de la farine, du sucre, des œufs, et même un tout petit peu de vanille rare.

La valorisation des données, c'est comme essayer de dire : « Quel ingrédient a le plus contribué au goût de ce gâteau ? » Est-ce que c'est la vanille ? Est-ce que c'est le sucre ? Ou est-ce que cet œuf un peu bizarre a tout gâché ?

C'est très utile pour améliorer le gâteau à l'avenir. Mais voici le problème : en disant exactement quel ingrédient a eu quel effet, vous risquez de révéler des secrets. Par exemple, si vous dites « La vanille a changé tout le goût », tout le monde saura que vous avez utilisé de la vanille, ce que vous vouliez peut-être garder secret.

Ce papier de recherche pose une question difficile : Comment on peut mesurer l'importance de chaque ingrédient sans révéler ce qu'il y a dans la cuisine ?

Voici les 3 grandes idées du papier, expliquées simplement :

1. Le Dilemme : Trop de détails tue le secret

Pour être précis, les méthodes actuelles regardent de très près chaque ingrédient.

• L'analogie : Imaginez que vous essayez de mesurer l'impact d'un grain de sable sur une montagne de sable. Pour être précis, vous devez regarder ce grain de très près. Mais en le regardant de si près, vous révélez sa position exacte, ce qui brise la confidentialité de toute la montagne.
• Le problème : La confidentialité (comme le "Differential Privacy") demande de flouter les détails pour protéger les secrets. Mais la valorisation des données a besoin de ces détails précis pour fonctionner. C'est comme essayer de prendre une photo ultra-nette d'un objet tout en portant des lunettes de soleil très foncées : ça ne marche pas.

2. Les 3 Fausses Pistes (et pourquoi elles échouent)

Les chercheurs ont testé trois façons de résoudre ce problème, et elles ont toutes échoué pour des raisons différentes :

• Piste A : La "Recette Mathématique" (Influence Functions)

  • L'idée : Utiliser une formule pour calculer l'impact sans tout refaire.
  • Le problème : La formule contient des "accélérateurs". Si un ingrédient est un peu bizarre (un "outlier"), la formule l'amplifie énormément, comme un micro qui siffle. Pour protéger la vie privée, il faudrait ajouter beaucoup de "bruit" (du brouillard) pour cacher ce sifflement. Mais ce brouillard est si fort qu'il efface aussi le goût des autres ingrédients normaux. Le résultat est inutilisable.

• Piste B : Le "Jeu de l'Équipe" (Shapley Values)

  • L'idée : On teste l'ingrédient dans des milliers de combinaisons différentes (avec du sucre seul, avec de la farine seule, etc.) pour voir sa valeur moyenne.
  • Le problème : Pour être précis, il faut tester trop de combinaisons. Si on essaie de protéger la vie privée en ajoutant du brouillard à chaque test, le brouillard s'accumule. À la fin, le résultat est si flou qu'on ne sait plus qui a contribué à quoi. C'est comme essayer de compter les voix d'un scrutin en ajoutant des fausses voix à chaque fois pour protéger l'anonymat : le résultat final n'a plus aucun sens.

• Piste C : Le "Film de la Cuisson" (Trajectory Methods)

  • L'idée : Regarder comment l'ingrédient a influencé le gâteau pendant qu'il cuisait, étape par étape.
  • Le problème : Cela fonctionne bien si toute la cuisson s'est faite dans le secret. Mais si on veut publier le film entier pour que tout le monde voie qui a fait quoi, on révèle trop d'informations sur le processus de cuisson lui-même. De plus, si on essaie de flouter le film, on perd la chronologie et l'histoire devient incompréhensible.

3. La Conclusion : Il faut changer de recette

Le papier conclut qu'on ne peut pas simplement "bricoler" les méthodes actuelles pour les rendre privées. C'est comme essayer de rendre un avion silencieux en bouchant les trous avec du scotch : ça ne marchera jamais.

La vraie solution ? Il faut inventer de nouvelles méthodes dès le départ qui sont conçues pour être privées.

• Au lieu de regarder chaque ingrédient individuellement, il faudrait peut-être regarder des groupes d'ingrédients.
• Ou utiliser des recettes de base publiques pour faire les calculs, sans jamais toucher aux ingrédients secrets.

En résumé :
Aujourd'hui, on veut savoir exactement qui a fait quoi dans un modèle d'IA, mais on veut aussi garder les données secrètes. Le papier dit : « C'est un conflit fondamental. On ne peut pas avoir les deux avec les outils actuels. Il faut repenser complètement la façon dont on mesure la valeur des données, en acceptant de faire des compromis ou en créant de nouvelles règles du jeu. »

Résumé technique

Titre : Défis pour permettre l'évaluation privée des données

Auteurs : Yiwei Fu, Tianhao Wang, Varun Chandrasekaran (UIUC, UVA)
Contexte : Analyse systématique (SoK - Systematization of Knowledge) des tensions entre les méthodes d'évaluation de données et la confidentialité différentielle (DP).

---

1. Problématique

L'évaluation des données (Data Valuation) vise à quantifier la contribution de chaque exemple d'entraînement à la performance d'un modèle. Ces méthodes sont essentielles pour le nettoyage de données, l'audit, la tarification sur les marchés de données et l'attribution de responsabilité.

Cependant, une tension fondamentale existe entre l'utilité de l'évaluation et la confidentialité différentielle (DP) :

• Objectif de l'évaluation : Détecter la sensibilité fine d'un modèle à l'ajout ou au retrait d'un seul exemple (mesure d'influence per-record).
• Objectif de la DP : Garantir que la sortie d'un algorithme est insensible à la présence ou l'absence d'un seul enregistrement.

Le paradoxe central : Les signaux que les méthodes d'évaluation cherchent à extraire (gradients par exemple, contributions marginales) sont précisément ceux que la DP cherche à supprimer ou à masquer par du bruit. L'application naïve de mécanismes DP (comme l'ajout de bruit) détruit souvent la granularité nécessaire pour classer ou attribuer de la valeur, en particulier dans les ensembles de données hétérogènes où des exemples rares peuvent avoir un impact disproportionné.

---

2. Méthodologie et Analyse Structurelle

Les auteurs adoptent une approche systémique pour analyser les principales familles de méthodes d'évaluation de données. Au lieu de comparer simplement les algorithmes par leur précision, ils décomposent les pipelines d'évaluation en primitives algorithmiques partagées pour identifier les sources de sensibilité prohibitive.

Les quatre grandes catégories analysées sont :

1. Approximations par fonctions d'influence et courbure (ex: Influence Functions, iHVP, K-FAC).
2. Contributions marginales pondérées (ex: Shapley, Beta Shapley, Data Banzhaf).
3. Approximations basées sur la trajectoire d'optimisation (ex: TracIn, SOURCE, In-run Data Shapley).
4. Modélisation de données et attribution linéarisée (ex: TRAK, Data Models).

L'analyse se concentre sur les mécanismes de sensibilité (amplification de courbure, extrema de coalitions, accumulation de trajectoires) et évalue la faisabilité de l'application de la DP sur ces structures.

---

3. Contributions Clés et Résultats

L'article identifie neuf défis récurrents (C1 à C9) qui entravent systématiquement l'évaluation des données sous contraintes de confidentialité, et propose des principes de conception pour y remédier.

A. Défis Techniques Majeurs

• Amplification de la courbure (C1, C2) : Dans les réseaux de neurones profonds, la matrice hessienne est souvent mal conditionnée (valeurs propres proches de zéro). Les opérateurs d'inversion (comme $H^{-1}$) amplifient considérablement les gradients alignés sur ces directions, créant une distribution de scores d'influence à "queue lourde".
  • Résultat : Le bruit DP nécessaire pour masquer les valeurs extrêmes (outliers) est si important qu'il noie le signal pour la majorité des points de données. Le "damping" (régularisation) ne suffit pas à garantir une sensibilité bornée sans détruire l'utilité.
• Instabilité des utilités et extrema de coalitions (C4, C5) : Pour les méthodes de type Shapley, la sensibilité globale dépend de la variation maximale de l'utilité (ex: précision) lorsqu'un point est ajouté à un sous-ensemble. En apprentissage profond, cette variation peut être explosive pour de petits sous-ensembles.
  • Résultat : Même avec un échantillonnage, la sensibilité empirique dépasse souvent la magnitude des scores eux-mêmes, rendant le bruit DP inutilisable.
• Exposition compositionnelle (C7) : Les méthodes basées sur la trajectoire (comme TracIn) accumulent les contributions sur plusieurs étapes d'optimisation.
  • Résultat : Bien que les méthodes du premier ordre (TracIn) puissent être traitées comme un post-traitement d'un modèle entraîné avec DP-SGD, elles empêchent l'utilisation de techniques d'amplification de confidentialité basées sur l'état caché (qui nécessitent de ne pas révéler les checkpoints intermédiaires). De plus, les méthodes du second ordre (SOURCE) nécessitent des informations de courbure privées non protégées par le bruit de gradient standard.
• Dépendance géométrique globale (C9) : Les méthodes par substitut (surrogates) comme TRAK utilisent des matrices de préconditionnement (ex: Hessian inverse) dérivées de l'ensemble complet des données privées.
  • Résultat : La construction de l'embedding d'un seul point nécessite une requête globale sur la base de données privée, créant une fuite d'information sur le reste de l'ensemble.

B. Principes de Conception et Limites

• Échec des approches "a posteriori" : L'ajout de bruit ou de clipping après le calcul des scores d'influence ou de Shapley est inefficace car il soit efface les outliers (qui sont souvent les plus importants), soit ajoute un bruit trop fort pour les points standards.
• Nécessité de la "Sensibilité par Conception" (Sensitivity-by-Design) : Pour que l'évaluation soit compatible avec la DP, il faut concevoir des fonctions d'utilité ou des architectures qui bornent intrinsèquement la sensibilité (ex: utiliser des fonctions Lipschitziennes, des voisinages locaux, ou des données publiques pour la géométrie) plutôt que de tenter de privatiser des métriques volatiles.

C. Résultats Empiriques

• Les expériences montrent que même avec un budget de confidentialité faible (ex: $\epsilon = 68$), la corrélation entre les top-k exemples influents d'un modèle privé et d'un modèle non privé chute drastiquement (autour de 50% pour TracIn).
• Pour la détection d'erreurs d'étiquetage, la performance se dégrade légèrement mais reste acceptable pour de petits modèles, mais la qualité de l'évaluation fine (ranking) est fortement compromise par le bruit nécessaire.

---

4. Problèmes Ouverts (Open Problems)

Les auteurs proposent trois axes de recherche futurs pour résoudre ces tensions :

1. Comptabilité de confidentialité plus fine pour les trajectoires : Développer des "comptables de valuation" spécifiques qui quantifient le coût de la libération des produits scalaires de gradients (alignement) sans révéler la trajectoire complète, permettant d'utiliser des checkpoints denses.
2. Évaluation DP statique et agnostique de la tâche : Explorer l'utilisation de surrogates basés sur des données publiques pour approximer la géométrie de l'espace des paramètres (Hessian) ou les distributions d'utilité marginale, évitant ainsi l'accès aux données privées pour le préconditionnement.
3. Au-delà de la libération par enregistrement :
   • Gérer le problème de la libération centrale (publier le vecteur complet des scores pour tout l'ensemble d'entraînement), ce qui pose un problème d'échelle de budget.
   • Résoudre le problème de la validation privée, où l'ensemble de validation est lui-même sensible (ex: données hospitalières), nécessitant des protocoles de calcul multipartite sécurisé (SMPC) ou de chiffrement homomorphe pour calculer les scores d'influence sans révéler les gradients des deux parties.

---

5. Signification et Conclusion

Cet article démontre que le conflit entre l'évaluation des données et la confidentialité n'est pas une simple contrainte de comptabilité, mais une contradiction structurelle. Le signal utile de l'évaluation (la sensibilité fine d'un modèle à un point) est intrinsèquement une fuite d'information que la DP cherche à supprimer.

Conclusion principale : Il est peu probable que l'ajout de mécanismes DP standards (bruit, clipping) sur les algorithmes d'évaluation existants produise des résultats utiles. L'avenir de l'évaluation privée des données réside dans la refonte des objectifs d'évaluation eux-mêmes : concevoir des mécanismes qui séparent le signal de qualité des données du signal d'identité privée, en privilégiant des structures à sensibilité bornée par conception (localité, géométrie publique, utilités stables).