📊 statistics

Label Differential Privacy via Aggregation

Cet article propose un cadre de confidentialité différentielle des étiquettes pour les tâches de régression qui atteint de fortes garanties de confidentialité grâce à une agrégation linéaire pondérée des instances d'entraînement ou de sacs disjoints, offrant des bornes pratiques améliorées et une préservation de l'utilité sans nécessiter de bruit d'étiquette additif.

Auteurs originaux : Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

Publié 2026-09-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

À l'ère numérique moderne, de vastes quantités d'informations personnelles sont collectées chaque jour pour entraîner des programmes informatiques qui font des prédictions, allant de l'estimation du prix des maisons à la prévision des ventes. Un défi critique dans ce domaine est la manière d'enseigner à ces systèmes sans exposer les détails sensibles des individus qui ont fourni les données. Une solution puissante, connue sous le nom de confidentialité différentielle (differential privacy), agit comme un bouclier mathématique. Elle garantit que le résultat final d'une analyse informatique semble presque identique, que les données d'une seule personne soient incluses ou exclues, rendant impossible pour un tiers de rétro-concevoir l'information spécifique de cette personne. Bien que ce concept ait été largement étudié pour les données générales, un problème spécifique et difficile survient lorsque l'information sensible est entièrement cachée dans les étiquettes — les réponses ou les résultats attachés aux données, tels que le diagnostic médical d'un patient ou le choix d'un électeur. Protéger ces étiquettes sans détruire la capacité de l'ordinateur à apprendre des modèles utiles a longtemps été un obstacle.

Une équipe de chercheurs de Google Research India a développé une nouvelle méthode pour résoudre ce problème en modifiant la manière dont les données sont regroupées et combinées avant d'être utilisées pour l'entraînement. Au lieu d'ajouter du bruit aléatoire aux données, une technique qui brouille souvent les résultats et réduit la précision, ils ont proposé un système d'agrégation pondérée. Imaginez prendre une vaste collection d'enregistrements individuels et les mélanger en petits groupes, ou « sacs ». Dans leur approche, chaque enregistrement au sein d'un sac est multiplié par un nombre unique, généré aléatoirement, tiré d'une distribution spécifique en forme de cloche. Le système additionne ensuite ces enregistrements pondérés pour créer un nouveau point de donnée unique pour le sac. Ce processus est répété pour créer de nombreux points agrégés de ce type. Les chercheurs ont découvert que cette manière spécifique de mélanger les données, en utilisant ces poids aléatoires, crée une barrière mathématique qui protège la confidentialité des étiquettes originales. Crucialement, ils ont prouvé que cette protection tient même si un attaquant connaît tout sur les autres enregistrements du sac, à condition que l'ensemble de données soit suffisamment large et que les étiquettes ne soient pas toutes identiques.

L'étude démontre que cette méthode fonctionne efficacement pour deux scénarios différents. Dans le premier, chaque enregistrement de l'ensemble de données est inclus dans chaque sac, créant un ensemble d'agrégats hautement mélangés. Dans le second, l'ensemble de données est divisé en de nombreux petits groupes non chevauchants, et chaque groupe est traité séparément. Dans les deux cas, les chercheurs ont montré qu'un modèle informatique entraîné sur ces points agrégés et protégés pour la confidentialité peut toujours apprendre à faire des prédictions presque aussi précisément qu'un modèle entraîné sur les données brutes originales. Ils ont testé cela sur de vastes ensembles de données réelles, notamment un recensement de plus de 130 millions de personnes de 1940 et une collection de plus de 1,7 million d'enregistrements provenant d'une plateforme de publicité en ligne. Les résultats étaient clairs : les modèles entraînés sur les données agrégées ont atteint un niveau de précision presque identique à celui des modèles entraînés sur les données brutes, tout en respectant des garanties de confidentialité strictes.

Une découverte clé de ce travail est que le simple fait d'additionner les étiquettes d'un groupe sans ces poids aléatoires spéciaux n'offre aucune réelle protection de la confidentialité. Si les données sont simplement additionnées, un changement dans l'étiquette d'une seule personne provoquerait un décalage détectable dans le total, révélant son information. Les chercheurs ont prouvé que la pondération aléatoire est essentielle pour masquer ces contributions individuelles. De plus, ils ont montré que cette technique ne nécessite pas l'ajout de bruit supplémentaire aux étiquettes, ce qui est une exigence courante dans d'autres méthodes de confidentialité qui dégradent souvent la qualité de l'apprentissage. En s'appuyant uniquement sur les propriétés mathématiques de cette agrégation pondérée, ils ont préservé l'utilité des données pour les tâches de régression, qui sont utilisées pour prédire des valeurs continues comme les chiffres de ventes ou les heures travaillées.

L'équipe a également exploré une variante où une petite fraction des étiquettes est intentionnellement altérée par du bruit avant d'être regroupée, combinée à l'agrégation pondérée. Cette approche hybride a permis d'étendre les garanties de confidentialité à des tâches d'apprentissage plus complexes impliquant des réseaux de neurones, qui sont des modèles d'apprentissage profond capables de gérer des motifs complexes. Leurs expériences ont confirmé que même avec ces complexités ajoutées, les modèles maintiennent une utilité élevée. Ce travail suggère que pour de nombreuses applications pratiques, particulièrement celles contraintes par des réglementations ou des limitations de système empêchant l'utilisation de données individuelles brutes, cette méthode d'agrégation offre une voie robuste vers l'avenir. Elle permet aux organisations de construire des outils prédictifs puissants en utilisant des données sensibles sans compromettre la vie privée des individus derrière les chiffres, le tout sans la perte significative de précision qui accompagne souvent les techniques de préservation de la confidentialité.

Résumé Technique : Confidentialité Différentielle des Étiquettes via l'Agrégation

Définition du Problème

L'article traite du défi consistant à protéger les étiquettes d'entraînement sensibles dans les ensembles de données d'apprentissage automatique tout en maintenant l'utilité des tâches de régression. Plus précisément, il se concentre sur la confidentialité différentielle des étiquettes (label-DP), une notion de confidentialité où la distribution de sortie d'un mécanisme reste stable même si une seule étiquette d'entraînement change, tandis que les vecteurs de caractéristiques restent inchangés.

Les approches traditionnelles pour parvenir à la label-DP reposent généralement sur l'ajout d'un bruit additif indépendant (par exemple, le bruit gaussien) à chaque étiquette. Cependant, les auteurs notent que dans de nombreux scénarios pratiques, tels que les plateformes publicitaires (par exemple, Apple SKAN, Chrome Privacy Sandbox) ou l'agrégation de données médicales, les données sont naturellement traitées via des mécanismes d'agrégation (par exemple, l'apprentissage à partir de proportions d'étiquettes ou l'apprentissage à partir d'agrégats de sacs) plutôt que par un bruit additif. L'article examine si ces mécanismes d'agrégation naturels, souvent utilisés pour l'efficacité ou la conformité réglementaire, fournissent intrinsèquement des garanties de label-DP, et si ce n'est pas le cas, comment ils peuvent être améliorés pour le faire sans sacrifier l'utilité des tâches de régression linéaire ou neuronale.

Les auteurs établissent que la sommation non pondérée des étiquettes dans les sacs ne fournit pas de garanties de label-DP. Le problème central est de concevoir des mécanismes d'agrégation qui parviennent à la $(\epsilon, \delta)$ -label-DP avec un bruit additif minimal ou nul, tout en garantissant que le modèle de régression optimal entraîné sur les données agrégées approxime le modèle optimal sur l'ensemble de données original.

Méthodologie

L'article propose trois mécanismes d'agrégation primaires qui utilisent une agrégation linéaire pondérée avec des poids gaussiens i.i.d. ( $N(0, 1)$ ).

1. WTD-FLAG (Weighted-FLAg)

Ce mécanisme agrège l'ensemble du jeu de données en $m$ sacs. Pour chaque sac $j$ , le mécanisme échantillonne $n$ poids i.i.d. $w_{ij} \sim N(0, 1)$ et calcule :

Vecteur de caractéristiques agrégé : $x^{AGG}_j = \sum_{i=1}^n w_{ij} x_i$
Étiquette agrégée : $y^{AGG}_j = \sum_{i=1}^n w_{ij} y_i$

Crucialement, aucun bruit additif n'est ajouté aux étiquettes. La garantie de confidentialité repose sur l'aléa des poids et la non-dégénérescence de l'ensemble de données (spécifiquement, une borne inférieure sur la perte de régression linéaire).

2. Sampled-Weighted-FLAg (Sampled-WTD-FLAG)

Pour réduire la surcharge de calcul et la partie du jeu de données requise pour l'agrégation, cette variante échantillonne $m$ sacs disjoints de taille $k$ . Pour chaque sac, elle échantillonne $k$ poids i.i.d. et calcule la somme pondérée des caractéristiques et des étiquettes au sein de ce sous-ensemble spécifique. Comme le premier mécanisme, elle utilise aucun bruit additif. Cette approche nécessite une borne de valeur singulière minimale sur la matrice de données pour assurer l'utilité.

3. Sampled-Noisy-Weighted LAg (Sampled-Noisy-WTD-LAg)

Ce mécanisme traite les scénarios où les vecteurs de caractéristiques dans les sacs sont disponibles individuellement (Label Aggregation ou LAg). Pour surmonter la perte de confidentialité liée à l'exposition des caractéristiques individuelles, le mécanisme :

Ajoute un bruit i.i.d. $N(0, 1)$ à seulement une petite fraction fixe ( $\rho$ ) des étiquettes.
Applique une agrégation pondérée avec des poids gaussiens aux étquettes.
Produit les étiquettes agrégées ainsi que les vecteurs de caractéristiques individuels et leurs poids correspondants pour chaque sac.

Cette approche hybride vise à préserver l'utilité des tâches de régression par réseaux de neurones à borne Lipschitzienne tout en fournissant des garanties de label-DP.

Contributions Clés

L'article apporte les contributions spécifiques suivantes :

Résultat Négatif : Il démontre que le simple fait d'agréger les étiquettes (comme dans les jeux de données LLP standards) sans pondération ou bruit ne fournit pas de garanties de confidentialité différentielle.
Algorithmes Nouveaux : Il introduit de nouveaux algorithmes d'agrégation (WTD-FLAG, Sampled-WTD-FLAG, et Sampled-Noisy-WTD-LAg) qui génèrent des jeux de données label-DP uniquement par l'agrégation (avec un bruit minimal dans le troisième variant), évitant le lourd bruit additif typique des méthodes antérieures de label-DP.
Préservation de l'Utilité : Il prouve que les jeux de données générés par ces algorithmes préservent l'utilité (l'optimum) des tâches de régression linéaire avec des régresseurs à norme bornée et, dans le cas de la variante bruitée, des tâches de régression neuronale.
Bornes Améliorées : L'analyse théorique montre que les méthodes proposées atteignent la $(\epsilon, \delta)$ -label-DP avec des paramètres dépendant de la borne inférieure de la perte de régression linéaire ( $\gamma$ ) plutôt que de la valeur singulière minimale de la matrice de données, conduisant à des bornes plus serrées en pratique.

Résultats Théoriques

Garanties de Confidentialité :
- WTD-FLAG : Atteint la $(\epsilon, \delta)$ -label-DP si le nombre de sacs $m$ satisfait $m = O(\frac{\gamma n}{B_Y^2 \log(1/\delta)})$ , où $\gamma$ est la borne inférieure sur la perte de régression linéaire et $B_Y$ est la borne sur la magnitude de l'étiquette.
- Sampled-WTD-FLAG : Atteint la $(\epsilon, \delta)$ -label-DP avec une taille de sac $k \geq \Omega(((1/\epsilon) \log(1/\delta))^2)$ , en supposant une borne de valeur singulière minimale sur les données.
- Sampled-Noisy-WTD-LAg : Atteint la $(\epsilon, \delta)$ -label-DP en perturbant une fraction $\rho$ des étiquettes, avec un $k$ évoluant comme $O(B_Y^2/\rho\epsilon^2)$ .
Garanties d'Utilité :
- Pour la régression linéaire, le régresseur optimal entraîné sur les données agrégées approxime l'optimum du jeu de données original avec une haute probabilité. L'erreur est bornée par un facteur multiplicatif $(1+\theta)$ , où $\theta$ dépend du nombre de sacs et des propriétés du jeu de données.
- Les bornes d'utilité sont indépendantes de la dimension $d$ pour le mécanisme WTD-FLAG, une amélioration significative par rapport aux travaux antérieurs qui dépendaient de bornes liées à la dimension.

Résultats Expérimentaux

Les auteurs ont évalué empiriquement leurs méthodes sur deux jeux de données à grande échelle :

Données du recensement américain de 1940 : Prédire les heures de travail basées sur des caractéristiques démographiques.
Jeu de données Criteo Sponsored Search : Prédire les montants des ventes publicitaires.

Résultats :

Confidentialité vs Utilité : Les expériences démontrent que WTD-FLAG préserve efficacement l'utilité pour la régression linéaire même sous des budgets de confidentialité ( $\epsilon$ ) modestes. À mesure que $\epsilon$ augmente, l'erreur quadratique moyenne (MSE) sur le jeu de données original diminue, se stabilisant près de la perte optimale des données originales.
Comparaison avec les Travaux Antérieurs : L'article compare les bornes théoriques supérieures sur le nombre de sacs ( $m$ ) autorisés pour un $\epsilon$ donné par rapport aux travaux de Sheffet [42]. Les auteurs montrent que leurs bornes, dérivées de la borne inférieure de la perte de régression linéaire, sont sensiblement meilleures (permettant plus de sacs) que les bornes dérivées de la valeur singulière minimale dans les jeux de données réels.
Régression Neuronale : Les expériences avec Sampled-Noisy-WTD-LAg sur les réseaux de neurones montrent que l'utilité est préservée même avec un nombre limité de sacs échantillonnés et des tailles de sacs variables, confirmant les garanties théoriques pour les tâches non linéaires.

Signification et Revendications

L'article affirme que sa principale signification réside dans la quantification de la confidentialité obtenue par l'agrégation seule. Contrairement aux méthodes de label-DP précédentes qui reposent lourdement sur l'ajout de bruit ou le rééchantillonnage probabiliste, ce travail démontre que les mécanismes d'agrégation naturels, lorsqu'ils sont enrichis par une pondération, peuvent fournir des garanties de confidentialité rigoureuses.

Les auteurs soulignent que leur approche est motivée par des contraintes du monde réel où le bruit additif est indésirable ou impossible en raison de limitations systémiques ou réglementaires. En montrant que la label-DP peut être atteinte avec peu ou pas de bruit additif tout en préservant l'utilité des tâches de régression, ce travail suggère que les pipelines d'agrégation existants dans l'industrie peuvent déjà offrir des garanties de confidentialité plus fortes que ce qui était précédemment compris, réduisant potentiellement le besoin d'interventions supplémentaires coûteuses pour la préservation de la confidentialité. L'article reste modeste, se concentrant sur la quantification de ces garanties plutôt que sur la proposition de nouvelles applications ou de directions futures au-delà de la portée de l'analyse théorique et empirique actuelle.