Résumé Technique : INO-SGD : Résolution du Déséquilibre d'Utilité sous la Différentielle Privée Individualisée

Énoncé du Problème

L'article aborde une limitation critique de la Différentielle Privée Individualisée (IDP), un cadre permettant aux propriétaires de données de définir des budgets de confidentialité distincts ($\epsilon_n$) en fonction de leurs exigences de sensibilité. Bien que les algorithmes IDP existants (spécifiquement les variantes IDP-SGD : SAMPLE et SCALE) satisfont avec succès les contraintes de confidentialité individuelles, ils induisent involontairement un grave problème de déséquilibre d'utilité.

Dans IDP-SGD, les propriétaires de données ayant des exigences de confidentialité plus strictes (un $\epsilon_n$ plus faible) se voient attribuer soit des taux d'échantillonnage plus faibles (dans SAMPLE), soit des seuils de découpage de gradient plus petits (dans SCALE). Par conséquent, lors de l'entraînement, les gradients de ces propriétaires « plus privés » contribuent moins à la mise à jour du modèle par rapport aux gradients des propriétaires « moins privés ». L'article identifie deux phénomènes négatifs spécifiques résultant de ce déséquilibre :

1. Chute Initiale Minoritaire (MID) : Une phase initiale où l'utilité du modèle pour les groupes plus privés ne s'améliore pas, voire se dégrade, tandis que l'utilité pour les groupes moins privés s'améliore normalement.
2. Objectif d'Optimisation Biaisé (BOO) : Le modèle final entraîné converge vers un état favorisant les groupes moins privés, entraînant des performances significativement plus faibles sur les données des propriétaires plus privés.

Crucialement, les auteurs soutiennent que les techniques existantes pour corriger le déséquilibre des données (par exemple, le suréchantillonnage, la réaffectation des pertes) sont inadaptées à l'IDP car elles soit violent les budgets de confidentialité individuels, soit sous-utilisent les budgets de confidentialité disponibles (réduisant l'utilité globale), soit voient leurs effets annulés par les mécanismes de découpage de gradient inhérents à la DP.

Méthodologie : INO-SGD

Pour résoudre ce problème, les auteurs proposent INO-SGD (Descente de Gradient Stochastique Ordonnée et Bruitée Individualisée). L'intuition centrale consiste à pondérer stratégiquement à la baisse les gradients moins importants au sein de chaque lot sans violer les contraintes IDP.

Mécanisme Clé

1. Ordonnancement Basé sur la Perte : Au sein de chaque lot échantillonné, les gradients sont triés par ordre décroissant en fonction de leurs valeurs de perte individuelles. Les auteurs postulent que les gradients à perte élevée représentent des points de données « difficiles » ou plus importants que le modèle doit apprendre, indépendamment du niveau de confidentialité du propriétaire.
2. Fonction d'Importance de Queue (TIF) : Une fonction prédéfinie, $f_{tail}$, mappe la position d'un gradient dans la liste triée vers un score d'importance compris entre 0 et 1.
   • Les gradients dans la « tête » (perte élevée) se voient attribuer un score de 1 (pleinement conservés).
   • Les gradients dans la « queue » (perte faible) se voient attribuer des scores $< 1$ (pondérés à la baisse).
3. Fonction d'Importance de Lot (BIF) : La TIF est transformée en une BIF, $f_t$, qui attribue des scores d'importance à la plage continue des seuils de découpage cumulés au sein du lot.
4. Découpage Pondéré : Au lieu de simplement découper les gradients au seuil du propriétaire $C_{o(d)}$, INO-SGD met à l'échelle le gradient découpé par son score d'importance calculé $\rho_k$.
   • Si un gradient est jugé peu important (perte faible), sa norme est restreinte à une valeur strictement inférieure à $C_{o(d)}$.
   • Cette réduction de la norme des gradients « faciles » crée de la « place » au sein du budget total de sensibilité modulaire pour préserver efficacement la contribution des gradients « difficiles » (souvent issus de propriétaires plus privés) sans augmenter l'échelle totale du bruit.
5. Préservation de la Confidentialité : L'algorithme garantit que la sensibilité modulaire du mécanisme par rapport à une seule donnée $d$ reste bornée par le seuil de découpage de son propriétaire $C_{o(d)}$. Cela est réalisé car le re-pesage est basé sur l'ordre des pertes (dérivé du modèle de l'itération précédente, déjà protégé par la DP) et le changement total dans le gradient sommé lors de l'ajout/suppression d'une donnée est mathématiquement borné par le seuil de découpage propre à cette donnée.

Contributions Clés

1. Identification du Déséquilibre d'Utilité Induit par l'IDP : L'article démontre théoriquement que même sur des jeux de données équilibrés, IDP-SGD induit un déséquilibre d'utilité (MID et BOO) en raison de la disparité des taux d'échantillonnage et des seuils de découpage requis pour satisfaire les budgets de confidentialité individuels.
2. L'Algorithme INO-SGD : Un algorithme d'optimisation novateur qui satisfait l'IDP tout en atténuant le déséquilibre d'utilité. Il y parvient en pondérant à la baisse les gradients à faible perte (souvent issus de propriétaires moins privés) pour privilégier les gradients à perte élevée (souvent issus de propriétaires plus privés), optimisant ainsi efficacement une fonction objectif différente.
3. Garanties Théoriques :
   • Confidentialité : Prouvé satisfaire la $(\alpha, \bar{\epsilon})$-Différentielle Privée Individualisée de Rényi (IRDP) avec le même taux de consommation de confidentialité que l'IDP-SGD standard.
   • Objectif : L'algorithme est montré comme minimisant efficacement un objectif de Valeur à Risque Conditionnelle Mixte (CVaR) (ou une Moyenne Pondérée Ordonnée avec des poids non croissants). Cet objectif privilégie la réduction des pertes des groupes les plus défavorisés (propriétaires plus privés) plutôt que la minimisation de la perte moyenne.
4. Généralisation (INO-SGM) : Les auteurs généralisent le mécanisme à INO-SGM (Mécanisme Gaussien Ordonné et Bruité Individualisé), applicable à toute fonction où l'ordonnancement des données est important, et pas seulement à la descente de gradient.

Résultats Expérimentaux

Les auteurs ont évalué INO-SGD par rapport à IDP-SGD sur divers jeux de données (MNIST, CIFAR-10, CIFAR-100, Pneumonie, Cardiotocographie) et modèles (CNN, ResNet-18, LSTM).

• Équilibre d'Utilité : INO-SGD a constamment amélioré les performances (rappel/précision) des propriétaires de données plus privés. Dans plusieurs expériences, l'écart de performance entre les groupes privés et moins privés a été considérablement réduit.
• Utilité Globale : Contrairement au compromis typique entre confidentialité et utilité, INO-SGD n'a pas sacrifié l'utilité globale du modèle. Dans de nombreux cas, il a atteint une précision globale égale ou légèrement supérieure à celle d'IDP-SGD. Les auteurs attribuent cela à la suppression des gradients « bruyants » ou moins informatifs qui distraient le modèle.
• Robustesse : L'algorithme a démontré une robustesse face aux choix d'hyperparamètres (longueur de queue $\gamma$, paramètres de la distribution Beta $\alpha, \beta$) et est resté efficace sous des conditions de bruit d'étiquetage et de paramètres de découpage adaptatif.
• Vérification de la Confidentialité : Les Attaques par Inférence d'Adhésion (LiRA) ont confirmé que INO-SGD offre une protection de la confidentialité comparable à IDP-SGD, sans fuite significative.

Signification et Revendications

L'article revendique être le premier travail à identifier et à résoudre le problème spécifique du déséquilibre d'utilité induit par l'IDP. Sa signification réside dans :

• IA Éthique : Il garantit que le déploiement de modèles préservant la confidentialité ne discrimine pas involontairement les utilisateurs disposant de données sensibles (par exemple, des patients atteints de maladies stigmatisées) en leur fournissant un modèle qui performe mal sur leurs données spécifiques.
• Efficacité : Il résout le compromis où la satisfaction des exigences de confidentialité individuelles conduisait auparavant à des performances de modèle sous-optimales pour des groupes spécifiques. INO-SGD permet aux propriétaires de modèles d'utiliser les budgets de confidentialité complets de tous les propriétaires tout en maintenant des performances équilibrées.
• Supériorité de Pareto : Les auteurs démontrent que INO-SGD domine au sens de Pareto les approches naïves (comme la réduction uniforme des budgets de confidentialité ou le sous-échantillonnage aléatoire), offrant une courbe de compromis supérieure entre l'utilité globale et l'équilibre d'utilité.

Les auteurs reconnaissent modestement que, bien que INO-SGD améliore l'équilibre, un compromis fondamental IDP-équilibre-utilité persiste ; pousser trop agressivement pour l'équilibre (via un pondération à la baisse extrême) peut éventuellement dégrader l'utilité globale. Cependant, INO-SGD rapproche la frontière de Pareto de l'idéal par rapport aux méthodes existantes.