Résumé Technique : Optimisation Privée sous Contrainte de Taux avec Applications à l'Apprentissage Équitable

Énoncé du Problème

De nombreuses tâches critiques d'apprentissage automatique, allant de l'équité de groupe (ex: parité démographique, égalité des chances) à l'optimisation robuste et à l'apprentissage sensible aux coûts, peuvent être formulées comme des problèmes de minimisation sous contraintes. Ces problèmes nécessitent de minimiser l'erreur globale du modèle sous des contraintes de taux, qui imposent des conditions spécifiques sur les taux de prédiction à travers des sous-populations (ex: garantir des taux de résultats positifs similaires entre les groupes de genre).

Un défi important surgit lors de l'application de la Confidentialité Différentielle (Differential Privacy - DP) à ces problèmes. Les techniques d'optimisation DP standard, telles que le DP-SGD, reposent sur des objectifs qui se décomposent sur des exemples individuels, permettant le écrêtage (clipping) des gradients par exemple et l'ajout de bruit. Cependant, les contraintes de taux dépendent de statistiques agrégées sur des groupes, ce qui crée des dépendances inter-échantillons qui violent cette décomposabilité. Les méthodes existantes d'apprentissage privé se sont largement concentrées sur des contraintes d'équité spécifiques ou reposent sur des objectifs de substitution (proxies) qui ne s'étendent pas à la famille plus large de contraintes de taux rencontrées en pratique. Il existe un manque de cadre DP général capable de gérer des problèmes arbitraires sous contrainte de taux tout en maintenant des garanties de confidentialité formelles.

Méthodologie : RaCO-DP

Pour remédier à l'incompatibilité entre les contraintes de taux et le DP-SGD standard, les auteurs proposent le RaCO-DP, une variante différentiellement privée de l'algorithme de descente de gradient stochastique-ascension (Stochastic Gradient Descent-Ascent - SGDA). La méthode résout la formulation lagrangienne du problème sous contrainte de taux.

Composantes Techniques Clés

1. Contraintes de Taux Généralisées :
   Les auteurs introduisent une forme généralisée de contraintes de taux applicable aux contextes multi-classes. Ces contraintes sont définies sur la base d'une « partition globale » du jeu de données ($D_1, \dots, D_Q$) et permettent à chaque contrainte d'opérer sur toute recombinaison de ces sous-ensembles de données. Cette structure permet l'estimation privée efficace des statistiques nécessaires.

2. Calcul d'Histogramme Privé :
   L'innovation centrale réside dans le calcul d'un histogramme privé à chaque étape d'entraînement. Pour un mini-lot $B^{(t)}$, l'algorithme calcule les taux de prédiction "soft" pour chaque classe $k$ au sein de chaque partition $D_q$.

   • Au lieu de calculer les contraintes directement sur les données brutes, l'algorithme agrège les prédictions softmax dans un histogramme $H^{(t)}$.
   • Pour assurer la confidentialité, un bruit de Laplace est ajouté à cet histogramme. Puisque la sensibilité $\ell_1$ de l'histogramme est de 1 (chaque échantillon appartient à exactement une partition et ses probabilités softmax somment à 1), l'ajout de bruit de Laplace fournit une $\epsilon$-DP pour l'histogramme lui-même.

3. Mises à jour Primales et Duales via le Post-traitement :

   • Mise à jour Primale (Paramètres du modèle $\theta$) : L'algorithme dérive les gradients par échantillon du Lagrangien en post-traitant l'histogramme privé $\hat{H}^{(t)}$. Cela permet au terme de régularisation (dérivé des contraintes) d'être décomposé en termes par échantillon, permettant ainsi les techniques DP-SGD standard : écrêtage des gradients par échantillon, moyennage et ajout de bruit gaussien.
   • Mise à jour Duale (Multiplicateurs de Lagrange $\lambda$) : Les valeurs de contrainte requises pour l'ascension duale sont calculées en post-traitant le même histogramme privé $\hat{H}^{(t)}$. Puisque l'histogramme est déjà privatisé, la propriété de post-traitement de la DP garantit que l'évaluation des contraintes et la mise à jour de $\lambda$ n'induisent aucun coût de confidentialité supplémentaire.

4. Analyse de Convergence :
   Le papier fournit une nouvelle analyse de convergence pour le SGDA en présence de gradients biaisés et de bruit de confidentialité.

   • L'analyse exploite la structure linéaire du paramètre dual pour obtenir des taux de convergence plus rapides par rapport aux analyses antérieures de type min-max non-convexe.
   • Il prouve que le RaCO-DP converge vers un point stationnaire approximatif même pour les problèmes d'optimisation non-convexes, avec des bornes d'erreur dépendant du budget de confidentialité, de la taille du jeu de données et des échelles de bruit.

Contributions Clés

• Cadre Général : Introduction du premier cadre DP général pour des problèmes arbitraires sous contrainte de taux, dépassant le champ étroit des méthodes spécifiques à l'équité.
• Innovation Algorithmique : Développement du RaCO-DP, qui utilise des histogrammes privés pour découpler le coût de confidentialité de l'évaluation des contraintes du calcul du gradient, évitant ainsi le besoin de multiples requêtes privées.
• Garanties Théoriques : Une preuve de convergence formelle pour le SGDA sous DP avec des gradients biaisés, démontrant la convergence vers un point stationnaire approximatif pour les pertes non-convexes-linéaires.
• Scalabilité : Démonstration que la méthode passe à l'échelle sur des réseaux de neurones profonds (ResNet16) et gère un grand nombre de contraintes simultanées (jusqu'à 18 contraintes de sous-groupes).

Résultats Expérimentaux

Les auteurs évaluent le RaCO-DP sur quatre benchmarks standards (Adult, Credit-Card, Parkinsons, CelebA) et diverses formes de contraintes (Parité démographique, Égalité des chances, Taux de faux négatifs).

• Compromis Utilité-Équité-Confidentialité : Le RaCO-DP domine systématiquement le Pareto des approches d'apprentissage privé existantes (ex: DP-FERMI, Tran et al., Jagielski et al.). Il atteint une précision plus élevée pour toute disparité d'équité donnée par rapport aux bases de référence sous les mêmes budgets de confidentialité.
• Performance en Apprentissage Profond : Sur le jeu de données CelebA avec un modèle ResNet16, le RaCO-DP atteint 90 % de précision avec seulement un écart de disparité démographique de 10 %, approchant les performances des modèles non-privés (95 % de précision).
• Satisfaction des Contraintes : Contrairement aux méthodes précédentes qui reposent sur un réglage indirect des hyperparamètres, le RaCO-DT permet aux praticiens de spécifier directement la disparité maximale ($\gamma$). La méthode atteint systématiquement ces valeurs de contraintes pré-spécifiées.
• Efficacité Computationnelle : Le RaCO-DP est environ trois ordres de grandeur plus rapide que le DP-FERMI sur des données tabulaires, car il évite la lourde surcharge de calcul de l'objectif de substitution utilisé dans les travaux antérieurs.
• Faibles Budgets de Confidentialité : La méthode présente une dégradation progressive ; même avec des budgets de confidentialité stricts ($\epsilon=0.01$), elle maintient une précision raisonnable (environ 80 %) et satisfait les contraintes, bien qu'avec une variance plus large dans les métriques de disparité.

Signification et Revendications

Le papier affirme que le RaCO-DP comble une lacune critique dans l'apprentissage automatique de confiance en permettant l'optimisation privée pour une large classe de problèmes sous contrainte de taux, incluant non seulement l'équité de groupe.

• Redéfinition des Compromis : Les résultats suggèrent que le compromis vie privée-équité est peut-être moins significatif qu'on ne le croyait auparavant. En utilisant une conception algorithmique appropriée (histogrammes privés et formulation lagrangienne), il est possible d'atteindre simultanément de hautes performances en utilité, en confidentialité et en satisfaction des contraintes.
• Contrôle Direct : Le cadre offre aux praticiens une méthode plus fiable et directe pour imposer des contraintes par rapport aux méthodes de pénalisation indirecte, permettant de spécifier explicitement les limites d'équité ou de sécurité.
• Applicabilité Plus Large : En généralisant au-delà de la classification binaire et des métriques d'équité spécifiques, l'approche ouvre la voie à l'apprentissage privé dans les contextes médicaux (ex: limiter les taux de faux négatifs) et d'autres domaines où les contraintes de taux agrégées sont critiques.

Les auteurs concluent que bien que leur travail se concentre sur l'équité de groupe et les contraintes de taux, la méthodologie fournit une base robuste pour l'exploration future de l'équité individuelle et d'autres critères de robustesse au sein du cadre de la confidentialité différentielle.