Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

Résumé Technique : Apprentissage Supervisé Équitable par des Contraintes sur des Substituts de Mesures d'Iniquité Lisses et Non Convexes

Énoncé du Problème
Les modèles d'apprentissage automatique supervisés, bien qu'efficaces dans des domaines tels que la finance, la justice pénale, le recrutement et la santé, héritent ou introduisent souvent des biais qui mènent à des résultats discriminatoires. Ces biais se manifestent par une iniquité dans les prédictions entre différents groupes démographiques. Les stratégies existantes pour atténuer l'iniquité se classent généralement en trois catégories : pré-traitement, traitement intermédiaire (in-processing) ou post-traitement. Ce document se concentre sur les stratégies de traitement intermédiaire, plus précisément l'incorporation de mesures d'iniquité dans les problèmes d'optimisation utilisés pour l'entraînement des modèles.

Les approches actuelles font face à des défis computationnels et théoriques importants :

1. Non-lissé et Non-convexité : La formulation directe des mesures d'iniquité (ex: Parité Démographique, Impact Disparate) implique des fonctions de Heaviside discontinues, ce qui conduit à des problèmes d'optimisation non convexes et non lisses, difficiles à résoudre.
2. Limites des Substituts Convexes : Pour remédier aux difficultés de calcul, les chercheurs emploient souvent des substituts convexes (ex: approximations basées sur la covariance). Cependant, ceux-ci ne garantissent pas que la mesure d'iniquité réelle reste dans des limites acceptables ; une faible valeur du substitut n'implique pas nécessairement une faible iniquité réelle.
3. Limites de la Régularisation : L'utilisation généralisée de termes de régularisation (contraintes souples) pour imposer l'équité nécessite un réglage de l'hyperparamètre coûteux. De plus, l'augmentation de la force de régularisation pour réduire l'iniquité peut gravement dégrader la précision de la prédiction, et la relation entre le paramètre de régularisation et l'iniquité résultante est souvent non monotone et difficile à contrôler.
4. Gestion de Mesures Multiples : Les stratégies tentant de équilibrer plusieurs mesures d'iniquité potentiellement conflictuelles via la régularisation entraînent souvent des problèmes d'entraînement intraitables et des coûts de réglage supplémentaires.

Méthodologie
Les auteurs proposent une nouvelle stratégie de traitement intermédiaire qui combine des substituts non convexes lisses avec des contraintes strictes pour imposer l'équité.

1. Substituts Non Convexes Lisses :
   Au lieu d'utiliser des approximations convexes ou des fonctions de saut discontinues, les auteurs introduisent des substituts non convexes, lisses et bornés pour approximer la fonction de Heaviside. Deux approximations spécifiques sont utilisées :

• La fonction sigmoïde.
• Une fonction de saut lissée dérivée des techniques de lissage de la littérature d'optimisation (plus précisément, une approximation affine par morceaux lissée via un terme de racine carrée).

Crucialement, ces substituts sont bornés dans $[0, 1]$ et sont mis à l'échelle (via un paramètre $\alpha$) pour assurer une approximation étroite de la fonction de saut. Les auteurs prouvent (via le Théorème 2.1, dérivé de travaux antérieurs) que si la valeur du substitut est faible, la mesure d'iniquité empirique réelle est également faible, à condition que les valeurs du substitut soient suffisamment proches de 0 ou 1. Cette approximation étroite n'est pas garantie par des substituts linéaires ou convexes non bornés.

2. Contraintes Strictes (Hard Constraints) :
   Plutôt que d'ajouter les mesures d'iniquité comme termes de régularisation dans la fonction objectif, les auteurs formulent le problème d'entraînement comme un problème d'optimisation sous contraintes :
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{sous la contrainte} \quad l \leq c(w) \leq u$$
   Ici, $c(w)$ représente le vecteur des substituts pour une ou plusieurs mesures d'iniquité (ex: Impact Disparate, Impact Égal). Les bornes $l$ et $u$ imposent des tolérances spécifiques pour l'iniquité directement.

• Tractabilité : Les auteurs exploitent les techniques récentes de Newton stochastique/Programmation Quadratique Séquentielle (SQP) pour résoudre efficacement ces problèmes non convexes sous contraintes.
• Gradients Stochastiques : Le Théorème 3.1 démontre que des estimations de gradient stochastique non biaisées peuvent être obtenues pour les fonctions de contrainte si les mini-lots maintiennent un nombre équilibré d'échantillons de chaque groupe sensible.

Principales Contributions

1. Approximation de Substitut Étroite : Le papier introduit des substituts lisses, non convexes et bornés qui fournissent une garantie théorique : si la contrainte du substitut est satisfaite, la mesure d'iniquité réelle est bornée. Cela contraste avec les substituts convexes où une faible valeur du substitut ne garantit pas une faible iniquité.
2. Contraintes Strictes vs Régularisation : Les auteurs proposent d'utiliser des contraintes strictes plutôt que la régularisation. Cela élimine le besoin de réglage coûteux des paramètres de régularisation et évite le comportement non monotone souvent observé dans les approches basées sur la régularisation. Cela permet l'imposition explicite de tolérances d'iniquité spécifiques.
3. Passage à l'Échelle pour des Mesures Multiples : Le cadre permet naturellement d'intégrer simultanément plusieurs mesures d'iniquité, potentiellement conflictuelles, au sein d'un seul problème d'optimisation, sans l'explosion computationnelle associée au réglage de multiples poids de régularisation.

Résultats Expérimentaux
Les auteurs ont évalué leur méthode sur trois ensembles de données de référence : Dutch (prédiction de revenu, attribut sensible : genre), Law School (passage du barreau, attribut sensible : race) et ACSIncome (prédiction de revenu, attribut sensible : genre).

• Étroitesse du Substitut : Les expériences ont montré que les substituts non mis à l'échelle entraînaient des écarts entre les niveaux d'iniquité souhaités et réels. Cependant, lorsque les substituts étaient mis à l'échelle (ex: $\alpha=50$), les niveaux d'iniquité réalisés correspondaient étroitement aux contraintes imposées pour les fonctions de saut lissé et la sigmoïde. En revanche, les substituts basés sur la covariance rendaient difficile la correspondance entre une valeur de contrainte spécifique et un niveau d'iniquité souhaité.
• Contrainte vs Régularisation : La comparaison de l'approche proposée "uniquement par contrainte" contre une approche "uniquement par régularisation" a révélé que la méthode de contrainte permettait une amélioration monotone de l'équité à mesure que les seuils se resserraient, tandis que la méthode de régularisation présentait un comportement imprévisible et non monotone. L'approche par contrainte maintenait une haute précision de prédiction même lorsque les contraintes d'équité devenaient actives, alors que l'approche par régularisation subissait souvent des chutes de précision significatives lors de la tentative d'imposer une équité stricte.
• Mesures Multiples : Le cadre a réussi à imposer simultanément des contraintes sur l'Impact Disparate et l'Impact Égal. Bien que l'ajout de multiples contraintes réduise légèrement la précision par rapport aux contraintes uniques, la méthode a systématiquement satisfait les deux critères, démontrant sa robustesse dans la gestion de exigences d'équité complexes.

Signification et Revendications
Le papier affirme que son approche offre un paradigme d'entraînement tractable pour l'apprentissage supervisé équitable. En résolvant un seul problème d'optimisation sous contraintes, les praticiens peuvent obtenir des modèles respectant des limites prescrites sur l'iniquité sans le fardeau computationnel du réglage des paramètres de régularisation. Les auteurs soulignent que, bien que la résolution de problèmes non convexes sous contraintes soit plus coûteuse par itération que les problèmes non contraints, le coût computationnel global est réduit en éliminant le besoin de recherches extensives d'hyperparamètres. La méthode est présentée comme une solution robuste pour les applications du monde réel où des garanties d'équité strictes sont requises parallèlement à une haute précision prédictive.