Résumé technique : Couches d'optimisation différentiables pour une équité garantie en apprentissage profond

1. Énoncé du problème

Le déploiement de systèmes d'apprentissage automatique dans des domaines à haut risque (par exemple, l'octroi de prêts, le recrutement, le diagnostic clinique) a rendu nécessaires des approches rigoureuses de l'« équité ». Les méthodes existantes pour intégrer des contraintes d'équité de groupe dans les pipelines d'apprentissage profond se divisent généralement en trois catégories : pré-traitement, traitement en cours et post-traitement. Cependant, ces approches souffrent de limitations significatives :

• Le pré-traitement (modification des données d'entraînement) peut amplifier les biais et ne parvient pas à garantir le respect des contraintes lors de l'inférence.
• Le traitement en cours (par exemple, pénalités de Lagrange) repose souvent sur des pénalités douces ou des substituts qui n'imposent pas strictement les contraintes, entraînant des violations potentielles.
• Le post-traitement (modification des prédictions après l'entraînement) opère sur des modèles non conscients de l'équité, nécessitant souvent des ajustements non différentiables qui brisent l'entraînabilité de bout en bout et peuvent ne pas généraliser.

De plus, l'imposition de l'équité dans des contextes d'inférence en flux continu ou par petits lots présente un défi fondamental : imposer des contraintes strictes par lot peut être excessivement restrictif, limitant l'expressivité du modèle, tandis que le fait de ne pas les imposer risque de créer une injustice agrégée.

Les auteurs identifient un écart dans la réalisation de trois objectifs simultanés : (G1) Équité vérifiée (respect strict), (G2) Apprentissage de bout en bout (maintien de la différentiabilité sans ajustements a posteriori), et (G3) Haute flexibilité (compatibilité avec toute architecture).

2. Méthodologie

La couche d'équité

La contribution centrale est l'introduction d'une « couche d'équité », une couche d'optimisation différentiable ajoutée à la sortie d'un réseau de neurones. Contrairement aux cadres traditionnels « prédire puis optimiser » où l'optimisation résout un problème de décision en aval, cette couche projette les sorties brutes du réseau ($z$) sur un ensemble de contraintes d'équité pour produire les prédictions finales ($\hat{y}$).

Mathématiquement, pour un lot de prédictions brutes $z$, la couche calcule :
$$g(z) = \arg \min_{\tilde{y} \in \mathbb{R}^b} \{ \tilde{d}(\tilde{y}, z) : h_{ineq}(\tilde{y}) \leq 0, h_{eq}(\tilde{y}) = 0 \}$$
où $\tilde{d}$ est une fonction de divergence convexe (par exemple, la distance euclidienne) et les contraintes sont linéaires (affines). Cette formulation permet à la couche d'imposer divers critères d'équité, tels que :

• Parité conditionnelle attendue (démographique) : Garantir que les prédictions moyennes sont similaires entre les groupes protégés.
• Résidus égaux attendus : Garantir que les erreurs de prédiction moyennes sont similaires entre les groupes.
• Odds égaux attendus : Garantir que les espérances conditionnelles des prédictions étant donné les vraies étiquettes sont similaires entre les groupes.

En remplaçant le seuillage dur non convexe (courant dans l'équité de classification) par des contraintes basées sur l'espérance, les auteurs s'assurent que le problème d'optimisation reste convexe et différentiable.

Algorithme d'inférence primal-dual en ligne

Pour répondre au défi de l'imposition de l'équité avec des tailles de lot arbitrairement petites (où les contraintes par lot peuvent être trop restrictives ou où les proportions de groupes varient), les auteurs proposent un algorithme d'inférence primal-dual en ligne.

• Mécanisme : Au lieu d'imposer l'équité sur chaque mini-lot individuel, l'algorithme maintient une variable duale ($\lambda$) qui accumule les violations d'équité au fil du temps.
• Règle de mise à jour : Pour les petits lots, la couche résout un problème d'optimisation sous contraintes qui inclut un terme de pénalité mis à jour dynamiquement basé sur $\lambda$. Pour les plus grands lots où l'échantillonnage stratifié est réalisable, elle impose des contraintes strictes.
• Garantie : Le théorème 3.2 prouve que, bien que les lots individuels puissent violer les contraintes d'équité, la violation moyenne pondérée par l'échantillon converge vers la tolérance cible $\epsilon$ à mesure que le nombre de lots d'inférence augmente. Cela fournit des garanties déterministes d'équité agrégée.

Propriétés théoriques

L'article fournit une analyse rigoureuse des propriétés de la couche :

• Différentiabilité : La couche est globalement lipschitzienne et différentiable presque partout (Théorème 4.1), assurant une rétropropagation stable.
• Stabilité du gradient : La jacobienne de la couche possède une structure spectrale où les valeurs propres sont binaires (0 ou 1). Crucialement, les gradients dans les directions normales aux surfaces de contraintes actives sont complètement supprimés (Théorème 4.4). Cela empêche le modèle d'apprendre à violer les contraintes actives tout en permettant un apprentissage libre dans les directions réalisables.
• Structure : Le domaine est partitionné en régions polyédriques où la couche agit comme une fonction affine, avec des frontières de mesure nulle, assurant que les optimiseurs ne restent pas bloqués sur des points non différentiables.

3. Contributions clés

1. La couche d'équité : Un composant architectural novateur qui garantit le respect strict des contraintes d'équité affines tout en maintenant la différentiabilité de bout en bout. C'est la première méthode à satisfaire simultanément les objectifs (G1), (G2) et (G3).
2. Algorithme primal-dual en ligne : Un algorithme d'inférence qui surmonte les limitations de l'inférence par petits lots, fournissant des garanties d'équité agrégée là où les contraintes par lot sont prohibitivement restrictives.
3. Analyse mathématique : Des preuves établissant la différentiabilité de la couche, la stabilité des gradients (jacobienne bornée) et les propriétés spectrales, motivant son utilité pratique dans l'entraînement de réseaux profonds.
4. Implémentation open source : Les auteurs ont publié un package Python (fairness_training) et le code des expériences sur GitHub.

4. Résultats expérimentaux

Les auteurs ont évalué la méthode dans quatre contextes distincts : prédiction de défaut de prêt, analyse de la performance des employés, classification d'images (ensembles de données CelebA et FairFace) et régression synthétique.

• Prédiction de défaut de prêt : La méthode F-Layer a obtenu des améliorations modestes mais cohérentes de l'AUC (augmentation moyenne de 1,46 %) et des performances de précision-rappel nettement supérieures par rapport à la projection a posteriori. Elle a évité le comportement dégénéré (prédiction d'une seule classe) observé dans les méthodes de pénalité strictes.
• Performance des employés (modélisation des données) : La F-Layer a satisfait toutes les contraintes d'équité avec le plus faible Erreur Quadratique Moyenne (MSE) parmi les méthodes satisfaisant les contraintes. Contrairement à la projection a posteriori, qui a modifié les prédictions pour 319/1200 individus (réduisant la transparence), la F-Layer a intégré l'équité pendant l'entraînement.
• Classification d'images : Sur cinq architectures différentes (y compris ViT, Swin-T, ResNet, DenseNet), la F-Layer a constamment surpassé les références. Elle a atteint une précision de 2 à 5 % supérieure à celle de la projection a posteriori et a nettement surpassé les méthodes de pénalité de Lagrange, qui ont souvent abouti à un devinage aléatoire (précision ~50 %) lorsqu'elles ont été forcées de prioriser fortement les contraintes.
• Données synthétiques : La F-Layer s'est classée première dans 22 à 27 configurations d'ensembles de données sur 32. Elle a démontré une robustesse face aux tailles de lot variables et a réalisé des réductions de perte de test de 18 à 30 % par rapport aux références dans de nombreux scénarios. L'algorithme en ligne a réussi à contrôler l'équité agrégée même avec de petits lots d'inférence.

5. Importance et affirmations

L'article affirme que la couche d'équité offre une solution vérifiable et de bout en bout pour intégrer l'équité dans l'apprentissage profond. En maintenant la différentiabilité, elle permet aux praticiens d'intégrer l'équité directement dans le processus d'entraînement plutôt que comme une réflexion après coup.

Les auteurs positionnent ce travail comme un outil au sein d'une stratégie d'équité globale, et non comme une solution complète. Ils notent explicitement des limitations :

• Le travail se concentre exclusivement sur les métriques d'équité de groupe, qui ne capturent qu'un aspect des desiderata d'équité.
• Le choix des attributs protégés, des contraintes et des paramètres de tolérance nécessite une expertise du domaine pour éviter d'introduire de nouvelles formes de disparité.
• La méthode garantit l'équité pour les ensembles de contraintes affines ; l'extension à des contraintes non convexes est laissée pour des travaux futurs.

En fin de compte, l'article soutient que les couches d'optimisation différentiables fournissent un mécanisme mathématiquement fondé pour satisfaire les exigences réglementaires (telles que la loi européenne sur l'IA) tout en préservant les performances du modèle et son interprétabilité.