Résumé Technique : Optimisation Bilével Fonctionnelle pour l'Équité Prédictive

Énoncé du Problème

Les modèles d'apprentissage automatique standards exploitent souvent des signaux statistiques liés à des attributs sensibles (par exemple, l'âge, le revenu, les scores démographiques), ce qui conduit à des prédictions injustes. Bien que l'équité soit souvent formulée comme l'imposition d'une pleine indépendance statistique entre les prédictions et les attributs sensibles, cette approche est fréquemment trop restrictive, particulièrement lorsque les attributs sensibles sont continus et de haute dimension. Dans ces régimes, l'indépendance totale contraint l'ensemble de la distribution de prédiction, alors que la préoccupation d'équité pratique concerne souvent uniquement les décalages systématiques des prédictions moyennes à travers différentes valeurs de l'attribut sensible.

Les relaxations existantes pour les attributs continus reposent sur des pénalités de dépendance indirecte (par exemple, HSIC, information mutuelle), des schémas adverses ou des contraintes de dépendance linéaire. Ces méthodes échouent souvent à cibler directement le compromis équité-précision spécifique du contrôle de la moyenne conditionnelle, ou sont limitées aux attributs de faible dimension ou discrets.

Les auteurs proposent de combler cette lacune en optimisant la Parité Démographique de la Moyenne, formalisée par la minimisation de la variance de la moyenne conditionnelle de la prédiction étant donné l'attribut sensible. Cette métrique est nommée DPVar :
$$\text{DPVar}(\omega) = \text{Var}_A \left( \mathbb{E}[f_\omega(X) \mid A] \right)$$
où $f_\omega$ est le prédicteur et $A$ est l'attribut sensible.

Méthodologie

La Formulation Bilével Fonctionnelle

L'optimisation de DPVar présente un défi unique : l'objectif dépend de la fonction de moyenne conditionnelle $h^\star_\omega(a) = \mathbb{E}[f_\omega(X) \mid A=a]$, qui est inconnue et doit être estimée à partir des données. Les auteurs formulent cela comme un problème d'optimisation bilével fonctionnel :

1. Problème Interne : Estimer la fonction de moyenne conditionnelle $h^\star_\omega$ en minimisant la perte au carré entre la sortie du prédicteur et la fonction de l'attribut sensible :
   $$h^\star_\omega \in \arg\min_{h \in \mathcal{H}} \mathbb{E}[(f_\omega(X) - h(A))^2]$$
2. Problème Externe : Optimiser les paramètres du prédicteur $\omega$ pour minimiser un compromis entre la précision de la prédiction et la pénalité DPVar (qui dépend de la solution $h^\star_\omega$ du problème interne) :
   $$\min_\omega \mathbb{E}[(f_\omega(X) - Y)^2] + \alpha \text{Var}_A(h^\star_\omega(A))$$

Parce que la variable interne est une fonction plutôt qu'un vecteur de paramètres de dimension finie, il s'agit d'un problème bilével fonctionnel.

Algorithmes Proposés

Le papier introduit deux algorithmes pour résoudre ce problème, utilisant tous deux une division des données en IN (pour l'estimation interne) et OUT (pour l'évaluation externe) afin de prévenir tout biais optimiste.

1. FBO (Optimisation Bilével Fonctionnelle) :

   • Mécanisme : Cette méthode exploite la structure spécifique du problème de perte au carré du problème interne. Les auteurs dérivent un adjoint en forme fermée pour la sensibilité de la solution interne par rapport aux paramètres externes.
   • Avantage : Cette dérivation produit un hypergradient exact et sans calcul de Hessienne. Elle évite le coût computationnel de l'inversion de Hessiennes ou du calcul de Jacobiennes internes, ne nécessitant qu'une seule régression interne et deux moyennes empiriques par étape externe.
   • Limitation : Elle est spécifique à l'objectif de perte au carré du problème interne.

2. ITD (Différentiation Itérative) :

   • Mécanisme : Cette méthode utilise une stratégie plus large de déroulement (unrolling) des étapes d'optimisation internes. Le régresseur interne est mis à jour pendant $K$ étapes de gradient, et l'objectif externe est différencié à travers ce graphe de calcul déroulé.
   • Avantage : Elle est généralisable à des objectifs internes de perte non basés sur le carré (ex: perte de Huber) et ne nécessite pas d'inverse de la Hessienne interne en forme fermée.
   • Compromis : Elle est approximative et plus coûteuse par étape externe (variant linéairement avec $K$) par rapport à FBO.

Contributions Clés

1. Critère DPVar : L'adoption de DPVar comme critère d'équité spécifiquement conçu pour les attributs sensibles continus et de haute dimension, allant au-delà de l'indépendance totale vers une vue de la moyenne conditionnelle.
2. Cadre Bilével Fonctionnel : La formulation de l'optimisation de DPVar comme un problème bilével fonctionnel qui s'intègre naturellement aux prédicteurs de réseaux de neurones, un régime non couvert par les approches de moyenne conditionnelle antérieures.
3. Innovations Algorithmiques :
   • Dérivation d'un adjoint en forme fermée pour le cas de la perte au carré, permettant l'algorithme FBO exact.
   • Développement de l'algorithme ITD pour une applicabilité plus large via la différenciation itérative.
4. Benchmark Semi-Synthétique : La création d'une suite d'évaluation standardisée et à grande échelle construite à partir de 60 jeux de données de régression tabulaire réels pour construire automatiquement des attributs sensibles continus à partir de caractéristiques, afin de fournir des scénarios de compromis équité-précision contrôlés et non triviaux.

Résultats Expérimentaux

Les méthodes ont été évaluées sur des données synthétiques et sur le nouveau benchmark tabulaire semi-synthétique contre des bases solides, incluant HSIC, le débaisage adversarial, les pénalités de dépendance linéaire et la Parité Démographique Généralisée (GDP).

• Données Synthétiques : Dans les régimes où l'injustice est pilotée par des décalages du premier moment, toutes les méthodes performent de manière similaire. Cependant, à mesure que le problème de prédiction devient plus complexe (introduisant des interactions entre les caractéristiques sensibles et non sensibles), FBO et ITD atteignent systématiquement de meilleurs compromis équité-précision. Ils surpassent les méthodes reposant sur l'indépendance de la distribution complète (HSIC, adversarial) ou les pénalités linéaires, qui sont soit trop restrictives, soit manquent les effets non linéaires.
• Benchmark Tabulaire : Sur 27 jeux de données informatifs, FBO et ITD obtiennent le regret de précision agrégé le plus bas ou proche du plus bas sous les contraintes DPVar.
  • Sous des budgets d'équité stricts et de niveau moyen, FBO et ITD l'emportent le plus souvent.
  • Sous des budgets larges, la GDP devient un concurrent plus fort.
  • Les deux méthodes proposées égalent ou surpassent systématiquement les bases HSIC, adverses et de dépendance linéaire.

Signification et Revendications

Le papier affirme qu'en ciblant la moyenne conditionnelle plutôt que la distribution complète, DPVar offre une mesure d'équité plus appropriée et estimable pour les attributs continus et de haute dimension. La signification du travail réside dans :

• La fourniture d'un chemin d'optimisation direct pour ce critère d'équité spécifique, évitant l'indirection des pénalités adverses ou basées sur les noyaux (kernels).
• La démonstration que l'optimisation bilévelle fonctionnelle peut être rendue pratique et efficace (via FBO) pour les prédicteurs modernes de réseaux de neurones.
• L'offre d'un benchmark standardisé qui va au-delà des jeux de données choisis à la main pour évaluer systématiquement les méthodes d'équité sur les attributs continus.

Portée et Limites :
Les auteurs notent explicitement que DPVar est un critère de parité de la moyenne. Il contrôle les décalages systématiques des prédictions moyennes, mais ne garantit pas l'égalité des moments d'ordre supérieur (variance, queues de distribution) ou l'équité de la distribution complète. Par conséquent, il ne doit pas être interprété comme un certificat d'équité globale pour les applications exigeant une égalité de distribution complète. De plus, la méthode repose sur l'estimation d'une fonction de moyenne conditionnelle, ce qui peut être statistiquement difficile dans les hautes dimensions. Le benchmark est semi-synthétique, conçu pour l'évaluation méthodologique plutôt que pour formuler des revendications sociales ou juridiques spécifiques sur les jeux de données originaux.