Fairness under uncertainty in sequential decisions

1. Problématique et Contexte

L'article aborde le problème de l'équité algorithmique dans les systèmes de prise de décision séquentielle (modélisés par l'apprentissage par renforcement ou RL), où les décisions passées influencent les données futures. Contrairement à l'apprentissage supervisé statique, ces systèmes opèrent dans un contexte d'incertitude fondamentale :

• Incertitude de contre-factuel : Le décideur ne connaît jamais le résultat d'une décision non prise (ex: un prêt refusé aurait-il été remboursé ?).
• Biais de sélection et feedback sélectif : Les données d'entraînement sont générées par les décisions elles-mêmes. Les groupes historiquement marginalisés (minorités) sont souvent sous-représentés dans les données car ils ont été systématiquement exclus ou surveillés différemment.
• Conséquences : Cette sous-observation entraîne une incertitude de prédiction plus élevée pour ces groupes. Les algorithmes naïfs, cherchant à maximiser le profit immédiat, tendent à éviter les décisions incertaines, perpétuant ainsi l'exclusion des groupes marginalisés et créant un cercle vicieux de biais.

Le papier souligne que les métriques d'équité classiques (conçues pour l'apprentissage supervisé) sont insuffisantes car elles ignorent comment les inégalités s'aggravent au fil du temps sous l'effet de feedbacks sélectifs et d'une incertitude inégalement répartie.

2. Taxonomie de l'Incertitude

Les auteurs proposent une taxonomie structurée de six types d'incertitude tout au long du cycle de vie du ML, divisée en deux catégories :

A. Incertitudes Globales (systémiques) :

1. Incertitude sur l'état du monde (World) : Subjectivité sur quelles inégalités doivent être corrigées.
2. Incertitude de représentation (Data collection) : Biais d'échantillonnage par rapport à la population cible.
3. Incertitude de mesure (Feature engineering) : Qualité des caractéristiques utilisées comme proxies.
4. Incertitude du modèle (Model training) : Écart entre le modèle actuel et le modèle optimal.

B. Incertitudes Locales (niveau individu/groupe) :
5. Incertitude de prédiction : Variabilité de la confiance d'une prédiction pour un individu spécifique (souvent plus élevée pour les groupes sous-représentés).
6. Incertitude de feedback (Déploiement) : L'impossibilité d'observer les résultats des décisions non prises (contre-factuels).

L'article se concentre sur l'interaction entre les incertitudes 4, 5 et 6 (Modèle, Prédiction, Feedback) dans les systèmes séquentiels.

3. Méthodologie et Approche Proposée

L'objectif est de concevoir des politiques de décision qui prennent en compte l'incertitude pour améliorer l'équité sans sacrifier l'utilité (profit).

Formalisation

Le problème est formulé comme un Contextual Bandit (ou RL) où l'objectif est de maximiser l'utilité espérée $r(\pi)$, définie non seulement sur les résultats observés, mais aussi sur les résultats non observés (contre-factuels) :
$$u = d(y_1 g - (1-y_1)l) + (1-d)((1-y_1)g - y_1 l)$$
Où $d$ est la décision, $y_1$ le résultat potentiel, $g$ le gain et $l$ la perte. La deuxième partie de l'équation représente l'opportunité perdue (coût d'opportunité) des décisions non prises.

Stratégies d'Exploration

Les auteurs comparent plusieurs stratégies d'exploration pour gérer l'incertitude :

1. Exploration Naïve : Exploration aléatoire uniforme dans la zone d'incertitude.
2. Exploration Pondérée (Prob-weighted) : Exploration basée sur la probabilité de remboursement estimée.
3. Exploration Sensible à l'Incertitude (Uncertainty-aware) : Cible spécifiquement les individus dont les intervalles de confiance (dérivés de la régression logistique) chevauchent le seuil de décision. Cela permet d'explorer davantage les cas où le modèle est incertain, souvent liés aux groupes marginalisés.
4. Maximisation d'Utilité Contre-factuelle : Une approche end-to-end qui optimise directement une fonction de coût incluant à la fois les résultats observés et les résultats contre-factuels estimés, sans contraintes explicites d'équité.

Données et Expérimentation

• Données : Utilisation de données synthétiques générées via le framework de Baumann et al., permettant de contrôler précisément différents types de biais (historique, de mesure, de représentation).
• Scénario : Prêts bancaires sur 10 trimestres.
• Comparaison : Les méthodes sont évaluées sur des métriques de performance (profit cumulé) et d'équité (différence de taux de sélection, différence de faux positifs/négatifs).

4. Résultats Clés

Les expériences démontrent que :

• Réduction des biais sans perte d'utilité : La méthode de maximisation d'utilité contre-factuelle et l'exploration sensible à l'incertitude parviennent à réduire significativement les disparités de fairness (notamment la différence de taux de sélection entre groupes) par rapport aux méthodes naïves, sans sacrifier le profit global.
• Impact de l'incertitude : Ignorer l'incertitude (méthodes naïves) conduit à une accumulation de biais, car le modèle refuse systématiquement les candidats des groupes marginalisés dont la prédiction est incertaine, empêchant ainsi l'acquisition de données pour améliorer les prédictions futures.
• Robustesse : Même en présence de biais historiques et de mesure, les approches conscientes de l'incertitude s'adaptent mieux et convergent vers des politiques plus équitables.
• Mécanisme : En traitant l'incertitude comme une source structurelle de disparité, l'exploration ciblée permet de « briser » le biais de feedback sélectif.

5. Contributions Principales

1. Taxonomie de l'incertitude : Introduction d'un vocabulaire partagé pour identifier et catégoriser les sources d'incertitude (globales vs locales) dans les systèmes de décision séquentielle.
2. Formalisation de l'équité sous incertitude : Définition théorique du problème d'équité dans les systèmes RL, mettant en lumière comment les incertitudes épistémiques et de feedback inégales s'accumulent pour créer des disparités.
3. Preuve de concept par simulation : Démonstration empirique que des mécanismes simples d'exploration consciente de l'incertitude (sans contraintes d'équité explicites) peuvent améliorer simultanément l'équité et l'efficacité économique.
4. Cadre de gouvernance : Fourniture d'un outil pour les auditeurs et régulateurs afin de diagnostiquer où et comment l'incertitude contribue à l'injustice dans les pipelines de décision.

6. Signification et Implications

• Au-delà de l'apprentissage supervisé : L'article déplace le débat de l'équité statique vers l'équité dynamique, reconnaissant que dans les systèmes en ligne, l'incertitude n'est pas un bruit incidental mais un moteur central d'injustice.
• Conformité légale et sociale : L'approche suggère que l'exploration ciblée peut aider à respecter les lois anti-discrimination (qui exigent souvent un traitement similaire pour des individus similaires) en évitant de pénaliser les groupes marginalisés pour le manque de données, sans recourir à des actions affirmatives controversées.
• Gouvernance des systèmes RL : L'article met en garde contre les risques juridiques et réputationnels de l'exploration aléatoire dans les domaines à haut risque (justice, finance) et propose une approche plus nuancée où l'exploration est proportionnelle à l'incertitude et au risque de l'institution.

En conclusion, ce travail établit que l'incertitude doit être explicitement modélisée et gérée pour atteindre une équité réelle dans les systèmes de décision séquentielle, offrant une voie pour concevoir des algorithmes qui sont à la fois efficaces économiquement et socialement justes.