📊 statistics

A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

Cet article propose un nouvel algorithme de prétraitement des données utilisant la mise en correspondance par distribution de quantiles pour parvenir à une équité contrefactuelle dans l'apprentissage par renforcement en estimant les états et les récompenses contrefactuels sans reposer sur des hypothèses d'additivité strictes, tout en fournissant des bornes théoriques sur l'iniquité et la sous-optimalité et en validant l'approche par des expériences numériques et des expériences réelles en santé numérique.

Auteurs originaux : Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Publié 2026-08-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à prendre une série de décisions, comme un médecin choisissant des traitements pour un patient sur plusieurs semaines ou une voiture autonome naviguant dans une ville animée. Ce domaine s'appelle l'Apprentissage par Renforcement (Reinforcement Learning - RL). Voyez cela comme un jeu vidéo où le robot apprend par essais et erreurs : il effectue une action, voit ce qui se passe, reçoit un « score » (une récompense) et essaie de comprendre comment obtenir le score total le plus élevé au fil du temps. L'objectif est généralement d'aider le plus de personnes possible.

Cependant, il existe un problème délicat. Parfois, le robot apprend à être injuste. Il peut commencer à traiter les gens différemment en fonction de choses comme leur race, leur genre ou leur origine, non pas parce qu'il est « méchant », mais parce qu'il a remarqué des modèles dans les données qui lient ces traits à certains résultats. C'est comme si un robot apprenait que « les personnes du Groupe A tombent moins souvent malades », et décidait donc de leur donner moins de contrôles médicaux, ignorant accidentellement le fait que le Groupe A pourrait avoir eu un meilleur accès à la nourriture ou aux médicaments par le passé. C'est ce qu'on appelle l'injustice (unfairness).

Pour corriger cela, les scientifiques utilisent un concept appelé Équité Contrefactuelle (Counterfactual Fairness). Imaginez que vous puissiez appuyer sur « annuler » sur la vie d'une personne et demander : « Si cette personne était née avec une race ou un genre différents, mais que tout le reste de son histoire de vie était resté exactement le même, le robot prendrait-il toujours la même décision ? » Si la réponse est « oui », le robot est équitable d'un point de vue contrefactuel. Il ne se contente pas de regarder les groupes de personnes ; il veille à ce que le robot traite chaque individu de manière équitable, indépendamment de ses traits sensibles.

La grande idée de l'article : Une carte voyageant dans le temps pour les robots

Cet article présente un outil ingénieux appelé CFSMDM (Counterfactually Fair Sequential Marginal Distribution Mapping). Considérez cela comme un spécial « traducteur de données » ou une « carte voyageant dans le temps » qui aide le robot à apprendre à être équitable avant même qu'il ne commence à prendre des décisions.

Les auteurs ont réalisé que les méthodes précédentes pour rendre les robots équitables étaient un peu trop rigides. Elles supposaient que le monde fonctionne de manière simple et linéaire (comme l'addition de nombres). Mais la vie réelle est désordonnée et courbe. Parfois, l'origine d'une personne modifie la façon dont elle expérimente le monde de manières complexes et non linéaires. Les anciens outils se briseraient ou seraient confus dans ces situations.

Ce que fait le CFSMDM :
Au lieu d'essayer de deviner l'exact mathématique du fonctionnement du monde, le CFSMDM utilise une technique appelée Cartographie de Distribution de Quantiles (Quantile Distribution Mapping). Voici une façon simple de visualiser cela :

Imaginez que vous avez un grand bocal de billes représentant tous les résultats possibles pour un patient. Certaines billes sont rouges (mauvais résultats), certaines sont bleues (bons résultats). Le robot doit savoir quelle bille un patient spécifique recevra.

L'ancienne méthode : Le robot essaie de prédire la couleur moyenne de la bille.
La méthode CFSMDM : Le robot regarde où se situe la bille du patient dans le bocal. Est-elle dans les 10 % supérieurs ? Dans les 50 % inférieurs ? C'est le « quantile ».
L'étape magique : L'algorithme demande : « Si ce patient avait un parcours différent (par exemple, un genre différent), mais conservait exactement la même histoire de vie, où sa bille se siterait-elle dans ce nouveau bocal ? »
La traduction : Il trouve ensuite la bille dans le « nouveau bocal » qui se situe exactement au même endroit (le même quantile) que la bille originale.

En faisant cela étape par étape pour chaque semaine du parcours du patient, le CFSMDM crée une nouvelle version « équitable » des données d'entraînement. Il élimine l'influence injuste des traits sensibles tout en préservant le reste de l'histoire. Le robot apprend ensuite sa politique (ses règles de décision) en utilisant ces données traduites et équitables.

Ce qu'ils ont trouvé :
Les auteurs ont testé cette idée de deux manières principales :

Simulations : Ils ont créé un monde fictif avec un ordinateur où ils connaissaient exactement comment l'injustice fonctionnait. Ils ont testé le CFSMDM par rapport à d'autres méthodes. Les résultats ont montré que le CFSMDM était bien meilleur pour maintenir l'équité du robot, surtout lorsque le monde était désordonné et non linéaire (là où les anciennes méthodes rigides échouaient). Il a réussi à maintenir le « score d'injustice » très bas tout en prenant de bonnes décisions.
Données du monde réel : Ils ont appliqué leur méthode à un ensemble de données réelles provenant d'une étude appelée PowerED, qui consistait à aider les patients à gérer la médication pour la douleur liée aux opioïdes sur 12 semaines. Ils ont examiné des traits sensibles comme la race, le genre et le niveau d'éducation.
- Le résultat : Lorsqu'ils ont utilisé le CFSMDM, les décisions du robot sont devenues beaucoup plus équitables pour presque tous ces groupes. Par exemple, il a réduit l'injustice liée à « l'éducation » et à « l'ethnicité » plus efficacement que les autres méthodes.
- Le compromis : Il y avait un coût infime. Le « score » global du robot (sa capacité à aider les patients en général) était légèrement inférieur à celui obtenu si l'on avait ignoré totalement l'équité. C'est attendu : rendre un système équitable nécessite souvent de renoncer à un peu d'efficacité brute pour garantir que chacun ait une chance équitable.

Ce contre quoi ils argumentent :
L'article argumente explicitement contre l'idée que l'on puisse simplement « additionner » les effets des traits de fond pour corriger l'injustice (l'hypothèse du « bruit additif » utilisée par les méthodes précédentes). Ils ont démontré, par les mathématiques et les simulations, que le monde réel est souvent plus complexe qu'une simple addition et que les méthodes supposant que c'est simple échoueront à détecter toute l'injustice.

À quel point sont-ils sûrs ?
Les auteurs sont très confiants dans leur preuve mathématique que leur méthode fonctionne sous certaines conditions raisonnables. Ils ont prouvé que l'« écart d'injustice » et la « perte de performance » sont bornés, ce qui signifie qu'ils ne peuvent pas devenir infiniment mauvais. Dans leurs simulations et leurs tests en conditions réelles, la méthode a systématiquement bien performé, montrant qu'à mesure qu'ils donnaient plus de données au robot, l'injustice diminuait. Cependant, ils notent que dans l'étude du monde réel, l'amélioration n'a pas été parfaite pour chaque groupe (par exemple, le « sexe » présentait encore une infime injustice), probablement parce que les données réelles étaient peu nombreuses et que les mathématiques sont difficiles à réaliser avec exactitude à chaque fois.

En résumé, cet article propose une nouvelle façon robuste et flexible d'enseigner aux robots à prendre des décisions équitables dans des scénarios complexes du monde réel, garantissant que la « carte voyageant dans le temps » qu'ils utilisent pour apprendre ne laisse personne de côté.

Résumé technique : Une approche de cartographie de distribution pour l'apprentissage par renforcement contre-factuellement équitable

Énoncé du problème

L'apprentissage par renforcement (RL) est de plus en plus utilisé pour la prise de décision séquentielle dans des domaines à enjeux élevés comme la santé. Cependant, les agents de RL standards peuvent involontairement apprendre des politiques qui désavantagent systématiquement certaines sous-populations définies par des attributs sensibles (par exemple, la race, le genre). Cette injustice provient souvent du fait que l'attribut sensible n'est pas utilisé explicitement comme une caractéristique, mais que les variables d'état et de récompense encodent des informations implicites corrélées à ces attributs.

Les critères d'équité existants, tels que la parité démographique, opèrent au niveau du groupe et reposent sur des associations statistiques plutôt que sur des mécanismes causaux. L'équité contre-factuelle (CF), introduite par Kusner et al. [19] et étendue au RL par Wang et al. [31], offre un cadre plus rigoureux. La CF exige que la distribution de décision d'un individu reste inchangée si son attribut sensible était hypothétiquement remplacé par une autre valeur, en maintenant constantes toutes les variables exogènes historiques.

Bien que Wang et al. [31] aient proposé un algorithme de prétraitement des données pour imposer la CF dans le RL hors ligne, leur méthode repose sur une stricte hypothèse de bruit additif (c'est-à-dire que l'état et la récompense sont des fonctions linéaires de l'attribut sensible plus un bruit indépendant). Cette hypothèse est souvent restrictive dans les scénarios réels où la relation entre les variables est non linéaire ou non additive.

Méthodologie : Cartographie de la distribution marginale séquentielle contre-factuellement équitable (CFSMDM)

Ce document propose la CFSMDM, un nouvel algorithme de prétraitement des données qui permet un apprentissage de politique contre-factuellement équitable sans nécessiter l'hypothèse de bruit additif. La méthode opère en deux étapes :

1. Fondement théorique

L'approche repose sur les modèles causaux structurels (SCM) et le concept de contre-factuels. Les auteurs introduisent l'Hypothèse 1 (monotonie stricte de l'état par rapport à la variable de bruit) et l'Hypothèse 2 (monotonie stricte de la récompense par rapport à la variable de bruit). Ces hypothèses sont strictement plus faibles que l'hypothèse de bruit additif utilisée dans les travaux antérieurs [31].

Sous ces hypothèses, les auteurs prouvent (Théorèmes 1 et 2) que le niveau quantile d'un état observé (ou d'une récompense) par rapport à sa distribution conditionnelle reste invariant à travers différentes valeurs de l'attribut sensible, à condition que les variables exogènes historiques soient maintenues constantes. Cela permet la récupération des états et des récompenses contre-factuels via une correspondance de quantiles (quantile matching).

2. L'algorithme

La CFSMDM suit une procédure en deux étapes :

Prétraitement des données (SMDM) :
- L'algorithme estime les fonctions de quantile conditionnelles pour les états et les récompenses étant donné l'attribut sensible et le contexte historique.
- Pour chaque trajectoire observée, il calcule le niveau de quantile ( $\tau$ ) de l'état (ou de la récompense) observé sous l'attribut sensible réel.
- Il mappe ensuite ce niveau de quantile vers les distributions conditionnelles sous des valeurs d'attributs sensibles contre-factuelles pour estimer les états et les récompenses contre-factuels.
- Ces estimations sont agrégées pour construire des états augmentés ( $\tilde{S}_t$ ) et des récompenses augmentées ( $\tilde{R}_t$ ), qui sont invariants par rapport à l'attribut sensible observé.
Apprentissage de la politique :
- Des algorithmes de RL hors ligne standards (par exemple, l'itération Q ajustée ou Fitted Q Iteration) sont appliqués au jeu de données prétraité contenant les états et les récompenses augmentés.
- Puisque les données augmentées ne contiennent aucune information sur l'attribut sensible (hormis les erreurs d'estimation résiduelles), la politique résultante est théoriquement contre-factuellement équitable.

Principales contributions

Algorithme généralisé : Le papier introduit la CFSMDM, qui étend la portée du RL contre-factuellement équitable à une classe strictement plus large de processus de décision markoviens contextuels (CMDP) en relaxant l'hypothèse de bruit additif au profit d'une hypothèse de monotonie stricte.
Garanties théoriques : Les auteurs dérivent des bornes pour à la fois l'écart de sous-optimalité (la différence entre la politique apprise et la politique optimale) et le niveau d'iniquité contre-factuelle. Ces bornes démontrent que l'iniquité et la sous-optimalité sont contrôlées par les erreurs d'estimation des fonctions de quantile conditionnelles et par le nombre d'étapes de l'itération Q ajustée (FQI).
Validation empirique : La méthode est évaluée par des expériences numériques sur des données synthétiques avec un bruit non additif et appliquée à un ensemble de données réelles issues de l'étude PowerED (une intervention pour réduire l'usage abusif d'opioïdes).

Résultats

Expériences numériques

Des simulations ont été menées sur des CMDP avec un bruit non additif, comparant la CFSMDM à plusieurs bases de référence :

Full (Complet) : Utilise les attributs sensibles (inéquitable).
Unaware (Ignorant) : Exclut les attributs sensibles (souvent insuffisant pour l'équité).
Random (Aléatoire) : Base de référence pour l'équité (parfaitement équitable mais faible utilité).
FLAP_M, ECOCF_M : Adaptations de méthodes d'équité à étape unique.
CFSDP : La méthode de pointe précédente [31] nécessitant un bruit additif.

Constatations :

Équité : La CFSMDM a obtenu des métriques d'iniquité contre-factuelle nettement inférieures à celles des méthodes "Full", "Unaware", "FLAP_M" et "ECOCF_M". Elle a performé de manière comparable ou supérieure à CFSDP, particulièrement dans les contextes de bruit non additif où les performances de CFSDP se dégradaient en raison de la violation des hypothèses.
Utilité : Comme prévu, l'imposition de l'équité entraîne un compromis, la CFSMDM obtenant des valeurs de politique plus faibles que les méthodes "Full" et "Unaware". Cependant, elle maintient une utilité compétitive par rapport aux autres méthodes équitables.
Robustesse : La CFSMDM est restée robuste à mesure que l'impact de l'attribut sensible sur l'environnement augmentait.

Application au monde réel (Étude PowerED)

L'algorithme a été appliqué à un ensemble de données de 207 patients dans le cadre d'une étude d'intervention sur les opioïdes de 12 semaines.

Métriques : La CFSMDM a obtenu la meilleure équité contre-factuelle pour la plupart des attributs sensibles (Éducation, Ethnicité, Âge) par rapport aux bases de référence.
Nuance : Pour l'attribut "Sexe", la CFSMDM était légèrement moins équitable que CFSDP et "Unaware". Les auteurs attribuent cela au fait que l'exclusion de l'attribut sensible du processus de décision avait déjà éliminé la majeure partie de l'iniquité dans ce cas précis, signifiant que les erreurs d'estimation dues à l'échantillon fini introduites par la CFSMDM l'emportaient légèrement sur les gains d'équité marginaux.

Signification et affirmations

Le papier affirme que la CFSMDM fournit un outil plus général et robuste pour assurer l'équité contre-factuelle dans le RL par rapport aux méthodes existantes comme CFSDP. En s'appuyant sur la correspondance de quantiles plutôt que sur le bruit additif, elle traite une classe plus large d'environnements réels où les relations causales sont complexes et non linéaires.

Les auteurs soulignent que bien que leur méthode introduise un compromis entre équité et utilité, elle offre un moyen principled pour atténuer la discrimination systématique dans la prise de décision séquentielle. Ils reconnaissent que la performance de la CFSMDM dépend de la précision de l'estimation du quantile conditionnel ; si les modèles de quantile sont mal spécifiés, les garanties d'équité peuvent être compromises. Ce travail se positionne comme une étape vers le déploiement d'agents de RL dans des domaines sensibles où l'équité causale est un prérequis pour un déploiement éthique.