Résumé technique : Comment un décideur bayésien apprend de l'aide à la décision par l'IA

Énoncé du problème

Les systèmes d'aide à la décision par apprentissage automatique (ML-DS pour Machine Learning Decision Support) sont de plus en plus déployés dans des domaines à enjeux élevés comme la santé et la justice pour assister les agents humains. Bien que ces systèmes fournissent des prédictions basées sur des données historiques, le mécanisme par lequel des agents humains rationnels intègrent ces prédictions dans leurs processus de décision reste mal compris. Plus précisément, il manque des cadres quantitatifs décrivant comment un agent met à jour ses croyances concernant une population et les mécanismes causaux sous-jacents (par exemple, les effets de traitement) après avoir observé une prédiction de ML.

Un écart critique existe dans la compréhension de la manière dont les croyances a priori d'un agent concernant le processus de génération de données et les données d'entraînement du modèle de ML influencent l'utilité du ML-DS. Comme l'illustrent les exemples motivants de l'article, des prédictions de ML identiques peuvent conduire à des actions diamétralement opposées selon que l'agent croit que les données d'entraînement étaient composées de patients traités ou non traités. De plus, il n'est pas clair si une croyance a priori mal alignée peut amener un agent rationnel à prendre des décisions sous-optimales même lorsque le modèle de ML est bien spécifié.

Méthodologie : Le cadre de l'agent en 2 étapes

Les auteurs proposent un cadre computationnel général, l'Agent en 2 étapes, pour modéliser l'interaction entre un agent bayésien et un système ML-DS. Le cadre se compose de deux phases distinctes :

1. Mise à jour de la croyance bayésienne (Étape 1)

L'agent n'observe pas les données d'entraînement brutes mais reçoit une prédiction ($Pred_o$) pour une nouvelle observation ($X_o$) provenant d'un modèle entraîné sur des données historiques ($D_{Hist}$).

• Modèle du monde de l'agent ($A_{Hist}$) : L'agent maintient un modèle probabiliste du monde qui inclut des croyances sur les distributions de la population (covariables, bruit de traitement, bruit de résultat) et le mécanisme causal (effet de traitement). Crucialement, ce modèle encode également des croyances sur le processus d'entraînement du modèle de ML, incluant la taille de l'ensemble d'entraînement et la classe du modèle.
• Inférence : En observant $X_o$ et $Pred_o$, l'agent effectue une mise à jour bayésienne. La prédiction est traitée comme une information compressée sur les variables latentes des données d'entraînement. L'agent infère la distribution postérieure des paramètres de la population (spécifiquement le bruit de l'effet de traitement $N_E$ et les paramètres de la politique historique) en raisonnant à travers la « plaque » de variables d'entraînement interchangeables.
• Solution de tractabilité : Les auteurs abordent l'intraitabilité computationnelle de la propagation de l'inférence à travers une grande plaque de variables interchangeables. Pour un cadre gaussien linéaire, ils prouvent (Théorème 2.8) que la vraisemblance des paramètres du modèle de ML peut être réduite à une fonction des variables de la population et d'un petit ensemble de statistiques suffisantes (spécifiquement $O(k^2)$ statistiques pour $k$ facteurs de confusion). Cette réduction permet un échantillonnage efficace de la distribution postérieure sans simuler l'intégralité du jeu de données historiques.

2. Inférence causale et décision (Étape 2)

En utilisant les croyances postérieures mises à jour de l'étape 1, l'agent estime l'Effet Moyen de Traitement Conditionnel (CATE) pour le nouveau patient.

• Modèle d'inférence ($A_{Inf}$) : L'agent tire des échantillons de la distribution postérieure des paramètres du modèle causal structurel (SCM).
• Règle de décision : L'agent calcule l'espérance du CATE à travers la distribution des SCM possibles. Si le bénéfice attendu d'un traitement spécifique dépasse un seuil $\tau$, l'agent sélectionne ce traitement ; sinon, il sélectionne l'alternative.

Le cadre quantifie l'impact du ML-DS en comparant les résultats en aval ($Y$) des agents avec et sans aide à la décision, définis par $E_{Hist}(Y | do(A = ML\text{-}DS)) - E_{Hist}(Y | do(A = no\ ML\text{-}DS))$.

Configuration expérimentale

Les auteurs ont implémenté le cadre en utilisant PyMC pour simuler un cas d'utilisation clinique :

• Scénario : Un cadre de régression univariée où le poids corporel d'un patient ($X$) influence la dose de chimiothérapie ($A$) et les mois de survie ($Y$).
• Agents : Des agents simulés avec des a priori « corrects » (correspondant au véritable processus de génération de données) et des agents avec des a priori mal alignés (déviations systématiques dans les croyances concernant l'effet de traitement, la politique de traitement historique ou la distribution des covariables).
• Comparaison : L'étude compare les résultats pour les agents utilisant le ML-DS (série orange) par rapport à ceux s'appuyant uniquement sur leurs a priori (série bleue) à travers différents degrés de désalignement des a priori.

Résultats clés

1. Apprendre du ML-DS : Lorsqu'un a priori de l'agent concernant l'effet de traitement ($N_E$) est mal aligné mais que toutes les autres croyances sont correctes, l'agent peut apprendre avec succès de la prédiction de ML. La mise à jour bayésienne corrige la croyance, menant à de meilleures estimations du CATE et à de meilleurs résultats en aval par rapport à l'absence de ML-DS.
2. Le danger des a priori mal alignés : L'article démontre qu'un seul a priori mal aligné suffit à dégrader la performance du ML-DS.
   • Si l'agent détient des croyances incorrectes sur la politique de traitement historique ($\alpha_{A\mu}$), l'interaction avec le ML-DS peut mener à des estimations erronées du CATE. L'agent tente de réconcilier la prédiction de ML avec son a priori incorrect, ce qui résulte en des choix de traitement sous-optimaux et des résultats pires que s'il avait ignoré le support de ML.
   • Des effets négatifs similaires ont été observés lorsque les agents détenaient des a priori mal alignés concernant la distribution des covariables ($\alpha_{X\mu}$) ou la distribution des résultats ($\alpha_{Y\mu}$).
3. Corrélation de la distribution postérieure : Le processus d'apprentissage se manifeste par une corrélation dans les croyances postérieures de l'agent. Lorsqu'une prédiction contredit les attentes, l'agent envisage plusieurs hypothèses (par exemple, le traitement est moins efficace que prévu, OU les dosages historiques étaient plus élevés que supposé), créant une dépendance entre l'effet de traitement inféré et la politique historique inférée.

Signification et affirmations

L'article affirme fournir le premier cadre explicite pour analyser l'interaction entre un agent bayésien et le ML-DS, en modélisant spécifiquement comment un agent apprend sur le processus de génération de données à partir d'une prédiction de ML.

• Contribution théorique : La dérivation d'une solution de tractabilité pour l'inférence bayésienne à travers des variables d'entraînement interchangeables (Théorème 2.8) permet de simuler des dynamiques d'apprentissage qui étaient auparavant trop coûteuses sur le plan computationnel.
• Contribution empirique : L'étude fournit des preuves quantitatives que le ML-DS peut faire plus de mal que de bien, même dans des conditions idéales (où le modèle est bien spécifié et l'agent parfaitement rationnel). Le déterminant principal du succès est l'alignement des croyances a priori de l'agent avec la réalité des données d'entraînement.
• Implication pratique : Les conclusions soulignent l'importance critique de fournir une documentation complète des données d'entraînement et des protocoles aux utilisateurs de ML-DS. Sans un alignement approprié des a priori (par exemple, via la formation ou la documentation), l'introduction d'un support par l'IA peut mener à des résultats en aval préjudiciables.

Les auteurs notent que leurs résultats sont généralisables à tout domaine employant des modèles de prédiction pour l'aide à la décision, bien que l'implémentation actuelle soit limitée à des modèles linéaires, naïfs vis-à-vis du traitement, et à des interactions à une seule étape. Des travaux futurs sont identifiés comme nécessaires pour explorer les modèles de ML causaux, les effets de traitement hétérogènes et les interactions répétées.