🤖 machine learning

Actions Have Consequences: Detecting Outcome Performativity using Intervention Testing

Cet article introduit l'OPAB (Outcome Performativity A/B Detection), un cadre formel qui utilise des tests d'intervention pour détecter quand les prédictions influencent causalement leurs propres résultats, tout en dérivant et en validant des bornes de complexité d'échantillonnage pour identifier les contextes où une telle détection est réalisable ou impossible en raison de contraintes de données.

Auteurs originaux : Brandon Gower-Winter, Georg Krempl

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Brandon Gower-Winter, Georg Krempl

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un prévisionniste météo. Habituellement, vous vous contentez de regarder les nuages et de dire : « Il va pleuvoir. » Votre prédiction ne change pas la météo ; le ciel fait ce qu'il veut, peu importe ce que vous dites. Mais et si votre prédiction pouvait changer la météo ? Et si, au moment où vous criiez « Pluie ! » à la foule, les nuages commençaient à s'assembler parce que les gens commençaient à ouvrir leurs parapluies, et que le vent changeait de direction ? Dans le monde de l'intelligence artificielle, ce phénomène étrange est réel. On l'appelle la Performativité de l'Issue (Outcome Performatality). Cela se produit lorsqu'une supposition d'un ordinateur sur le futur aide en réalité à créer ce futur. Pensez à l'IA d'une banque prédisant qui fera défaut sur un prêt. Si l'IA dit : « Cette personne est risquée », et que la banque lui refuse le prêt, cette personne pourrait effectivement faire faillite *parce qu'*on lui a refusé l'argent. La prédiction a causé le résultat.

C'est un problème complexe pour les scientifiques car cela crée une boucle de rétroaction. Si une IA apprend à partir de données où ses propres prédictions modifient les résultats, elle pourrait s'embrouiller, pensant être un génie alors qu'elle n'est qu'un prophète auto-réalisateur. La grande question est la suivante : comment détecter ce comportement avant de laisser l'IA en liberté dans le monde réel ? Nous avons besoin d'un moyen de tester si nos prédictions sont secrètement en train de tirer les ficelles. C'est là qu'intervient une nouvelle méthode appelée OPAB (Détection A/B de la Performativité de l'Issue), agissant comme un détective scientifique pour voir si l'IA est secrètement en train de contrôler le jeu.

La boîte à outils du détective : L'OPAB

L'article présente une méthode appelée OPAB, qui est essentiellement une expérience de type « et si » pour les prédictions de l'IA. Pour comprendre son fonctionnement, imaginez que vous gérez une cafétéria scolaire. Vous voulez savoir si dire aux élèves « La pizza est mauvaise » les pousse réellement à moins manger de pizza.

Dans une expérience normale, vous pourriez simplement demander aux élèves ce qu'ils pensent de la pizza et voir combien ils en mangent. Mais cela est imparfait car les élèves qui pensent que la pizza est mauvaise pourraient déjà être des mangeurs difficiles. La prédiction (leur opinion) et le résultat (la consommation) sont entrelacés.

L'OPAB démêle ce nœud en utilisant une technique appelée Test d'Intervention. Au lieu de laisser les élèves décider de ce qu'ils pensent, le gestionnaire de la cafétéria lance une pièce pour chaque élève. Pile, vous leur dites : « La pizza est incroyable ! » Face, vous leur dites : « La pizza est terrible ! » Vous imposez la prédiction, ignorant totalement ce que l'élève pense réellement ou qui il est. Ensuite, vous observez ce qui se passe. Si le groupe à qui l'on a dit « La pizza est incroyable » mange significativement plus que le groupe à qui l'on a dit « La pizza est terrible », vous avez surpris l'IA (ou le gestionnaire de la cafétéria) en flagrant délit de Performativité de l'Issue. La prédiction a causé le changement de comportement.

Les règles du jeu : Quand peut-on l'attraper ?

Les auteurs n'ont pas seulement construit le détecteur ; ils ont également déterminé exactement combien d'élèves (ou de points de données) vous devez tester pour être sûr qu'il ne s'agit pas d'un simple coup de chance. Ils appellent cela la Complexité d'Échantillonnage.

Pensez-y comme si vous essayiez d'entendre un chuchotement dans une pièce bruyante. Si le chuchotement est très fort (un effet puissant), vous n'avez besoin que de quelques personnes pour l'entendre. Mais si le chuchotement est à peine audible (un effet infime), vous pourriez avoir besoin d'un stade entier de personnes pour être sûr de l'avoir entendu et ne pas l'avoir simplement imaginé.

L'article explore trois différents « scénarios » ou règles sur la façon dont l'IA pourrait influencer le monde :

La Règle Simple : La prédiction modifie l'issue directement, comme un interrupteur magique.
La Règle du Modèle : La prédiction modifie l'issue en fonction des détails spécifiques de la personne (comme son âge ou sa localisation).
La Règle de l'Erreur : La prédiction ne modifie l'issue que si l'IA commet une erreur (comme dire à une personne en bonne santé qu'elle est malade).

Pour chacun de ces cas, les auteurs ont dérivé des formules mathématiques pour calculer le nombre minimum de « lancers de pièces » (interventions) nécessaires. Ils ont découvert que si l'effet est très faible, le nombre de personnes nécessaires grimpe jusqu'à l'infini. Cela crée ce qu'ils appellent des Régions d'Indistinguabilité. Ce sont des configurations où l'effet est si subtil, ou le coût du test si élevé, qu'il est pratiquement impossible de dire si l'IA est performative ou non. C'est comme essayer d'entendre une chute d'épingle dans un ouragan ; peu importe le nombre de personnes que vous interrogez, vous ne pouvez pas être certain.

Le test en conditions réelles : Le magasin de mode

Pour voir si leur théorie tenait la route, les auteurs ont testé l'OPAB sur un véritable ensemble de données provenant d'un site de mode appelé ZOZOTOWN. Cet ensemble de données suivait les articles de mode présentés aux utilisateurs et s'ils cliquaient dessus ou non. Crucialement, pour certains utilisateurs, la position de l'article (gauche, centre ou droite) était choisie de manière aléatoire, tout comme le lancer de pièce dans notre histoire de cafétéria.

Ils ont divisé les données entre hommes et femmes. Lorsqu'ils ont appliqué l'OPAB aux données des hommes, le détecteur s'est déclenché : la position de l'article a bien modifié le comportement de clic (Performativité de l'Issue). Mais lorsqu'ils ont testé les données des femmes, le détecteur est resté silencieux. Cela suggère que pour les femmes, l'ordre des articles n'avait pas d'importance, mais que pour les hommes, il en avait un. Cela prouve que l'OPAB peut repérer ces influences cachées dans le monde réel.

Les limites et l'avenir

L'article prend soin de souligner que ce n'est pas une solution miracle qui résout tout. La méthode fonctionne mieux lorsque vous disposez de suffisamment de données. Si l'effet est minuscule, ou si les données sont très déséquilibrées (comme avoir beaucoup plus de clics sur un article que sur un autre), le détecteur pourrait passer à côté. Les auteurs notent également que cette méthode est un outil hors ligne (offline), ce qui signifie qu'elle est surtout destinée à être utilisée avant de lancer un nouveau système d'IA, lors de la phase de test, plutôt que d'essayer de le corriger une fois qu'il est déjà en fonctionnement.

Ils ont comparé leur méthode à une ancienne méthode en ligne (online) qui attend que l'IA tourne pour vérifier si les résultats changent. Ils ont constaté que leur méthode de « lancer de pièce » (OPAB) était beaucoup plus efficace et fiable, capturant le problème avec beaucoup moins de points de données.

En fin de compte, cet article nous offre un nouveau moyen de regarder derrière le rideau. Il nous indique que, bien que nous ne puissions pas toujours attraper chaque influence subtile qu'une IA peut avoir, nous disposons d'une carte mathématique qui nous montre exactement où se trouvent les zones de danger et de combien de données nous avons besoin pour être en sécurité. C'est une étape cruciale pour s'assurer que nos outils d'IA nous aident plutôt que de nous inciter accidentellement à créer les problèmes mêmes qu'ils étaient censés résoudre.

Résumé Technique : Détection de la Performativité des Résultats par Tests d'Intervention

Définition du Problème

Dans de nombreux domaines critiques tels que les soins palliatifs, l'attribution de crédit et les systèmes de recommandation, les prédictions générées par les modèles d'apprentissage automatique (ML) peuvent influencer causalement les résultats qu'elles sont censées prédire. Ce phénomène, connu sous le nom de Performativité des Résultats (Outcome Performativity), se produit lorsque le résultat réalisé $Y$ d'une instance $X$ dépend non seulement des caractéristiques $X$ , mais aussi de la prédiction $\hat{Y}$ assignée à cette instance. Par exemple, l'attribution de taux d'intérêt élevés aux débiteurs à haut risque peut augmenter la probabilité de défaut, ou l'attribution de soins palliatifs au lieu de soins curatifs peut influencer la survie d'un patient.

Alors que la recherche existante sur la prédiction performative suppose souvent que la présence de telles boucles de rétroaction est connue a priori, cet article comble la lacune de la détection de la performativité des résultats, particulièrement dans les contextes hors ligne (pendant la collecte de données ou avant le déploiement du modèle). Une performativité non détectée peut conduire à des modèles qui exacerbent les biais ou souffrent d'une dégradation des performances. Les méthodes actuelles d'identification de ces effets en ligne existent, mais les travaux sur leur identification hors ligne sont limités, ce qui est crucial pour des raisons éthiques et financières avant le déploiement d'un modèle.

Méthodologie : Détection A/B de la Performativité des Résultats (OPAB)

Les auteurs proposent la Détection A/B de la Performativité des Résultats (OPAB), une méthode de test d'intervention hors ligne inspirée des essais contrôlés randomisés (RCT) et des tests A/B.

Mécanisme Central

Le test d'hypothèse standard comparant les distributions de résultats conditionnées par les prédictions d'un classificateur ( $P(Y|\hat{Y}=0)$ vs. $P(Y|\hat{Y}=1)$ ) est insuffisant car les prédictions $\hat{Y}$ elles-mêmes dépendent des caractéristiques $X$ , créant ainsi des variables de confusion. Pour briser cette dépendance, l'OPAB effectue une intervention de type "do" sur les prédictions.

Assignation Aléatoire : Au lieu d'utiliser un prédicteur entraîné $\phi(X)$ , l'OPAB assigne aléatoirement des prédictions $\hat{y} \in \{0, 1\}$ aux instances $X$ avec une probabilité égale (Bernoulli(0.5)). Cela découple $\hat{Y}$ de $X$ .
Observation : Le système observe les résultats $Y$ résultant de ces prédictions assignées aléatoirement.
Test d'Hypothèse : L'OPAB teste statistiquement la dissimilarité entre les distributions de résultats des deux groupes d'intervention :
$H(P(Y | \text{do}(\hat{Y}=0)), P(Y | \text{do}(\hat{Y}=1))) \leq \delta$
Si les distributions sont significativement différentes (où $H$ est un test tel que le Chi-deux ou le test exact de Fisher, et $\delta$ est le seuil de signification), la Performativité des Résultats est détectée.

Classes d'Hypothèses

L'article dérive des bornes de complexité d'échantillonnage (le nombre minimum d'interventions $N$ requis) sous trois classes distinctes d'hypothèses de Performativité des Résultats :

Performativité des Résultats Simple : La probabilité du résultat dépend uniquement de la prédiction $\hat{y}$ , faisant abstraction de l'espace des caractéristiques $X$ .
Performativité des Résultats basée sur un Modèle : Le résultat dépend de la position de l'instance dans l'espace des caractéristiques et de la prédiction, modélisée comme un décalage linéaire dans l'espace des caractéristiques basé sur des poids de prédiction.
Performativité des Résultats basée sur la Erreur de Classification : La Performativité des Résultats ne se produit que lorsque la prédiction $\hat{y}$ ne correspond pas à un résultat "souhaitable" $\bar{y}$ . La probabilité que le résultat souhaité soit réalisé malgré une erreur de classification est régie par les paramètres $\gamma_0$ et $\gamma_1$ .

Contributions Clés

Formalisation de la Détection Hors Ligne : L'article formalise l'utilisation du test d'intervention (OPAB) pour détecter la Performativité des Résultats avant le déploiement du modèle, contrastant avec les méthodes qui nécessitent un modèle déployé pour observer les boucles de rétroaction.
Bornes de Complexité d'Échantillonnage : Les auteurs dérivent des bornes théoriques pour le nombre d'échantillons ( $N$ ) requis pour détecter la Performativité des Résultats pour les trois classes d'hypothèses. Ces bornes révèlent que la détection devient de plus en plus difficile (nécessitant $N \to \infty$ ) à mesure que la différence de réponse performative entre les groupes de prédiction tend vers zéro.
Régions d'Indistinguabilité : Un concept clé introduit est la "région d'indistinguabilité". Il s'agit de configurations de paramètres où le nombre d'interventions alloué est insuffisant pour détecter de manière fiable la Performativité des Résultats. Cela souligne les limites pratiques dans les scénarios où les échantillons sont rares, coûteux ou éthiquement restreints.
Validation Empirique : La méthode est validée sur des données synthétiques injectées de performativité à travers six jeux de données de classification binaire du monde réel (Cancer du sein, Diabète, Adult Census, Kickstarter, Titanic, Prêt) et une étude de cas réelle sur l'Open Bandits Dataset (OBD).

Résultats

Efficacité de la Détection : L'OPAB détecte avec succès la Performativité des Résultats dans diverses configurations. Les taux de détection augmentent avec le nombre d'interventions ( $N$ ).
Indistinguabilité : Les expériences confirment l'existence de régions d'indistinguabilité. Par exemple, dans la Performativité des Résultats Simple, si les paramètres de réponse performative $\alpha_0$ et $\alpha_1$ sont presque identiques, même des tailles d'échantillon importantes ( $N=10\,000$ ) ne parviennent pas à détecter la performativité.
Spécificités des Jeux de Données :
- Dans l'Open Bandits Dataset, l'OPAB a détecté la Performativité des Résultats dans le sous-ensemble "hommes" (où le placement des articles influençait les clics), mais pas dans le sous-ensemble "femmes".
- Déséquilibre des Classes : Les résultats indiquent que le déséquilibre des classes impacte significativement la détection. Les jeux de données équilibrés permettent une détection plus efficace, tandis que les jeux de données fortement déséquilibrés (ex: les taux de clics de l'OBD) nécessitent exponentiellement plus d'échantillons pour détecter des effets subtils.
Comparaison avec les Méthodes en Ligne : Une comparaison avec une méthode de détection en ligne (Détection Adam, basée sur la surveillance des changements du Taux de Vrais Positifs) montre que l'OPAB atteint des taux de détection plus élevés et plus cohérents en utilisant seulement 10 % des échantillons requis par la méthode en ligne. L'OPAB est également immunisé contre les problèmes de dérive de concept (concept drift) qui affectent les méthodes en ligne.

Signification et Revendications

L'article affirme que l'OPAB fournit un outil pratique et efficace en termes d'échantillonnage pour les praticiens afin d'identifier la Performativité des Résultats avant de déployer des modèles, permettant potentiellement d'éviter le déploiement de systèmes qui nuisent involontairement aux résultats ou renforcent les biais.

La dérivation des bornes de complexité d'échantillonnage offre une analyse critique : il existe des configurations où la détection de la Performativité des Résultats est pratiquement irréalisable en raison du nombre prohibitif d'interventions requises. Cela a des implications majeures pour les domaines à enjeux élevés (comme la santé) où les tests d'intervention peuvent être contraires à l'éthique ou trop coûteux. Dans de tels cas, si un scénario tombe dans une "région d'indistinguabilité", les praticiens devront peut-être s'appuyer sur des méthodes non interventionnelles (notées comme étant moins efficaces en termes d'échantillonnage) ou accepter le risque d'une performativité non détectée.

Les auteurs concluent que bien que l'OPAB soit efficace, elle repose sur l'hypothèse d'uniformité à travers l'espace des caractéristiques et ne prend pas en compte la latence de vérification ou les étiquettes bruitées. Les travaux futurs visent à répondre à ces limitations.