💻 computer science

Evaluating Prediction-based Interventions with Human Decision Makers In Mind

Cet article formalise divers modèles de prise de décision humaine lorsqu'elle est assistée par des systèmes prédictifs afin de démontrer comment les biais cognitifs et les dépendances intersubjectives violent les hypothèses expérimentales standards, compromettant ainsi l'exactitude des estimations d'effets causaux dans les évaluations de systèmes de décision automatisés.

Auteurs originaux : Inioluwa Deborah Raji, Lydia Liu

Publié 2026-02-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Inioluwa Deborah Raji, Lydia Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer si un nouvel « assistant intelligent » (comme un GPS ou un correcteur orthographique) aide réellement un humain à prendre de meilleures décisions. Vous voulez mener un test pour voir si l'assistant modifie le résultat.

Cet article soutient que la plupart des tests actuels sont défectueux car ils traitent le décideur humain comme un robot qui réagit de la même manière à chaque fois. En réalité, les humains sont désordonnés, émotionnels et influencés par la manière dont le test est mis en place.

Voici la décomposition des points principaux de l'article en utilisant des analogies de la vie quotidienne :

1. Le Problème : L'hypothèse du « Robot »

La thèse de l'article : La plupart des expériences supposent que si vous montrez une prédiction à un humain (comme un score de risque), sa réaction est un trait de personnalité fixe. Ils pensent : « Le juge A ignore toujours les ordinateurs, et le juge B écoute toujours ».
L'analogie : Imaginez tester un nouveau type de café. Vous supposez que si vous donnez une tasse à la personne A, elle la boira toujours, peu importe la situation. Mais en réalité, la personne A pourrait la boire si elle est fatiguée, mais l'ignorer si elle est déjà rassasiée. Sa réaction dépend du contexte, pas seulement de sa personnalité.

Les auteurs affirment que lorsque nous testons ces « assistants intelligents » dans des domaines comme la justice pénale ou la santé, nous oublions souvent que la réaction humaine change en fonction de la conception de l'expérience.

2. Les trois façons dont les humains se font « piéger » par le test

L'article propose qu'un humain est plus ou moins enclin à écouter un algorithme selon trois éléments spécifiques que les expérimentateurs contrôlent. Considérez cela comme trois différents « états d'esprit » dans lesquels l'humain se trouve :

État d'esprit 1 : L'effet de « Familiarité » (Exposition au traitement)
- Ce que c'est : Si un humain voit les conseils de l'algorithme tout le temps, il commence à lui faire confiance et à les suivre. S'il ne les voit qu'occasionnellement, il peut les ignorer ou être confus.
- L'analogie : Imaginez un nouveau feu de signalisation. Si vous le voyez tous les jours, vous finissez par vous arrêter et repartir automatiquement. S'il ne s'allume qu'une fois par mois, vous pourriez oublier de le regarder ou penser qu'il est cassé. La fréquence du feu change votre façon de conduire, pas seulement le feu lui-même.
- Le point de l'article : Si une expérience ne présente l'outil qu'à 50 % des cas de manière aléatoire, l'humain pourrait ne pas s'y habituer, ce qui conduit à un résultat faible. S'il l'avait vu 100 % du temps, il pourrait s'y fier davantage, montrant un résultat plus fort.
État d'esprit 2 : L'effet de « Surcharge » (Contrainte de capacité)
- Ce que c'est : Si l'algorithme hurle « DANGER ! » (prédit un risque élevé) trop souvent, l'humain se lasse des avertissements et commence à les ignorer, même lorsqu'ils sont réels.
- L'analogie : Pensez à une alarme incendie qui se déclenche chaque fois que vous faites griller du pain. Après un certain temps, vous arrêtez totalement de l'écouter, même en cas de véritable incendie. Si l'algorithme prédit un « risque élevé » trop fréquemment, le juge cesse d'écouter.
- Le point de l'article : Si l'expérience configure l'algorithme pour qu'il soit très « prudent » (prédisant souvent un risque), l'humain pourrait décrocher, faisant paraître l'outil inutile.
État d'esprit 3 : L'effet du « Cri de loup » (Faible confiance)
- Ce que c'est : Si l'humain voit l'algorithme commettre des erreurs, il cesse de lui faire confiance.
- L'analogie : Si votre GPS vous dit de tourner à gauche, mais que vous savez qu'il y a un mur là, vous cesserez de faire confiance au GPS. Si l'algorithme se trompe souvent, l'humain cesse de suivre ses conseils.
- Le point de l'article : Si l'expérience utilise un modèle qui n'est pas très précis, l'humain l'ignorera, ce qui fera paraître l'intervention inefficace.

3. La grande erreur : Le problème de « Débordement » (Spillover)

La thèse de l'article : Dans la science standard, on suppose que ce qui arrive à la personne A n'affecte pas la personne B. C'est ce qu'on appelle l'hypothèse de stabilité de la valeur de l'unité de traitement (SUTVA).
L'analogie : Imaginez tester une nouvelle pilule minceur. Vous supposez que la prise de la pilule par la personne A ne change pas la façon dont la personne B réagit à la pilule.
La réalité : Dans cet article, la « pilule » est l'algorithme. Parce que l'humain (le juge) est la même personne prenant des décisions pour plusieurs dossiers différents, ce qui s'est passé pour le Cas n°1 change la façon dont il traite le Cas n°2.

Si l'algorithme a eu raison 10 fois de suite, ils lui font confiance pour le Cas n°11.
Si l'algorithme a eu tort 10 fois, ils l'ignorent pour le Cas n°11.

Cela signifie que les décisions sont liées. L'article prouve que parce que ces décisions sont liées, les calculs mathématiques standards utilisés pour déterminer « Est-ce que l'outil a aidé ? » sont erronés. Ils sous-estiment ou surestiment souvent l'utilité réelle de l'outil.

4. La solution : Changer la façon de mener le test

Les auteurs ont réalisé des simulations à partir de données réelles d'une étude judiciaire (où des juges utilisaient des scores de risque). Ils ont montré que si l'on change la manière d'attribuer les cas :

Scénario A : On donne l'algorithme à 50 % des cas pour le Juge 1, et 50 % pour le Juge 2.
Scénario B : On donne l'algorithme à 100 % des cas pour le Juge 1, et 0 % pour le Juge 2.

Même si le nombre total de cas est identique, les résultats changent radicalement.

Dans le modèle de « Familiarité », le Scénario B (montrer l'outil tout le temps) a rendu l'outil beaucoup plus efficace.
Dans le modèle de « Surcharge », le Scénario B a rendu l'outil moins efficace parce que le juge s'est lassé des avertissements.

Résumé

Cet article est un avertissement aux scientifiques et aux décideurs politiques : Vous ne pouvez pas tester une équipe humain-IA de la même manière que vous testez une machine.

Si vous voulez savoir si un outil d'IA aide réellement un juge, un médecin ou un enseignant, vous devez concevoir votre expérience avec soin. Vous devez tenir compte du fait que les humains s'habituent aux outils, se lassent des avertissements et perdent confiance si l'outil commet des erreurs. Si vous ignorez ces particularités humaines, les résultats de vos tests seront faux, et vous pourriez croire qu'un outil utile est inutile (ou inversement).

Résumé technique : Évaluer les interventions basées sur la prédiction en tenant compte des décideurs humains

Énoncé du problème

Les systèmes de décision automatisés (SDA) sont de plus en plus déployés pour soutenir la prise de décision humaine dans des contextes à enjeux importants tels que la justice pénale, la santé et l'éducation. Bien que la recherche en apprentissage automatique se concentre souvent sur l'évaluation de la précision des modèles prédictifs par rapport à des ensembles de données de référence, ces évaluations ne parviennent pas à capturer l'interaction complexe entre les humains et les algorithmes. Plus précisément, les conceptions expérimentales actuelles pour évaluer les interventions basées sur la prédiction reposent sur des hypothèses simplificatrices concernant la prise de décision humaine pour dériver des estimations causales.

Le problème central identifié est que des choix de conception expérimentale spécifiques peuvent induire des biais cognitifs chez les décideurs humains, modifiant considérablement les tailles d'effet observées. Les paradigmes existants supposent souvent un modèle « indépendant des cas » où le statut de traitement d'un sujet de décision n'affecte pas un autre (adhérant à l'hypothèse de stabilité de l'unité de traitement, ou SUTVA). Cependant, cet article soutient que les décideurs humains (par exemple, les juges) possèdent des états internes qui évoluent en fonction de leur exposition aux recommandations algorithmiques, créant des dépendances entre les sujets de décision qui violent la SUTVA et conduisent à une estimation biaisée de l'effet du traitement.

Méthodologie

Cadre théorique

Les auteurs proposent un nouveau modèle causal de la prise de décision humaine assistée par algorithme qui rend explicitement compte de l'état interne du décideur. Contrament au modèle standard indépendant des cas, ce cadre indexe les décisions à la fois par le sujet de décision ( $i$ ) et par le décideur ( $k$ ).

Le modèle introduit deux variables latentes :

$J_{i,k}$ : La réactivité du juge $k$ pour l'unité de traitement $i$ , représentant la probabilité que le juge suive la recommandation algorithmique.
$\epsilon_{i,k}$ : Une variable aléatoire tirée d'une distribution de Bernoulli avec le paramètre $J_{i,k}$ , désignant si le juge se conforme à la recommandation.

La fonction de décision $D_{i,k}$ est définie comme une fonction de la décision par défaut du juge $\lambda_k(X_i)$ et de la recommandation algorithmique $\bar{D}(\hat{Y}_i)$ , modulée par la réactivité $J_{i,k}$ .

Modèles de biais cognitifs

L'article formalise trois modèles spécifiques de biais cognitifs qui rendent la réactivité du juge ( $J_{i,k}$ ) dynamique et dépendante des choix de conception expérimentale :

Modèle d'exposition au traitement : La réactivité augmente à mesure que l'exposition moyenne à l'aide prédictive augmente. Les juges peuvent s'appuyer sur des informations cohérentes plutôt que d'ajuster les protocoles pour chaque cas, ceant à une conformité plus élevée après une exposition fréquente.
Modèle de contrainte de capacité : La réactivité diminue à mesure que le taux de prédictions positives (à haut risque) augmente. Dans les environnements à enjeux élevés, les décideurs peuvent atteindre un seuil où ils deviennent moins réactifs à de nouvelles alertes de type « haut risque ».
Modèle de faible confiance : La réactivité diminue à mesure que le taux d'erreur observé de l'algorithme augmente. Si les juges observent les résultats réalisés et détectent des erreurs de prédiction (par exemple, des faux positifs), leur confiance et leur conformité ultérieure diminuent.

Analyse expérimentale

Les auteurs prouvent mathématiquement que sous ces modèles, la décision $D_{i,k}$ n'est pas conditionnellement indépendante des affectations de traitement antérieures $(Z_{1,k}, \dots, Z_{i-1,k})$ étant donné le traitement actuel $Z_{i,k}$ . Cela constitue une violation de la SUTVA.

Pour démontrer l'impact pratique, l'article compare deux schémas de randomisation :

Randomisation uniforme : Les cas sont randomisés au niveau individuel (niveau unique), entraînant une exposition au traitement mixte pour chaque juge.
Randomisation à deux niveaux : Les juges sont randomisés vers des grappes de traitement (par exemple, un juge voit 100 % des cas traités, un autre 0 %), créant des profils d'exposition distincts.

Expériences semi-synthétiques

Les auteurs valident leurs conclusions théoriques à l'aide de données provenant d'un essai contrôlé randomisé (ECR) réel réalisé par Imai et al. [2020] concernant les scores de risque de l'Évaluation de la sécurité publique (PSA) dans le comté de Dane, Wisconsin. Ils simulent plusieurs juges et appliquent les trois modèles de biais pour générer des séquences de décision alternatives. Ils observent comment la modification des choix de conception expérimentale (affectation du traitement, seuils du modèle et précision) modifie l'effet de traitement moyen (ATE) estimé.

Principales contributions

Formalisation de la réactivité dynamique : L'article dépasse l'hypothèse selon laquelle la réactivité du juge est un attribut statique et inhérent. Il formalise comment la réactivité est une fonction dynamique des choix de conception expérimentale, spécifiquement de l'affectation du traitement ( $Z$ ), du taux de prédiction positive du modèle ( $P(\hat{Y}=1)$ ) et de la justesse du modèle ( $P(\hat{Y}=Y)$ ).
Preuve de la violation de la SUTVA : Les auteurs fournissent des preuves mathématiques montrant que les modèles comportementaux proposés induisent une interférence entre les sujets de décision, violant ainsi l'hypothèse SUTVA couramment utilisée en inférence causale. Cela invalide les estimateurs standards qui supposent l'indépendance.
Démonstration du biais d'estimation : L'article démontre que les schémas de randomisation standards (niveau unique) peuvent conduire à une sous-estimation ou une surestimation significative de l'effet de traitement moyen (ATE) selon le modèle de biais actif. Par exemple, sous le modèle d'exposition au traitement, la randomisation uniforme sous-estime l'ATE, tandis que sous le modèle de contrainte de capacité, elle peut le surestimer.
Simulation empirique : En utilisant des expériences semi-synthétiques basées sur Imai et al. [2020], les auteurs montrent que la modification des choix de conception (par exemple, changer la proportion de cas traités par juge ou le seuil de l'algorithme) peut modifier les estimations de l'effet causal par un facteur de 10 pour certains sous-groupes démographiques.

Résultats

Violation de la SUTVA : L'analyse théorique confirme que lorsque la réactivité du juge dépend de l'exposition historique, le statut de traitement d'un cas influence la décision sur les cas suivants gérés par le même juge. Les tests de permutation standards utilisés dans les études précédentes (comme Imai et al., 2020) ne parviennent pas à détecter cette interférence car ils préservent la proportion moyenne de traitement, rendant l'ordre des cas non pertinent pour la statistique de test.
Directionnalité du biais :
- Exposition au traitement : La randomisation uniforme conduit à une sous-estimation de l'effet du traitement par rapport à la randomisation à deux niveaux. L'écart s'élargit à mesure que les juges deviennent plus sensibles à l'exposition passée et que la divergence entre la décision par défaut et la décision recommandée augmente.
- Contrainte de capacité : La randomisation uniforme conduit à une surestimation de l'effet du traitement. L'écart augmente avec des taux de prédiction positive plus élevés.
- Faible confiance : Une précision algorithmique plus faible entraîne une réduction de la réactivité et une sous-estimation de l'effet du traitement, impactant particulièrement les mesures de justesse des décisions.
Résultats de la simulation : Dans les expériences semi-synthétiques, le changement du régime d'exposition au traitement (par exemple, assigner 100 % des cas à un juge contre 50 %) a entraîné des écarts substantiels dans l'ATE mesuré. Plus précisément, pour les sujets femmes non-blanches, l'effet causal estimé sur les décisions variait d'un facteur 10 selon le régime d'exposition.

Signification et affirmations

L'article affirme que la validité scientifique des schémas d'évaluation basés sur l'intervention pour les déploiements de SDA est actuellement compromise par l'ignorance de la nature dynamique de la prise de décision humaine. En traitant les interventions basées sur la prédiction comme des problèmes de prédiction isolés plutôt que comme des interventions de politique publique, les chercheurs risquent de tirer des conclusions erronées sur l'efficacité de ces systèmes.

Les auteurs soutiennent que les futurs designs expérimentaux doivent tenir compte de l'« humain dans la boucle » comme un agent dynamique dont le comportement est façonné par l'expérience elle-même. Ils suggèrent que :

La randomisation standard à niveau unique est insuffisante pour estimer l'impact causal des systèmes prédictifs lorsqu'ils sont déployés comme des politiques à grande échelle.
Des conceptions de randomisation à deux niveaux (randomisation au niveau du décideur) ou des conceptions multifactorielles sont nécessaires pour estimer avec précision les effets de traitement en présence de biais du juge.
Les conclusions s'étendent au-delà de la justice pénale à d'autres domaines comme la santé et l'éducation, où des biais cognitifs et des effets d'interférence similaires sont probablement présents.

Ce travail sert d'appel à l'action pour la communauté de la recherche afin de raffiner les paradigmes expérimentaux pour qu'ils reflètent mieux les réalités de l'interaction humain-algorithme, garantissant que les estimations causales reflètent le véritable impact des interventions prédictives sur les résultats en aval.