Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making

Cette étude démontre que le flux de décision (1 ou 2 étapes) n'est pas une solution universelle pour réduire la surconfiance envers l'IA et que la confiance déclarée diffère fondamentalement de la confiance comportementale, soulignant la nécessité de les évaluer séparément en tenant compte des connaissances des utilisateurs et des explications fournies.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en parlions autour d'un café.

🎭 Le Titre : "Toutes les confiances ne se valent pas"

Imaginez que vous êtes un chef cuisinier (l'humain) et que vous avez un assistant robot très doué mais parfois un peu étourdi (l'IA). Votre tâche est de décider si un étudiant va réussir ses études ou s'il risque d'échouer. Le robot vous donne son avis.

Le grand défi, c'est la confiance.

• Si vous avez trop confiance, vous écoutez le robot même quand il se trompe (c'est le "sur-trust").
• Si vous avez trop peu confiance, vous ignorez ses bons conseils par méfiance (c'est le "sous-trust").

L'objectif n'est pas d'avoir le plus de confiance possible, mais la bonne confiance : faire confiance au robot quand il a raison, et l'ignorer quand il a tort.

---

🧪 L'Expérience : Deux façons de cuisiner

Les chercheurs ont voulu tester deux méthodes pour voir laquelle aide le mieux le chef à bien utiliser son robot. Ils ont réuni 300 personnes pour un jeu de rôle en ligne.

Méthode 1 : Le "1-étape" (Le robot crie avant que vous ne pensiez)
Le robot vous donne immédiatement sa réponse : "L'étudiant va échouer !". Vous devez ensuite décider si vous êtes d'accord ou non. C'est comme si le robot vous criait la recette avant même que vous n'ayez goûté les ingrédients.

Méthode 2 : Le "2-étapes" (Le "Forçage Cognitif")
Ici, on vous force à réfléchir d'abord. Vous devez décider par vous-même : "Je pense que l'étudiant va réussir". Ensuite seulement, le robot vous donne son avis. C'est comme si vous deviez écrire votre propre recette avant que le robot ne vienne la commenter. L'idée était de voir si cela vous empêcherait de suivre aveuglément le robot.

Ils ont aussi testé si le robot donnait des explications (par exemple : "Je dis ça parce que ses notes en maths sont faibles") ou s'il se contentait de donner la réponse.

---

🚨 Les Résultats Surprenants

Voici ce qu'ils ont découvert, et ce n'est pas ce qu'on attendait :

1. La parole ne vaut pas l'action (Le paradoxe)
Les chercheurs ont demandé aux gens : "Avez-vous confiance en ce robot ?" (Confiance déclarée).
Ensuite, ils ont regardé ce qu'ils faisaient réellement : ont-ils suivi le robot ? (Confiance comportementale).

• Résultat : Il y a très peu de lien entre les deux !
• L'analogie : C'est comme quelqu'un qui dit "Je fais confiance à mon GPS" (il le dit), mais qui continue de tourner à gauche quand le GPS dit "tourne à droite" (il agit). Ou l'inverse : quelqu'un qui dit "Je n'ai pas confiance" mais qui suit le robot à chaque fois.
• Leçon : On ne peut pas se fier aux sondages pour savoir si les gens vont vraiment écouter l'IA. Il faut regarder ce qu'ils font.

2. La méthode "2-étapes" a échoué (et même empiré les choses !)
On pensait que le "2-étapes" (réfléchir avant d'écouter) aiderait les gens à ne pas suivre bêtement le robot.

• Résultat : Au contraire ! Les gens dans le groupe "2-étapes" ont plus suivi le robot, même quand il se trompait.
• Pourquoi ? C'est un peu comme un effet de "remords" ou de "doute". Une fois que vous avez pris le temps de réfléchir et de faire votre choix, et que le robot arrive avec son explication, vous vous dites : "Attends, j'ai peut-être tort, ce robot a l'air si sûr de lui...". Vous finissez par abandonner votre propre idée pour suivre la sienne, même si elle est fausse. C'est ce qu'on appelle le sur-reliance (trop de dépendance).

3. Les explications sont un couteau à double tranchant
Les explications du robot n'ont pas eu le même effet partout.

• Dans le mode "2-étapes", les explications ont augmenté la confiance.
• Dans le mode "1-étape", elles ont parfois diminué la confiance.
• Leçon : On ne peut pas dire "Les explications sont toujours bonnes". Ça dépend de comment on présente l'information.

4. L'importance de vos connaissances
Les gens qui connaissaient bien le sujet (les étudiants, les notes) avaient plus confiance en eux-mêmes. Par contre, ceux qui ne connaissaient rien au sujet avaient tendance à dire "Je ne fais pas confiance au robot", mais ils le suivaient quand même ! C'est étrange, mais cela montre que la peur de l'inconnu ne nous empêche pas toujours de suivre l'IA.

---

💡 Ce qu'il faut retenir pour le futur

Cette étude nous apprend trois choses importantes pour concevoir des IA dans le futur :

1. Ne vous fiez pas aux déclarations : Demander aux gens "Avez-vous confiance ?" ne suffit pas. Il faut observer leurs actions.
2. Attention aux "2-étapes" : Forcer les gens à réfléchir avant de voir l'IA ne les rend pas plus intelligents. Parfois, cela les rend plus hésitants et plus enclins à suivre l'IA aveuglément.
3. Pas de solution unique : Ce qui marche pour un type de tâche (avec des explications) ne marche pas pour une autre. Il faut adapter l'interface à la situation.

En résumé :
L'IA est un excellent assistant, mais elle n'est pas infaillible. La manière dont nous lui présentons nos décisions (avant ou après) change tout. Parfois, essayer de nous forcer à réfléchir avant de nous donner la réponse nous rend plus vulnérables à ses erreurs, pas moins. La vraie confiance, c'est de savoir quand l'écouter et quand dire "Non, je pense différemment".

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making » (Tout ne fait pas confiance : Effets du flux de décision et des explications dans la prise de décision Humain-IA).

1. Problématique et Contexte

L'intégration croissante de l'IA dans les systèmes d'aide à la décision (DSS) soulève un défi majeur : l'atteinte d'une confiance justifiée et bien calibrée. Les utilisateurs font face à deux risques opposés :

• La sur-confiance (Overtrust/Overreliance) : Accepter des recommandations d'IA incorrectes.
• La sous-confiance (Undertrust) : Rejeter des conseils d'IA corrects.

La littérature précédente présente des résultats contradictoires concernant deux leviers d'amélioration :

1. Les explications (XAI) : Leur capacité à calibrer la confiance varie selon les études.
2. Le flux de décision (Workflow) : La comparaison entre un flux en 1 étape (l'utilisateur voit la suggestion de l'IA immédiatement) et un flux en 2 étapes (l'utilisateur doit d'abord prendre une décision initiale avant de voir la suggestion de l'IA, une technique de « forçage cognitif »).

Il manque une compréhension claire de la relation entre la confiance déclarée (mesurée par questionnaire) et la confiance comportementale (mesurée par la dépendance ou reliance), ainsi que de la manière dont ces facteurs interagissent avec les connaissances du domaine et l'expérience antérieure avec l'IA.

2. Méthodologie

Les auteurs ont mené une étude en ligne entre-sujets avec 300 participants.

• Scénario : Un environnement de travail fictif dans une université où les participants devaient décider, pour 15 étudiants, s'ils étaient sur la voie de la réussite ou en danger d'abandon, en utilisant des données académiques et démographiques.
• Conception expérimentale (2x2) :
  • Flux de décision : 1 étape (suggestion immédiate) vs 2 étapes (décision initiale -> suggestion IA -> décision finale).
  • Explications : Présence d'explications (importance des caractéristiques locales) vs Absence d'explications.
• Système IA simulé : Pour garantir une complémentarité des connaissances (ni trop facile, ni trop difficile), l'IA a été simulée avec une précision de 73 % (identique à la performance humaine pré-étude). Les erreurs et les explications étaient pré-calculées via un système basé sur des règles (approche Wizard-of-Oz).
• Variables dépendantes :
  • Confiance déclarée : Questionnaire HCT (Human Computer Trust) modifié.
  • Confiance comportementale (Dépendance) : Taux d'accord global, taux de sur-dépendance (acceptation de conseils erronés), et taux de changement d'avis (switch rate) pour le groupe en 2 étapes.
• Covariables : Connaissances du domaine (auto-évaluées) et expérience préalable avec l'IA.

3. Résultats Clés

A. Distinction entre Confiance Déclarée et Comportementale

• La corrélation entre la confiance déclarée (questionnaire) et la dépendance comportementale (taux d'accord) est faible ($r = 0,25$).
• Cela confirme que ce sont deux construits distincts. Un utilisateur peut déclarer une haute confiance mais ne pas suivre l'IA, ou inversement, suivre l'IA par habitude ou manque de confiance en soi, sans déclarer une haute confiance.
• Le taux d'accord et le taux de changement d'avis sont fortement corrélés ($r = 0,70$), mais dépendent du taux de correspondance initiale entre l'intuition humaine et l'IA.

B. Impact du Flux de Décision (1 étape vs 2 étapes)

• Sur la sur-dépendance (Overreliance) : Contrairement à l'hypothèse de départ (que le forçage cognitif réduirait la sur-dépendance), le flux en 2 étapes a significativement augmenté la sur-dépendance ($\beta = 0,46, p = 0,001$). Les participants du groupe 2 étapes étaient plus enclins à accepter les conseils erronés de l'IA après avoir pris une décision initiale.
• Sur la confiance déclarée : Le flux de décision n'a pas eu d'effet direct global, mais un effet d'interaction croisé (crossover interaction) a été observé avec les explications.

C. Interactions Complexes (Explications et Connaissances)

• Interaction Flux x Explications : Les explications ont augmenté la confiance déclarée uniquement dans le flux en 2 étapes, tandis qu'elles l'ont légèrement diminuée dans le flux en 1 étape. Cela suggère que l'efficacité des explications ne peut pas être généralisée d'un flux à l'autre.
• Interaction Flux x Connaissances du domaine :
  • Les utilisateurs avec de faibles connaissances ont déclaré une confiance plus faible dans le flux 2 étapes.
  • Les utilisateurs avec de bonnes connaissances ont déclaré une confiance plus élevée dans le flux 2 étapes (surtout avec explications).
• Expérience IA : L'expérience antérieure avec l'IA n'a pas eu d'effet significatif ni d'interaction dans cette étude.

4. Contributions Principales

1. Validation de la disjonction confiance/comportement : L'étude fournit des preuves empiriques que la confiance déclarée et la dépendance comportementale ne mesurent pas la même chose et doivent être évaluées séparément dans la conception des DSS.
2. Réfutation de l'efficacité universelle du flux 2 étapes : Contrairement à certaines études précédentes, ce flux n'a pas réduit la sur-dépendance dans ce contexte ; il l'a au contraire augmentée.
3. Nuance sur l'efficacité des explications : Les résultats montrent que l'impact des explications sur la confiance est modéré par le flux de décision et les connaissances de l'utilisateur, expliquant les résultats contradictoires de la littérature précédente.
4. Mise en garde contre la généralisation : Les conclusions tirées sur l'impact des explications ou des flux de décision dans un contexte spécifique ne peuvent pas être extrapolées à d'autres configurations de flux.

5. Signification et Implications pour la Conception

• Évaluation multidimensionnelle : Les concepteurs de DSS doivent évaluer à la fois la perception (questionnaires) et le comportement (taux d'accord/changement) pour obtenir une image complète de la confiance.
• Prudence sur le « forçage cognitif » : L'imposition d'une décision initiale (2 étapes) ne garantit pas une meilleure calibration de la confiance et peut paradoxalement augmenter la dépendance aveugle à l'IA, surtout si l'utilisateur a déjà investi du temps dans sa première décision.
• Adaptabilité : Une solution « unique » (comme forcer systématiquement une décision initiale) est insuffisante. Les flux de décision et les explications devraient être adaptatifs, par exemple en fonction de la confiance de l'utilisateur ou de la complexité de la tâche.
• Contexte réel : Les auteurs soulignent la nécessité de tester ces mécanismes dans des scénarios réels avec des experts du domaine, car les scénarios hypothétiques peuvent sous-estimer l'engagement et fausser les résultats sur la confiance.

En conclusion, l'article plaide pour une approche plus nuancée et contextuelle de la conception des systèmes d'IA, où la confiance n'est pas un concept monolithique mais un phénomène dynamique influencé par l'interaction entre le flux de travail, les explications et les caractéristiques de l'utilisateur.