💻 computer science

Verification Without Distrust: Reframing User-Side Oversight as Routine Epistemic Governance in Everyday Human-Chatbot Interaction

Cette étude remet en question l'hypothèse selon laquelle la vérification par l'utilisateur des résultats de l'IA est motivée par la méfiance, révélant, à travers une analyse par méthodes mixtes de 153 utilisateurs, que la supervision fonctionne comme une forme de gouvernance épistémique routinière distincte de la confiance, et proposant des directions de conception pour une supervision étayée qui améliorent la satisfaction et l'agentivité de l'utilisateur.

Auteurs originaux : Aung Pyae

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aung Pyae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Piège de la Confiance : Pourquoi nous vérifions nos amis IA même quand nous les aimons

Imaginez que vous appreniez à faire du vélo avec une petite roue d'entraînement très utile et super intelligente qui ne bascule jamais. Dans le monde de la science qui étudie la façon dont les humains communiquent avec les ordinateurs (appelée Interaction Homme-Machine), il existe une croyance de longue date sur la manière dont cette relation fonctionne. Cela va comme ceci : si vous faites entièrement confiance à votre roue d'entraînement, vous n'aurez pas besoin de la regarder ou de vérifier si elle vacille. Vous roulez, tout simplement. Cette idée est appelée « calibration de la confiance ». Elle suggère que plus vous faites confiance à une machine, moins vous devriez vous en soucier, et moins vous devriez vérifier son travail.

Mais voici le rebondissement : et si cette règle était fausse ? Et si, même en aimant votre assistant intelligent, vous ressentiez toujours le besoin de regarder sous le capot ? Ce document explore précisément cette question. Il examine comment les gens utilisent réellement les chatbots — ces outils d'IA qui écrivent nos e-mails, résolvent nos problèmes de mathématiques et nous aident à étudier. Les chercheurs voulaient savoir : les gens arrêtent-ils de vérifier les réponses de l'IA lorsqu'ils lui font confiance ? Ou continuent-ils de vérifier, peu importe la situation ? La réponse change la manière dont nous devrions construire ces outils pour l'avenir.

Le Grand Mystère de la Double Vérification

Pendant longtemps, les experts ont considéré la confiance et la vérification comme les deux extrémités d'une balançoire. Si vous appuyez sur le côté « Confiance », le côté « Vérification » devrait monter, ce qui signifie que vous arrêtez de vérifier. La logique était simple : si vous croyez que l'IA est un bon coéquipier, vous ne devriez pas avoir besoin de jouer au détective. Mais les auteurs de ce document, Aung Pyae et son équipe, ont décidé de tester cette théorie auprès de 153 utilisateurs fréquents de chatbots. Ils ont posé à ces utilisateurs des questions simples : « À quel point faites-vous confiance au chatbot ? » et « À quelle fréquence vérifiez-vous ses réponses avant de les utiliser ? »

Le résultat fut une surprise totale. Les données ont montré qu'il n'y avait aucun lien détectable entre la confiance et la vérification. C'est comme si la balançoire était collée à plat. Que l'utilisateur dise qu'il faisait confiance au chatbot un peu ou beaucoup, il vérifiait les réponses exactement au même rythme. Les chercheurs ont trouvé une corrélation de 0,01, ce qui est pratiquement zéro. Cela signifie que même les personnes qui disaient : « Je fais généralement confiance aux réponses du chatbot », étaient tout aussi susceptibles de vérifier les faits, les chiffres et le contenu lié au travail que les personnes sceptiques.

Le document écarte explicitement l'idée que « une meilleure confiance signifie moins de vérification » dans l'utilisation quotidienne des chatbots. Il suggère que pour les utilisateurs fréquents, la vérification n'est pas un signe de méfiance ; c'est juste une habitude. Pensez à un chef qui fait confiance à son couteau préféré mais qui goûte quand même la soupe avant de la servir. Le chef ne doute pas du couteau ; il fait simplement son travail. Les auteurs appellent cela la « gouvernance épistémique de routine », ce qui est une façon sophistiquée de dire : « Cela fait simplement partie de la routine quotidienne de vérifier ce que l'on sait. »

Deux Façons de Jouer avec l'IA

L'étude ne s'est pas arrêtée à la vérification. Elle a examiné quatre façons différentes dont les gens interagissent avec les résultats des chatbots :

Vérification : Lire la réponse et dire : « Oui, cela semble correct », sans rien changer.
Raffinement : Demander au chatbot de « rendre ceci plus court » ou d'« expliquer différemment ».
Correction : Dire au chatbot : « Tu t'es trompé dans ce calcul, corrige-le. »
Approbation : S'assurer que le chatbot reçoive le « feu vert » avant d'effectuer une action automatique.

Les chercheurs ont découvert que ces actions se divisent en deux camps très différents. La Vérification (le simple fait de vérifier) est comme un observateur silencieux. Elle ne semble pas rendre les gens plus heureux ou plus satisfaits du chatbot, et elle n'a aucun lien avec le degré de confiance envers le bot.

Cependant, les trois autres — Raffinement, Correction et Approbation — constituent l'équipe des « interventionnistes ». Ce sont des actions actives où l'utilisateur modifie le travail du chatbot. L'étude a révélé que ces actions sont fortement liées à la satisfaction. Lorsque les utilisateurs sentaient qu'ils pouvaient ajuster, corriger ou approuver le travail du chatbot, ils appréciaient beaucoup plus l'expérience. En fait, les données ont montré que les personnes qui effectuaient ces actions actives étaient plus heureuses, même si elles n'avaient pas nécessairement plus confiance en le bot. C'est la différence entre regarder un film (vérifier) et diriger le film (intervenir). Les directeurs (les interventionnistes) passaient un bien meilleur moment.

Le Fossé « Heureux mais Impuissant »

Voici la partie la plus intéressante de l'histoire. Les utilisateurs de l'étude étaient très satisfaits de leurs chatbots. Leurs scores de satisfaction étaient élevés, avec une moyenne de 4,22 sur 5. Mais lorsqu'on leur a demandé quel sentiment de contrôle ils avaient sur le chatbot, le score est tombé à 3,33.

Les chercheurs appellent cela le « Fossé Satisfaction-Contrôle ». C'est un fossé important, avec une taille statistique de 0,72. Imaginez que vous mangiez un délicieux repas préparé par un chef robotique. Vous adorez le goût (satisfaction élevée), mais vous avez l'impression de n'avoir aucun mot à dire sur la recette, aucun moyen de dire au chef d'ajouter moins de sel la prochaine fois, et aucune idée de la façon dont la nourriture a été préparée (faible contrôle). L'étude a montré que même lorsque le chatbot faisait un excellent travail, les utilisateurs n'avaient pas l'impression d'être ceux qui tenaient la barre. Ils avaient l'impression d'être des passagers, pas des conducteurs.

Ce que les Utilisateurs Veulent Réellement

Lorsque les chercheurs ont demandé aux utilisateurs ce qui les ferait se sentir mieux en utilisant ces chatbots, les réponses étaient claires. Les utilisateurs ne voulaient pas que le chatbot soit simplement « plus intelligent » pour qu'ils n'aient plus à vérifier. Ils voulaient des outils pour les aider à mieux vérifier.

Plus précisément, ils demandaient :

Attribution des sources : « Montre-moi d'où provient ce fait. »
Transparence du processus : « Montre-moi tes étapes de réflexion, pas seulement la réponse. »
Persistance de la correction : « Si je te dis de corriger une erreur, souviens-t'en pour la prochaine fois. »
Mémoire gouvernable : « Laisse-moi voir et modifier ce que tu as appris sur mes préférences. »

Le document suggère qu'au lieu d'essayer de construire des chatbots si parfaits que nous arrêtions de les vérifier, nous devrions construire des chatbots qui rendent la vérification facile et utile. L'objectif n'est pas de supprimer la surveillance de l'utilisateur, mais de la soutenir.

La Conclusion

Ce document renverse la perspective sur notre vision de l'IA. Il suggère que pour les personnes qui utilisent les chatbots quotidiennement, vérifier le travail n'est pas un signe qu'elles ne font pas confiance à l'IA. C'est une partie normale du processus, comme la relecture d'une dissertation. La véritable clé pour rendre les gens heureux n'est pas seulement de construire la confiance, mais de leur donner le pouvoir de corriger, de raffiner et d'approuver le travail de l'IA.

Les auteurs concluent que nous devons cesser de demander : « Comment construire la confiance pour que les utilisateurs arrêtent de vérifier ? » et commencer à demander : « Comment soutenir la vérification que les utilisateurs sont déjà en train de faire ? » En traitant le besoin de l'utilisateur de vérifier et de corriger comme une fonctionnalité plutôt que comme un défaut, nous pouvons construire des chatbots qui ne sont pas seulement intelligents, mais qui sont de véritables partenaires utiles.

Résumé technique : La vérification sans la méfiance

Énoncé du problème

La recherche sur l'interaction humain-IA a traditionnellement opéré sous un paradigme de « calibration de la confiance », postulant que la confiance et la vérification existent sur un continuum inverse unique : à mesure que la confiance envers un système augmente, le besoin pour les utilisateurs de vérifier ses résultats devrait diminuer. Cette hypothèse, héritée de la littérature sur la confiance dans l'automatisation, prescrit que les efforts de conception devraient se concentrer sur la construction d'une « confiance appropriée » afin de rendre la surveillance inutile. Cependant, cet article identifie une lacune empirique critique : cette relation inverse n'a pas été testée directement dans le contexte des interactions quotidiennes, ouvertes et itératives avec les agents conversationnels (chatbots). De plus, la prévalence, la structure et les résultats des pratiques de l'utilisateur du type « humain dans la boucle » (Human-in-the-Loop, HITL) — spécifiquement les travaux spontanés et autodirigés que les utilisateurs effectuent pour gouverner les sorties du chatbot — restent mal spécifiés. L'étude remet en question l'objectif de conception implicite consistant à éliminer la vérification par l'utilisateur, demandant plutôt si la vérification persiste comme une pratique de routine déconnectée des niveaux de confiance.

Méthodologie

L'étude a employé un plan mixte transversal impliquant un sondage auprès de 153 utilisateurs fréquents de chatbots. L'échantillon était majoritairement jeune (56,2 % âgés de 18 à 24 ans), étudiant (69,9 %) et orienté vers les STEM (75,9 % en informatique/TI ou ingénierie), avec une fréquence d'utilisation élevée (67,3 % quotidiennement).

Instrumentation :
Le sondage utilisait une échelle de Likert à 5 points répartie en sept sections, incluant la démographie, les modèles mentaux, la confiance, les comportements de surveillance, le contrôle perçu, la satisfaction et les préférences de conception.

Confiance : Opérationnalisée comme une orientation dispositionnelle généralisée (« Je fais généralement confiance aux réponses du chatbot »).
Comportements de surveillance : Quatre pratiques distinctes du côté de l'utilisateur ont été mesurées :
1. Vérification : Double vérification de l'information avant d'agir.
2. Affinement : Demander au chatbot de reformuler, raccourcir ou améliorer les réponses.
3. Correction : Dire au chatbot lorsqu'il se trompe.
4. Surveillance (Approbation) : Confirmer les actions avant l'exécution automatisée.
Résultats : Mesurés via la facilitation des tâches, le plaisir (composite de satisfaction) et le contrôle perçu (sentiment d'agence).

Analyse :
L'analyse quantitative comprenait des statistiques descriptives, des corrélations de Pearson et de Spearman avec des intervalles de confiance à 95 % transformés par Fisher, ainsi qu'une régression modérée. Les données qualitatives issues de questions ouvertes ont été analysées via une analyse thématique (codeur unique). Des analyses de sensibilité ont été menées pour exclure les participants inéligibles (moins de 18 ans ou non-utilisateurs) et les répondants à faible engagement (réponses identiques sur l'échelle de Likert), confirmant la robustesse des principaux résultats.

Résultats clés

1. Aucune association détectable entre confiance et vérification (RQ1)

Contrairement à la prédiction canonique, l'étude n'a trouvé aucune association détectable entre la confiance et la vérification ( $r = ,01$ , IC à 95 % $[-,15, +.17]$ , $p = ,90$ ). L'intervalle de confiance exclut les relations linéaires inverses modérées. Ce résultat nul s'est maintenu à travers les analyses de sensibilité et les sous-groupes de compétence. La vérification n'est pas un comportement dépendant de la confiance qui diminue à mesure que la confiance croît ; elle apparaît plutôt comme une pratique de routine maintenue indépendamment des niveaux de confiance.

2. Distinction entre surveillance évaluative et interventionniste (RQ2)

L'étude a identifié une hétérogénéité structurelle dans les pratiques de l'utilisateur (HITL) :

Surveillance évaluative (Vérification) : Ne montre aucune association détectable avec la confiance et n'est que faiblement liée à la satisfaction ( $r = ,21$ ).
Surveillance interventionniste (Affinement, Correction, Approbation) : Ces pratiques montrent de faibles corrélations positives avec la confiance et sont fortement liées à la satisfaction (Affinement $r = ,48$ , Surveillance $r = ,39$ , Correction $r = ,38$ ).
Les utilisateurs approuvent largement ces pratiques interventionnistes (67–75 % d'approbation dans les deux catégories supérieures), suggérant que la satisfaction dans l'interaction humain-chatbot est pilotée par la capacité de façonner activement les sorties plutôt que par la réception passive.

3. Le fossé Satisfaction–Contrôle (RQ2)

Une dissociation significative existe entre la satisfaction liée à la tâche et le contrôle perçu. Les utilisateurs rapportent une satisfaction élevée ( $M = 4,22$ ) mais un contrôle perçu nettement inférieur ( $M = 3,33$ ), résultant en un écart moyen à large ( $d = ,72$ ). Des résultats de tâches efficaces n'impliquent pas un sentiment d'agence. L'analyse de régression a indiqué que la confiance et les comportements de surveillance n'expliquent qu'une petite partie de la variance du contrôle perçu, suggérant que les interfaces actuelles ne rendent pas les interventions de l'utilisateur assez « conséquentes » pour générer un sentiment de pilotage.

4. Insights qualitatifs

Les résultats qualitatifs ont révélé que les utilisateurs considèrent principalement les chatbots comme des outils instrumentaux plutôt que comme des collaborateurs. La confiance est conditionnelle et spécifique à des modes de défaillance (ex: déclenchée par des erreurs mathématiques ou des références fabriquées) plutôt que globale. La vérification est décrite comme une « hygiène épistémique de routine » (analogue à la relecture) plutôt que comme une réponse à la méfiance. Les utilisateurs expriment une demande pour une infrastructure épistémique, spécifiquement l'attribution de sources, la transparence du raisonnement et la possibilité d'effectuer des corrections qui persistent à travers les sessions.

Contributions clés

Le document apporte cinq contributions spécifiques :

Preuve empirique : Démontre que, chez les utilisateurs fréquents, la vérification ne présente aucune association détectable avec la confiance, complexifiant le paradigme de la calibration de la confiance.
Distinction théorique : Propose une séparation entre la surveillance évaluative (déconnectée de la confiance, faiblement liée à la satisfaction) et la surveillance interventionniste (faiblement corrélée à la confiance, fortement liée à la satisfaction).
Fossé Satisfaction–Contrôle : Quantifie un écart ( $d = ,72$ ) montrant que des résultats efficaces ne produisent pas de sentiment d'agence.
Synthèse théorique : Recadre le HITL côté utilisateur comme un complément de « processus rapide » au HITL côté système, organisé autour d'une gouvernance épistémique de routine plutôt que de la calibration de la confiance.
Directions de conception : Dérive quatre directions de conception spécifiques fondées sur les besoins des utilisateurs :
- Indices de provenance : Attribution de sources intégrée.
- Transparence du processus : Traces de raisonnement et indicateurs d'incertitude.
- Persistance de la correction : Garantir que les corrections se propagent à travers les tours/sessions.
- Mémoire de préférence gouvernable : Personnalisation inspectable, configurable et réversible.

Signification et affirmations

L'article soutient que l'hypothèse selon laquelle « une meilleure calibration de la confiance réduit la vérification » manque de support empirique dans les contextes conversationnels. Au lieu de cela, il pose que la vérification est une forme de gouvernance épistémique de routine compatible avec la confiance. Les auteurs recadrent la question de conception : de « Comment construire la confiance pour que les utilisateurs arrêtent de vérifier ? » à « Comment soutenir la vérification que les utilisateurs font déjà ? ».

L'étude conclut que la surveillance de l'utilisateur doit être traitée comme un mode d'interaction de premier rang. Plutôt que de tenter d'éliminer le besoin d'intervention de l'utilisateur par la transparence ou la construction de la confiance seule, la conception devrait se concentrer sur l'étayage (scaffolding) des pratiques existantes de vérification, d'affinement et de correction. Cette approche reconnaît que les résultats de tâches efficaces sont distincts de l'agence ressentie, et que le contrôle humain significatif nécessite de rendre les interventions de l'utilisateur lisibles et conséquentes. Les résultats suggèrent que les interfaces de chatbot actuelles, bien que satisfaisantes, échouent souvent à fournir la « conséquentialité » nécessaire pour que les utilisateurs sentent qu'ils pilotent l'interaction.