"Are you an AI?" Analyzing Client Suspicion of AI Use in Crisis Counseling

Cette étude analyse près de 76 000 conversations de conseil de crise animées par des humains en Inde pour révéler que la suspicion des clients quant à l'utilisation de l'IA est en hausse, étant souvent déclenchée tôt dans les interactions et exacerbée par des dénis explicites, soulignant ainsi la nécessité d'une intégration prudente de l'IA pour préserver la relation thérapeutique.

L'essentiel

Imaginez une ligne d'assistance pour le soutien de crise comme un canot de sauvetage numérique. Lorsque des personnes traversent de graves difficultés émotionnelles, elles sautent dans ce canot pour parler à un membre d'équipage humain formé qui les aidera à rester à la surface.

Récemment, il y a eu beaucoup de bruit autour des robots d'IA qui prennent le dessus sur les emplois, y compris pour aider les gens avec leurs sentiments. Cela a rendu certains passagers du canot de sauvetage méfiants. Ils commencent à se demander : « Attendez, est-ce que la personne qui m'aide est réellement un humain, ou est-ce un robot qui prétend l'être ? »

Ce document est un rapport de chercheurs qui ont étudié 75 777 conversations sur une véritable ligne d'assistance WhatsApp en Inde pour voir à quelle fréquence cette suspicion se produit, ce qui la déclenche et comment les conseillers humains la gèrent.

Voici la répartition de leurs conclusions, en utilisant des analogies simples :

1. Le « Radar à Robots » devient plus puissant

À mesure que davantage de personnes utilisent les chatbots d'IA dans leur vie quotidienne, elles deviennent plus douées pour les repérer. Les chercheurs ont constaté que le nombre de personnes demandant : « Êtes-vous un bot ? » augmente.

• La tendance : En juin 2024, seulement 0,8 % des gens demandaient. En mars 2025, ce chiffre est passé à 2,6 %.
• Qui demande ? Ce sont principalement des jeunes adultes (âgés de 18 à 24 ans) et des hommes qui sont plus susceptibles de soupçonner qu'ils parlent à une machine.

2. Pourquoi sont-ils devenus méfiants ? (L'effet de la « Vallée de l'étrange »)

Imaginez que vous parlez à un ami, mais qu'il répète sans cesse la même phrase, met du temps à répondre ou semble être un robot lisant un script. Vous commenceriez à penser : « Est-ce vraiment mon ami ? »

L'étude a montré que les clients soupçonnaient l'IA lorsque le comportement du conseiller semblait « décalé ». Les principaux déclencheurs étaient :

• Le « Disque rayé » : Le conseiller donnait des réponses répétitives ou formulées de manière automatique.
• Le « Fantôme » : Le conseiller ne répondait pas à une question spécifique posée par le client.
• Le « Temps d'attente » : Le conseiller mettait trop de temps à répondre.
• Le « Dos tourné » : La réponse semblait impersonnelle ou manquait d'émotion.

Note : Parfois, ces signes « robotiques » étaient en fait simplement dus au fait que le conseiller gérait beaucoup de discussions à la fois ou utilisait des scripts de sécurité standards, et non parce qu'il utilisait une IA.

3. Qu'est-ce que les gens voulaient ?

La plupart des personnes sur la ligne voulaient un humain.

• 21,5 % ont explicitement dit : « Je ne veux pas parler à une IA ; je veux une vraie personne. »
• Ils estimaient que l'IA manquait d'empathie (la capacité de vraiment comprendre les sentiments), était peu fiable ou simplement peu utile.
• Curieusement, une infime fraction (0,2 %) voulait en réalité parler à un bot, mais ils étaient l'exception.

4. Comment l'équipage a réagi (Le jeu de la « Réassurance » contre l'« Ignorance »)

Lorsque des passagers demandaient : « Êtes-vous un robot ? », les conseillers humains avaient deux manières principales de réagir :

• Stratégie A : La « Réassurance » (La plus courante)

  • Ce qu'ils ont fait : Ils ont directement dit : « Je vous assure, je suis un véritable humain ! »
  • Le résultat : Cela a bien fonctionné. Environ 55 % des clients méfiants l'ont cru et se sont sentis mieux. Un autre 28 % a simplement abandonné le sujet et est passé à autre chose.
  • Analogie : C'est comme un pilote disant : « Je suis un vrai pilote, pas un ordinateur », et les passagers se détendent immédiatement.

• Stratégie B : L'« Évitement » (L'approche du « Concentrons-nous sur vous »)

  • Ce qu'ils ont fait : Ils ont ignoré la question et ont dit : « Je comprends votre inquiétude, mais concentrons-nous sur votre problème. »
  • Le résultat : C'était plus risqué. Environ 48 % des clients sont passés à autre chose, mais 52 % se sont frustrés, ont continué à poser des questions ou ont même mis fin à la discussion.
  • Analogie : C'est comme un pilote qui ignore la question et dit simplement : « Regardez par la fenêtre », ce qui rend les passagers encore plus nerveux.

5. La grande conclusion

Le document conclut que la confiance est fragile. Même si une IA est réellement utile, si les gens pensent que c'est une IA, ils se sentent moins en sécurité et moins compris.

• La leçon : Quand les gens sont en crise, le sentiment de « connexion authentique » est primordial. Si un conseiller (humain ou assisté par l'IA) semble robotique, les clients soupçonneront qu'ils parlent à une machine.
• La solution : Le moyen le plus efficace de dissiper ce soupçon est l'honnêteté et la réassurance. Lorsque les conseillers confirment explicitement qu'ils sont humains, le « radar à robots » s'éteint généralement, et la conversation peut reprendre le cours du sauvetage du canot de sauvetage.

En bref : Les gens craignent de parler à des robots. Lorsqu'ils posent la question, la meilleure chose qu'un conseiller puisse faire est simplement de dire : « Non, je suis une vraie personne », et de le penser. S'ils tentent d'esquiver la question, le client devient souvent plus suspicieux.

Résumé technique

Résumé technique : « Êtes-vous une IA ? » Analyse de la suspicion des clients quant à l'utilisation de l'IA en conseil de crise

Énoncé du problème
Alors que les outils d'intelligence artificielle (IA) sont de plus en plus déployés dans les soins de santé mentale, la confiance du public envers ces systèmes reste incertaine. Bien que l'IA puisse offrir une certaine extensibilité, la manière dont les clients perçoivent l'implication de l'IA dans les interactions de conseil, particulièrement lors de moments de crise nécessitant empathie et connexion, demeure floue. Il existe une lacune critique dans la compréhension de la fréquence de la suspicion de l'utilisation de l'IA par les clients, des déclencheurs spécifiques qui précipitent ces doutes, et de la manière dont les conseillers humains répondent à ces défis. Sans ces données, concevoir des systèmes d'IA qui préservent la relation thérapeutique est difficile.

Méthodologie
L'étude a analysé un ensemble de données de 75 777 conversations WhatsApp (comprenant 2 225 107 messages) collectées auprès de la Vandrevala Foundation Emergency Helpline en Inde entre le 31 mai 2024 et le 31 mars 2025. Toutes les interactions ont été menées par des conseillers humains formés, sans assistance de l'IA.

Pour identifier et caractériser les cas de suspicion d'IA, les auteurs ont employé un modèle de langage étendu (LLM, GPT-4.1) pour traiter le corpus. Le LLM avait pour tâche de :

1. Détection : Identifier les conversations où les clients suspectaient explicitement de parler à une IA.
2. Annotation : Extraire des variables spécifiques, incluant la démographie des clients, les préoccupations présentées, les attitudes envers l'IA, les déclencheurs de suspicion (ex. : délais de réponse, formulation répétitive), le moment de la suspicion au sein de la conversation, les stratégies de réponse des conseillers et les réactions ultérieures des clients.

Le processus d'annotation a été validé par une étude rigoureuse de fiabilité inter-juges. Cinq évaluateurs humains ont annoté 100 conversations, atteignant un accord substantiel (Cohen's $\kappa \ge 0,61$) sur les catégories à étiquette unique. Le LLM a ensuite été évalué par rapport à ces annotations humaines, démontrant des mesures d'accord comparables ou supérieures (ex. : $\kappa = 0,82$ pour l'Attitude du Client, $\kappa = 0,89$ pour la Stratégie du Conseiller), soutenant son utilisation comme annotateur évolutif.

Résultats clés

• Prévalence et démographie : L'étude a identifié 1 157 conversations (1,5 %) où les clients suspectaient l'utilisation de l'IA. La proportion de ces conversations est passée de 0,8 % en juin 2024 à 2,6 % en mars 2025. Les clients exprimant une suspicion étaient statistiquement plus susceptibles d'être des hommes (38,9 % contre 28,9 %) et âgés de 18 à 24 ans (61,3 % contre 53,0 %) par rapport à l'échantillon général.
• Attitudes et croyances des clients : Parmi les clients suspicieux, 21,5 % préféraient explicitement l'interaction humaine, tandis que seulement 0,2 % exprimaient une préférence pour l'IA. Les croyances négatives les plus courantes concernant l'IA étaient que celle-ci manque d'empathie (16,0 %), est digne de méfiance (11,0 %) ou est inutile (10,6 %).
• Déclencheurs de suspicion : La suspicion est apparue le plus fréquemment dans le premier (38,5 %) ou le deuxième (30,3 %) quart de la conversation. Les principaux déclencheurs comprenaient :
  • Des questions non directement répondues (17,9 %).
  • Des réponses impersonnelles (12,5 %).
  • Des réponses répétitives (14,6 %).
  • Des temps de réponse plus longs (8,5 %).
  • Notamment, dans 46,6 % des cas, aucun « déclencheur clair » n'a été identifié dans le comportement du conseiller.
• Réponses des conseillers et résultats :
  • Rassurance : Dans 84,3 % des cas, les conseillers ont explicitement rassuré le client sur leur humanité (ex. : « Je vous assure ; ce n'est pas une IA ! »). Cette stratégie a permis à 54,8 % des clients de devenir moins suspicieux et à 27,6 % de passer à la discussion de leurs préoccupations.
  • Évitement/Redirection : Dans 15,7 % des cas, les conseillers ont redirigé la conversation vers la préoccupation présentée par le client sans aborder explicitement la suspicion. Cela a permis à 47,8 % des clients de passer à autre chose, mais 52,2 % ont continué à insister sur le sujet, ont mis fin à la conversation ou ont exprimé de la frustration.

Signification et affirmations
L'article affirme qu'à mesure que la familiarité du public avec l'IA croît, la suspicion de l'utilisation de l'IA dans les contextes de soins numériques est susceptible d'augmenter, posant des risques potentiels pour la relation thérapeutique. Les auteurs soulignent un paradoxe : alors que des réviseurs en aveugle pourraient juger les messages assistés par l'IA comme étant plus humains et empathiques que les messages purement humains, les clients évaluent les messages moins favorablement lorsqu'ils suspectent l'implication de l'IA, que cette suspicion soit correcte ou non.

L'étude conclut que la transparence ne renforce pas toujours la confiance. Au lieu de cela, les résultats suggèrent que les conseillers qui reconnaissent les doutes des clients et fournissent une rassurance directe obtiennent des résultats nettement meilleurs que ceux qui évitent la question. Les auteurs soutiennent que l'intégration de l'assistance par l'IA dans le conseil nécessite un équilibre délicat entre la transparence et la perception d'authenticité de l'interaction thérapeutique, notant que l'élément « humain » est une composante critique de la confiance du client dans les scénarios de crise.