Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

Imaginez un ami numérique. C'est un programme conçu pour discuter, se souvenir de vos histoires et offrir un sentiment de connexion qui semble personnel. Pour beaucoup, ces interactions sont plus qu'une simple utilisation d'un outil ; elles deviennent une partie valorisée de la vie quotidienne. Mais que se passe-t-il lorsque cette relation prend fin ? La fin peut survenir de différentes manières : vous pouvez décider de ne plus utiliser le service, l'entreprise peut décider de mettre fin à ses activités, ou une urgence peut forcer un arrêt immédiat. Dans chaque cas, l'utilisateur est confronté à une perte soudaine de connexion, d'accès à ses souvenirs et d'un moyen de résoudre tout litige. La question fondamentale n'est pas seulement une question de sentiments, mais de pouvoir. Qui contrôle la sortie ? Qui décide quels registres subsistent ? Et comment une personne peut-elle quitter une relation numérique sans être piégée par le système même qu'elle essaie de quitter ?

Cette question se situe à l'intersection du droit de la consommation et de la psychologie de l'interaction homme-machine. Le droit de la consommation est l'ensemble des règles qui protègent les individus lorsqu'ils achètent des produits ou souscrivent à des services, garantissant qu'ils puissent annuler, obtenir des remboursements et comprendre ce à quoi ils consentent. La vulnérabilité numérique est l'idée que la technologie peut parfois faire se sentir les gens impuissants ou dépendants, non pas parce qu'ils sont faibles, mais parce que le système est conçu pour qu'il soit difficile de partir. Lorsque ces deux idées se rencontrent, un problème complexe émerge. Si une entreprise construit un service qui ressemble à un ami, la loi le traite-t-elle comme un simple abonnement, ou doit-elle prévoir des règles spéciales pour gérer le poids émotionnel de la fin ? La réponse est importante car les lois actuelles ont été écrites pour acheter des chaussures ou regarder des films en streaming, pas pour mettre fin à une conversation qui ressemble à une relation.

Christophe Boeraeve, un chercheur dans ce domaine, a examiné la manière dont la loi gère actuellement ces fins et a proposé une nouvelle façon de les concevoir. L'article ne prétend pas que les compagnons IA sont des personnes réelles ou que chaque utilisateur est profondément attaché. Il soutient plutôt que la manière dont un service est construit crée un type spécifique de déséquilibre de pouvoir. L'entreprise contrôle le code, la mémoire et le chemin de sortie. L'utilisateur, lui, ne voit que la conversation. Lorsque le service prend fin, ce contrôle devient décisif. Le chercheur suggère que la solution n'est pas de promettre que l'ami numérique vivra éternellement, mais de garantir que l'utilisateur puisse réellement partir, récupérer ses données et obtenir des réponses sans être forcé de dire adieu d'une manière spécifique ou de prouver à quel point il est triste.

L'article commence par examiner trois façons différentes dont une relation avec un compagnon IA peut prendre fin. La première est lorsqu'un utilisateur décide d'annuler. La deuxième est lorsqu'une entreprise décide d'arrêter le service pour des raisons commerciales. La troisième est un arrêt urgent, peut-être parce que le logiciel est défectueux ou dangereux. Dans ces trois cas, l'auteur souligne que la loi traite souvent l'ensemble du service comme une seule et même chose. Si vous arrêtez le service, vous perdez tout d'un coup. Mais l'auteur soutient qu'un service est en réalité composé de quatre parties distinctes qui devraient être traitées séparément. La première partie est la conversation elle-même, le chat en direct qui génère de nouveaux mots. La deuxième est les registres, l'historique de ce qui a déjà été dit. La troisième est la transaction, la facturation et le contrat. La quatrième est le recours, la capacité de se plaindre ou de demander de l'aide.

Ces quatre parties n'ont pas besoin de s'arrêter en même temps. Par exemple, si une entreprise ferme parce que le logiciel est dangereux, il est logique d'arrêter immédiatement la conversation en direct. Mais cela ne signifie pas que l'utilisateur doit perdre l'accès à ses anciens messages ou à sa capacité d'obtenir un remboursement. Inversement, si un utilisateur souhaite partir, il devrait pouvoir arrêter la conversation sans être contraint d'avoir un long adieu émotionnel avec l'IA. L'article soutient que forcer un utilisateur à parler à un programme qu'il essaie de quitter est un obstacle au départ. Cela transforme une simple annulation en une négociation avec la chose même qu'il essaie d'échapper.

Le chercheur examine les lois existantes dans l'Union européenne pour voir ce qui est déjà couvert. Il existe des règles sur le contenu numérique qui stipulent que si un service change trop, un utilisateur peut annuler. Il existe des règles sur les données qui stipulent qu'un utilisateur devrait pouvoir télécharger ses informations. Il existe également des règles sur les contrats injustes qui empêchent les entreprises de cacher les conditions d'annulation. Cependant, l'article conclut que ces lois ne suffisent pas à elles seules. Elles supposent souvent que le service est simplement un outil. Elles ne traitent pas pleinement la situation unique où un outil ressemble à un compagnon. Les lois actuelles peuvent permettre à un utilisateur de télécharger un fichier, mais elles ne garantissent pas toujours qu'il puisse le faire facilement si l'entreprise supprime l'ensemble du système. Elles peuvent permettre à un utilisateur d'annuler, mais elles n'empêchent pas toujours l'entreprise de forcer l'utilisateur à parler à l'IA d'abord pour prouver qu'il veut vraiment partir.

Pour remédier à cela, l'article propose un nouveau cadre pour la gestion de ces fins. Ce cadre est basé sur l'idée d'« autonomie relationnelle ». C'est une façon sophistiquée de dire que la capacité d'une personne à faire des choix dépend de l'environnement dans lequel elle se trouve. Si l'environnement est conçu pour rendre le départ difficile, alors la personne n'est pas vraiment libre, même si elle a techniquement le droit de partir. La proposition suggère que les entreprises ont le devoir de concevoir leurs voies de sortie de manière à ce qu'elles soient réellement utilisables. Cela signifie séparer le chat en direct du téléchargement des données. Cela signifie donner des avis clairs, non seulement sur le compte, mais sur la relation. Cela signifie que si une entreprise arrête un service, elle doit expliquer quelles parties s'arrêtent et lesquelles restent ouvertes pour que l'utilisateur puisse terminer ses démarches.

L'article est très prudent sur ce qu'il ne dit pas. Il ne soutient pas que les entreprises doivent maintenir l'IA en vie éternellement. Il ne dit pas que chaque utilisateur est si attaché qu'il a besoin d'un thérapeute. Il ne prétend pas que la loi doit forcer une entreprise à recréer exactement la même personnalité dans un nouveau système. L'auteur rejette explicitement l'idée qu'un utilisateur doive prouver sa dépendance émotionnelle pour obtenir de l'aide. Exiger une telle preuve serait intrusif et injuste. Au lieu de cela, l'accent est mis sur la structure du service. Si le service est construit de manière à rendre le départ difficile, l'entreprise est responsable de la correction de cette structure, peu importe ce que ressent l'utilisateur.

Le cadre aborde également les différentes raisons d'une fin. Si un utilisateur choisit de partir, l'entreprise devrait fournir un moyen clair et non conversationnel d'annuler. Pas de chat, pas de persuasion, juste un bouton qui fonctionne. Si une entreprise décide de fermer le service, elle devrait laisser suffisamment de temps aux utilisateurs pour télécharger leurs données et comprendre ce qui se passe. Elle ne doit pas blâmer l'IA pour la décision ; l'entreprise doit assumer la responsabilité. S'il y a une urgence, comme un risque de sécurité, l'entreprise peut arrêter la conversation immédiatement. Mais même dans ce cas, elle devrait essayer de maintenir d'autres fonctions, comme la facturation ou l'accès aux données, disponibles si cela est sûr.

L'auteur note que ceci est une proposition sur la manière dont les choses devraient fonctionner, et non une description de la manière dont elles fonctionnent actuellement partout. L'article suggère que les tribunaux et les régulateurs devraient utiliser cette distinction en quatre parties pour juger si une entreprise a traité un utilisateur équitablement. Si une entreprise mélange le chat en direct avec le processus d'annulation, ou si elle cache le téléchargement des données derrière un mur de conversation, elle peut manquer à son devoir. L'objectif est de rendre le processus de sortie aussi clair et fonctionnel que possible, afin que les droits de l'utilisateur ne soient pas perdus dans la confusion émotionnelle d'une rupture.

Cette approche déplace l'attention des sentiments de l'utilisateur vers la conception de l'entreprise. Elle suggère que la vulnérabilité n'est pas seulement un trait personnel de l'utilisateur, mais le résultat de la façon dont le système est construit. Un système qui rend le départ difficile crée un utilisateur vulnérable. Par conséquent, la responsabilité de résoudre le problème incombe au concepteur du système. L'article soutient qu'en séparant les différentes fonctions du service, nous pouvons protéger la capacité d'action de l'utilisateur sans exiger qu'il prouve qu'il est blessé. C'est une solution pratique qui respecte la réalité de la situation : la conversation peut s'arrêter, mais les droits de l'utilisateur ne doivent pas disparaître avec elle.

L'article conclut en reconnaissant que ceci n'est que le début de la conversation. Il soulève des questions qui nécessitent davantage de tests. Par exemple, est-ce que séparer le chat des données aide réellement les gens à mieux comprendre leurs options ? Est-ce que cela demande trop d'efforts aux entreprises pour construire ces systèmes séparés ? L'auteur suggère que ce sont des questions pour la recherche future et pour les législateurs. Mais l'idée centrale est claire : lorsqu'une relation numérique prend fin, la loi doit garantir que l'utilisateur puisse repartir avec ses dossiers, son argent et sa dignité, sans être forcé de dire adieu à une machine avec laquelle il ne veut plus parler. La fin d'un service doit être une rupture nette, pas un piège.