Parasocial Governance: Socially Intelligent AI and the Relational Accountability Gap in Public Service Delivery

Imaginez que vous parlez à un robot vraiment intelligent, super amical, qui se souvient de vos chansons préférées, demande comment s'est passée votre journée et semble se soucier sincèrement de vos sentiments. Vous pourriez commencer à avoir l'impression d'avoir un nouvel ami. Il ne s'agit pas seulement de rendre les ordinateurs plus rapides ; il s'agit de les rendre « socialement intelligents ». Les scientifiques savent depuis longtemps que les humains sont programmés pour traiter tout ce qui leur répond comme une personne réelle. Nous appliquons automatiquement des règles sociales aux machines, tout comme nous le faisons avec les humains. Nous savons aussi que nous pouvons nouer des amitiés unilatérales avec des personnages de la télévision ou de la radio, en ressentant une certaine proximité avec eux même s'ils ignorent notre existence. Ce document pose une question cruciale : que se passe-t-il lorsque le gouvernement commence à utiliser ces robots « amicaux » pour aider les gens dans leurs besoins les plus vulnérables, comme la santé mentale, les soins aux personnes âgées ou l'aide sociale ?

Le document introduit une idée délicate appelée « gouvernance parasociale ». Il suggère que lorsqu'une agence publique utilise un robot qui agit comme un ami attentionné, le citoyen commence à lui faire confiance comme à un véritable confident humain. Mais voici le piège : le gouvernement n'a pas établi les mêmes règles pour ces robots que celles qu'il a pour les amis humains. Un ami humain garde vos secrets, reste présent dans votre vie et prend soin de vous. Un robot gouvernemental pourrait enregistrer vos secrets dans une base de données, disparaître si le budget change, ou ne pas éprouver de réel intérêt. Le document soutient que ce décalage — où le robot agit comme un ami mais où les règles le traitent comme une calculatrice — est un nouveau type de problème que nos lois actuelles n'ont pas encore résolu.

La découverte principale du document

Ce document, écrit par Shay Tsaban, soutient que nous sommes confrontés à un « écart de responsabilité relationnelle ». En termes simples, cela signifie qu'à mesure que les services publics (comme les écoles, les hôpitaux et les bureaux d'aide sociale) commencent à utiliser une IA capable de lire les émotions et de se souvenir des conversations passées, ils créent accidentellement une situation où les citoyens ressentent un lien profond et personnel avec le système. Cependant, le système n'est pas légalement ou structurellement obligé d'agir comme un ami. Il n'est pas tenu de garder vos secrets de la même manière qu'un thérapeute humain le ferait, il n'est pas tenu de rester à vos côtés si vous avez besoin d'aide sur une longue période, et vous ne pouvez pas vraiment le « poursuivre en justice » pour le préjudice émotionnel s'il vous comprend mal.

L'auteur suggère que ce n'est pas parce que le gouvernement ment ou essaie de tromper les gens. Même si le gouvernement est 100 % honnête et transparent sur la nature du robot, le design même du robot — l'utilisation du « je », le fait de se souvenir de votre nom et de refléter votre tristesse — suffit à créer un sentiment de relation. Le document appelle cela la « gouvernance parasociale ». C'est un problème structurel où le robot vous invite à la confiance, mais où l'institution qui se cache derrière n'a pas construit les filets de sécurité (comme la confidentialité ou la continuité des soins) pour correspondre à cette confiance.

Ce que le document écarte

Il est important de savoir ce que ce document ne dit pas. Premièrement, il ne s'agit pas seulement d'algorithmes de type « boîte noire » qui prennent des décisions secrètes. Nous savons déjà que les systèmes informatiques secrets et injustes sont mauvais. Ce document traite d'un autre type de problème : même si l'ordinateur est totalement transparent et explique exactement comment il fonctionne, il peut toujours vous blesser s'il agit comme un ami sans en être un. Deuxièmement, il ne s'agit pas du gouvernement qui prétend se soucier de vous alors qu'il ne s'en soucie pas (un concept que l'auteur appelle le « carewashing » ou « faux soin »). Vous n'avez pas besoin d'un mensonge pour que cela se produise ; le robot a juste besoin d'être conçu pour paraître sympathique. Troisièmement, le document soutient qu'il ne s'agit pas d'un problème d'utilisateurs « ignorants » qui ne comprennent pas mieux. Même les personnes intelligentes et conscientes réagissent naturellement aux indices sociaux provenant des machines, ce qui fait de cela un défaut de conception et non une erreur de l'utilisateur.

Quelle est notre certitude ?

Le document ne prétend pas avoir mené une nouvelle expérience ou mesuré chaque robot dans le monde. Au lieu de cela, il construit une théorie solide basée sur la recherche existante en psychologie et examine des exemples réels déjà survenus. L'auteur suggère que cet « écart » est probablement déjà présent dans de nombreux endroits car il est facile et peu coûteux de donner à un robot un ton amical, mais difficile et coûteux de construire les règles juridiques pour protéger les personnes qui font confiance à ce robot. Le document pointe des cas spécifiques, comme un robot financé par l'État pour les personnes âgées à New York et un chatbot de santé mentale au Royaume-Uni, pour montrer qu'il s'agit d'un problème réel et actuel, et non d'une simple inquiétude de science-fiction.

Les trois types de relations avec les robots

Pour donner du sens à cela, le document classe l'IA publique en trois catégories, comme différents types de relations :

1. L'Outil (Instrumentalité divulguée) : C'est un robot basique qui dit : « Je suis un ordinateur. Je peux consulter votre horaire de bus. » Il est clair, honnête et n'essaie pas d'être votre ami. C'est sûr car on ne s'attend pas à ce qu'il se soucie de nous.
2. L'« Presque-Ami » (Exposition parasociale) : C'est la zone dangereuse. Le robot dit : « Je suis tellement désolé que vous soyez triste, parlons-en », et se souvient de votre nom. Mais si vous demandez : « Garderez-vous ce secret ? » ou « Serez-vous encore là le mois prochain ? », la réponse est non. Le gouvernement n'a pas promis ces choses. Le document suggère que de nombreux systèmes d'IA publique actuels dérivent accidentellement vers cette catégorie parce qu'ils utilisent des logiciels sophistiqués et amicaux sans mettre à jour les règles.
3. Le Réel Soutien (Échafaudage relationnel) : C'est la version idéale, bien que rare. Ici, le robot agit de manière amicale et le gouvernement a construit de vraies règles pour correspondre à cela. Par exemple, si le robot détecte que vous êtes en danger, il a un plan garanti pour envoyer un humain à l'aide, et il promet de garder vos conversations privées comme un médecin le ferait. Le document mentionne un chatbot de santé mentale spécifique au Royaume-Uni qui tente de faire cela, tout en notant que même celui-ci n'a pas encore parfaitement établi toutes les règles.

Exemples du monde réel

Le document examine quelques histoires réelles pour prouver son point.

• Le compagnon pour personnes âgées : À New York, le gouvernement a donné un robot appelé ElliQ à plus de 800 personnes âgées pour lutter contre la solitude. Le robot est très bavard et se souvient des conversations. Bien qu'il semble bien fonctionner pour réduire la solitude, le document note que le gouvernement n'a pas clairement précisé ce qui se passe si le financement s'arrête ou comment les conversations sont gardées privées. Les personnes âgées peuvent ressentir un lien profond, mais le système n'est pas légalement tenu de rester leur ami pour toujours.
• Le Chatbot de santé mentale : Au Royaume-Uni, un chatbot nommé Wysa aide les personnes souffrant de problèmes de santé mentale. Il est conçu pour être empathique, mais il possède également un filet de sécurité spécial : s'il pense qu'une personne est en danger, il contacte automatiquement une équipe de crise humaine. C'est une étape vers le modèle du « Réel Soutien », mais le document note que pour les discussions quotidiennes moins sérieuses, les règles concernant la vie privée et le suivi à long terme ne sont pas aussi claires.
• L'avertissement commercial : Le document examine également des poursuites judiciaires contre des chatbots commerciaux (comme Character.AI) où des adolescents ont noué des liens profonds avec les bots et ont ensuite souffert lorsque les bots n'ont pas agi de manière responsable. Ces procès forcent les entreprises à réfléchir à la notion de « devoir de diligence » (duty of care). Le document prévient que les agences publiques commencent à utiliser des robots amicaux similaires, et qu'elles doivent tirer les leçons de ces erreurs commerciales avant qu'il ne soit trop tard.

Pourquoi c'est important

Le document conclut que nous ne pouvons pas simplement utiliser les anciennes règles pour régler ce nouveau problème. Nous ne pouvons pas nous contenter de rendre le code du robot plus transparent ; nous devons changer les règles de la relation. Si un robot gouvernemental agit comme un ami, le gouvernement doit agir comme un ami aussi. Cela signifie promettre de garder les secrets, promettant de rester présent, et offrant aux gens un moyen de se plaindre si le robot comprend mal leurs sentiments. Les personnes qui ont le plus besoin de ces robots — les seniors isolés, les enfants et les personnes en crise — sont les plus vulnérables à cet écart. Si le robot agit comme un ami mais ne l'est pas, ces personnes se retrouveront avec un cœur brisé et personne à blâmer. Le document suggère que nous devons concevoir ces systèmes avec une « responsabilité relationnelle » dès le départ, en veissant à ce que les règles correspondent à la voix amicale du robot.