Scoping review of governance, privacy, and design in AI- supported conversational agents for perinatal mental health
Cette revue de portée portant sur 35 études révèle que, bien que les agents conversationnels assistés par l'IA pour la santé mentale périnatale évoluent rapidement vers des architectures avancées, ils souffrent d'un « paradoxe de l'IA périnatale » critique caractérisé par une gouvernance, des mesures de protection de la vie privée et une inclusivité inadéquates, ce qui incite à la proposition de huit normes minimales pour donner la priorité à la sécurité et à l'équité dans leur développement.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les défis de la santé mentale pendant la grossesse et durant la première année suivant la naissance sont courants, affectant une partie significative de parents à travers le monde, pourtant beaucoup peinent à trouver une aide rapide. Ces dernières années, la technologie a offert une solution potentielle grâce aux agents conversationnels : des programmes informatiques conçus pour discuter avec les utilisateurs via du texte ou de la voix, fournissant des informations, un soutien émotionnel et des conseils. Ces outils numériques promettent d'être disponibles à toute heure, offrant un espace privé pour que les parents puissent discuter de craintes sensibles concernant leur état mental ou le bien-être de leur bébé. Cependant, comme ces conversations peuvent impliquer des sujets profondément personnels et parfois dangereux, tels que des pensations d'automutilation ou de violence, la sécurité et la confidentialité de ces systèmes sont critiques. La question n'est plus seulement de savoir si ces chatbots peuvent parler, mais s'ils sont construits et gouvernés suffisamment bien pour être dignes de confiance lors des moments les plus vulnérables de la vie d'un parent.
Une équipe de chercheurs de l'Université James Cook en Australie s'est donné pour mission d'examiner l'état actuel de ces outils d'intelligence artificielle spécifiquement pour la santé mentale périnatale. Ils ont mené une revue exhaustive d'études scientifiques publiées entre 2015 et 2025, fouillant à travers des milliers de dossiers pour trouver des rapports sur la manière dont ces chatbots sont conçus, comment ils gèrent les données des utilisateurs et comment ils sont testés. L'équipe a analysé 35 études décrivant 30 systèmes de chatbots uniques utilisés dans 14 pays différents. Leur objectif était de cartographier le paysage de ces outils, en regardant au-delà de la simple question de savoir s'ils fonctionnent, pour comprendre qui ils servent, comment ils sont protégés et ce qui se passe lorsqu'un utilisateur est en crise.
Les chercheurs ont découvert que la technologie derrière ces chatbots évolue rapidement. Pendant longtemps, la plupart des systèmes reposaient sur des instructions simples basées sur des règles, où l'ordinateur suivait un ensemble fixe de commandes « si ceci, alors cela » pour générer des réponses. Cependant, ces dernières années, de nouveaux systèmes ont commencé à utiliser des modèles de langage étendus, qui sont des programmes informatiques avancés entraînés sur de vastes quantités de texte pour génire des conversations plus naturelles et flexibles. Bien que ces nouveaux outils puissent paraître plus humains et mieux s'adapter à la situation spécifique d'un utilisateur, la revue a révélé un décalage troublant. Les systèmes utilisant la technologie la plus avancée possédaient souvent les protections de sécurité et de confidentialité les plus faibles.
Lorsque les chercheurs ont examiné la manière dont ces systèmes gèrent les informations privées, le tableau était sombre. Aucune des études n'a rapporté l'utilisation de méthodes avancées pour sécuriser les données, telles que le traitement de l'information directement sur le téléphone de l'utilisateur sans l'envoyer vers un serveur central, ou l'utilisation de techniques mathématiques pour masquer les détails individuels tout en permettant à l'ordinateur d'apprendre. Au lieu de cela, près de la moitié des systèmes dépendaient de services commerciaux fournis par des entreprises extérieures pour traiter les conversations. Cela signifie que des détails sensibles sur l'état mental d'un parent étaient souvent envoyés via Internet vers des serveurs tiers, avec peu de transparence sur l'endroit où ces données allaient, qui pouvait les voir, ou combien de temps elles étaient conservées. De plus, la plupart des études n'expliquaient pas clairement comment elles obtenaient la permission des utilisateurs pour utiliser leurs données, et très peu décrivaient comment elles mettraient à jour le comportement du système après son lancement.
La revue a également mis en évidence une lacune importante concernant les personnes pour lesquelles ces outils sont conçus. La grande majorité des chatbots ont été construits exclusivement pour les mères, ignorant souvent les pères, les partenaires de même sexe ou les parents non-gestants. Seule une poignée de systèmes a tenté d'inclure les pères, et encore moins ont pris en compte la relation complexe entre les partenaires. De plus, la plupart des outils fonctionnaient uniquement en anglais et nécessitaient une connexion internet robuste, laissant de côté les parents dans des zones reculées ou ceux ayant un accès limité à la technologie. Ce ciblage étroit signifie que les bénéfices de ces outils numériques ne parviennent pas aux diverses familles qui en ont le plus besoin.
L'aspect le plus critique concernait la gestion des urgences. Lorsqu'un parent exprime des pensées de suicide ou de préjudice envers son bébé, la réponse du chatbot est une question de vie et de sécurité. Les chercheurs ont constaté que, bien que certains systèmes puissent détecter automatiquement ces signaux de crise, presque aucun n'avait un plan fiable pour connecter l'utilisateur à un auxiliaire humain. Dans de nombreux cas, le système pourrait signaler une crise, mais ne rien faire ensuite, ou fournir une liste générique de numéros de téléphone sans s'assurer que l'utilisateur a réellement joint une personne. Seule une étude a décrit un système garantissant qu'un humain assurerait un suivi auprès d'un utilisateur dans un délai précis après la détection d'une crise. Les autres opéraient sans ce filet de sécurité, laissant les utilisateurs en danger sans chemin clair vers une aide professionnelle.
Les chercheurs ont décrit cette situation comme un paradoxe : à mesure que la technologie devient plus sophistiquée et capable de conversations complexes, les garde-fous qui garantissent sa sécurité deviennent moins cohérents. Les systèmes plus anciens et plus simples avaient souvent des règles plus claires pour la confidentialité et la supervision humaine, tandis que les nouveaux systèmes, plus flexibles, étaient souvent construits avec moins d'attention portée à ces protections critiques. La revue conclut que le développement rapide de ces outils a dépassé l'établissement de normes responsables. Les auteurs proposent un ensemble de règles de sécurité minimales pour l'avenir, suggérant que les développeurs, les médecins et les décideurs politiques doivent donner la priorité à la sécurité, à la confidentialité et à l'inclusivité dès le début du processus de conception. Ils soutiennent que pour que ces outils soient véritablement utiles, ils doivent être prouvés sûrs et efficaces pour des personnes réelles en situations de crise réelle avant d'être largement approuvés, garantissant ainsi que la promesse d'un soutien numérique ne se fasse pas au détriment de la sécurité des parents.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.