Evaluating Transformer Models for Suicide Risk Detection on Social Media

Chaque année, des centaines de milliers de personnes mettent fin à leurs jours, une tragédie qui laisse souvent derrière elle une trace de tentatives non signalées et une douleur durable pour les familles et les communautés. À l'ère numérique, l'histoire de la manière dont les individus en arrivent à ce point s'écrit de plus en plus sur la place publique des réseaux sociaux. Des plateformes comme Reddit hébergent des milliers de publications où des individus partagent leurs pensées les plus sombres, décrivant parfois explicitement des plans pour mettre fin à leurs jours, d'autres fois suggérant une lutte silencieuse. Pour les professionnels de la santé mentale, le défi est immense : comment peuvent-ils trouver ces appels à l'aide parmi les milliards de publications quotidiennes, et comment peuvent-ils faire la différence entre quelqu'un qui pense au suicide et quelqu'un qui planifie activement son acte ? C'est ici que le domaine du traitement du langage naturel intervient, utilisant des programmes informatiques entraînés pour lire et comprendre le texte humain. Ces outils ne remplacent pas le jugement humain, mais ils offrent un moyen de scanner de vastes quantités d'informations rapidement, en recherchant des motifs spécifiques qui signalent un danger. L'objectif n'est pas de prédire l'avenir avec certitude, mais d'identifier le risque assez tôt pour offrir un soutien à ceux qui pourraient autrement être négligés.

Une équipe de chercheurs de Pologne, travaillant sous le nom de kubapok, a récemment mis cette idée à l'épreuve lors d'une compétition mondiale conçue pour améliorer la façon dont les machines détectent le risque de suicide. Ils ont participé à l'IEEE BigData 2024 Cup, un défi qui demandait aux participants de construire un système capable de lire des publications sur les réseaux sociaux et de les classer en quatre catégories distinctes. La première catégorie, appelée indicateur, couvre les publications qui mentionnent le suicide mais ne présentent pas de risque immédiat, comme quelqu'un parlant de la lutte d'un ami. La deuxième, l'idéation, capture les publications où une personne pense au suicide mais n'a pas de plan spécifique. La troisième, le comportement, décrit les publications où la personne a un plan ou s'engage dans des actions d'automutilation. La dernière catégorie, la tentative, est réservée aux publications décrivant des tentatives de suicide passées qui n'ont pas entraîné la mort. Les chercheurs ont reçu un ensemble de données comprenant des milliers de publications réelles provenant de Reddit, certaines étiquetées avec ces catégories et d'autres laissées sans étiquette, et ils ont dû apprendre à un ordinateur à faire ces distinctions avec précision.

Pour résoudre ce problème, l'équipe a expérimenté trois approches différentes utilisant des modèles informatiques avancés connus sous le nom de transformers. Ce sont de grands systèmes qui ont lu de vastes quantités de texte et appris comment le langage fonctionne. La première approche utilisait un modèle appelé DeBERTa, qui agit comme un lecteur analysant le texte pour en comprendre le sens. L'équipe a entraîné ce modèle sur les publications étiquetées pour voir s'il pouvait apprendre les différences entre les quatre niveaux de risque. La deuxième approche utilisait un modèle beaucoup plus grand et plus puissant appelé GPT-4o, mais cette fois, ils ne l'ont pas entraîné sur les données spécifiques. Au lieu de cela, ils ont donné au modèle un ensemble d'exemples et lui ont demandé de raisonner étape par étape, une méthode connue sous le nom de "chain-of-thought prompting" (chaîne de pensée), espérant que les connaissances existantes du modèle seraient suffisantes. La troisième approche utilisait également le modèle GPT-4o, mais cette fois, ils l'ont réellement entraîné sur le jeu de données spécifique de la compétition, permettant au modèle d'ajuster ses paramètres internes pour mieux s'adapter à la tâche.

Les résultats de leurs expériences ont révélé un vainqueur clair. Bien que le modèle DeBERTa entraîné ait bien performé, et que le modèle GPT-4o non entraîné ait eu du mal à faire des distinctions précises même avec de nombreux exemples, la version de GPT-4o qui a été spécifiquement entraînée sur les données de la compétition s'est avérée la plus efficace. Ce modèle affiné a atteint la plus haute précision dans l'identification de la bonne catégorie de risque pour chaque publication. Lorsque les résultats finaux ont été comptabilisés, la solution de l'équipe, basée sur ce modèle entraîné, a décroché la deuxième place sur treize équipes ayant atteint l'évaluation finale, terminant juste derrière la première équipe. Les chercheurs ont constaté que le modèle entraîné était cohérent et fiable, alors que leurs autres tentatives montraient plus de variations de performance. Ce résultat suggère que même un modèle informatique à usage général, lorsqu'il reçoit un ensemble spécifique d'exemples à apprendre, peut devenir un outil hautement efficace pour repérer les nuances subtiles entre quelqu'un qui pense au suicide et quelqu'un qui est en danger immédiat.

Malgré ce succès, les chercheurs veillent à souligner les limites de ce que leur système peut faire. Les données qu'ils ont utilisées provenaient entièrement de publications publiques sur Reddit, collectées durant une période spécifique incluant la pandémie mondiale. Cela signifie que le système pourrait moins bien fonctionner sur d'autres plateformes ou avec des personnes qui n'utilisent pas les réseaux sociaux de la même manière. De plus, les données de la compétition manquaient du contexte riche qu'un médecin humain utiliserait, tel que l'historique médical complet d'un patient ou une conversation en face à face. Le système n'a vu que le texte d'une seule publication, sans les commentaires environnants ou l'activité précédente de l'utilisateur qui auraient pu fournir des indices cruciaux. Les auteurs soutiennent que pour que ces outils soient véritablement efficaces pour sauver des vies, les futurs ensembles de données devront être construits avec des normes plus rigoureuses, impliquant peut-être une collaboration directe avec des professionnels de la santé mentale pour vérifier les niveaux de risque des personnes publiant. D'ici là, ces modèles servent d'assistants puissants, capables de scanner le bruit numérique pour trouver les signaux qui comptent, mais ils ne sont pas un remplacement pour les soins nuancés fournis par les experts humains.