The methodology of Constructing the Large-Scale Dataset for Detecting Presuicidal and Anti-Suicidal Signals in Social Media Texts in Russian

Imaginez l'internet comme une immense place du village numérique, trépidante, où des millions de personnes partagent leurs pensées, leurs blagues et leurs secrets les plus profonds chaque seconde. Dans cette foule bruyante, certains crient silencieusement à l'aide, laissant des indices subtils sur un sentiment de désespoir ou l'envie de mettre fin à leurs jours. Depuis des années, des scientifiques tentent de construire des « détectives numériques » — des programmes informatiques capables de lire ces publications sur les réseaux sociaux et de repérer les signes de danger avant qu'il ne soit trop tard. Ce domaine, connu sous le nom de Traitement du Langage Naturel (NLP), revient à enseigner à un robot comment comprendre les émotions humaines en lisant leurs mots. Mais voici la partie délicate : les ordinateurs sont très mauvais pour deviner les sentiments à moins d'être entraînés sur une bibliothèque massive d'exemples que les humains ont déjà étiquetés comme « tristes », « en colère » ou « en danger ». Sans ces bibliothèques soigneusement organisées, l'ordinateur ne fait que deviner dans l'obscurité.

C'est exactement le défi relevé par une équipe de chercheurs russes qui ont décidé de construire une bibliothèque spécialisée et massive pour une tâche très sérieuse : trouver les signaux de risque de suicide sur les réseaux sociaux russes. Ils ne voulaient pas seulement trouver des personnes tristes ; ils voulaient distinguer ceux qui sombrent vers l'automutilation (signaux présuicidaires) de ceux qui trouvent des raisons de continuer à vivre (signaux anti-suicidaires). Imaginez cela comme le tri d'une pile géante de courrier mélangé : certaines lettres sont des appels de détresse urgents, d'autres sont des notes d'espoir sur l'avenir, et la plupart ne sont que du courrier indésirable ordinaire. Les chercheurs ont passé des années à créer un manuel de règles strict, à former une équipe de « trieurs » humains et à construire un ensemble de données de plus de 57 000 exemples de textes pour apprendre aux ordinateurs à faire la différence. Leur travail suggère que, bien que la tâche soit incroyablement difficile et subjective, un ensemble de données bien structuré peut aider les ordinateurs à devenir bien meilleurs pour repérer ces signaux salvateurs.

La mission : Trouver l'aiguille dans la botte de foin

Les chercheurs sont partis d'une réalité simple mais terrifiante : le suicide est un problème majeur, et beaucoup de personnes en difficulté écrivent à ce sujet en ligne avant de passer à l'acte. Cependant, ces appels à l'aide sont enfouis sous des montagnes de publications non pertinentes — mèmes, plaintes sur la météo et pensées aléatoires. Pour aider les humains à trouver ces personnes plus rapidement, l'équipe avait besoin d'un moyen d'entraîner les ordinateurs à filtrer le bruit.

Ils se sont lancés dans la création d'une « pierre de Rosette » pour les textes suicidaires en russe. Leur objectif n'était pas seulement de dire « cette personne est triste », mais de catégoriser les raisons spécifiques de cet état. La personne se sent-elle désespérée ? Est-elle victime de harcèlement ? A-t-elle un plan ? Ou, inversement, parle-t-elle de son amour pour sa famille ou de ses projets pour demain ? Ce sont les « signaux anti-suicidaires » — les raisons de rester.

Construire le manuel de règles : Le mode d'emploi

Avant de pouvoir entraîner un ordinateur, ils devaient enseigner aux humains qui étiqueteront les données. C'était la partie la plus délicate du projet. Les chercheurs ont réalisé que demander à des gens de lire des milliers de publications déprimantes pouvait être émotionnellement épuisant, ils ont donc construit un filet de sécurité. Ils ont créé un manuel d'instructions détaillé qui agissait comme une carte pour les annotateurs (les personnes effectuant l'étiquetage).

Ce manuel comprenait :

• Un « tableau d'humeur » de classes : Au lieu de simplement « triste » ou « pas triste », ils ont créé 33 catégories spécifiques de signaux de danger (comme « pensées de mort », « problèmes d'alcool » ou « rupture familiale ») et 12 catégories de signaux d'espoir (comme « expression d'amour » ou « estime de soi positive »).
• La règle de la « première personne » : Une règle cruciale était que le texte devait concerner l'auteur. Si quelqu'un écrit : « Mon ami veut mourir », c'est non pertinent. S'il écrit : « Je veux mourir », c'est un signal. Cette règle était stricte pour éviter les fausses alertes.
• Des suivis émotionnels : Avant et après chaque session de travail, les annotateurs devaient passer des tests pour vérifier leur propre santé mentale. S'ils se sentaient trop accablés, on leur disait d'arrêter immédiatement.

L'élément humain : Trier le chaos

L'équipe a recruté un groupe d'annotateurs, comprenant à la fois des experts en apprentissage automatique et des personnes ordinelles, pour étiqueter plus de 57 000 exemples de textes. Ils ne se sont pas contentés de leur jeter les données ; ils ont utilisé une stratégie d'échantillonnage intelligente. Ils ont divisé les données en blocs et ont utilisé des modèles informatiques préliminaires pour deviner quels textes pourraient être intéressants, garantissant ainsi un bon mélange de différents types de publications.

Le processus était complexe et humain. Les chercheurs ont découvert que même avec un manuel de règles strict, les gens n'étaient pas d'accord. Une personne pouvait voir une métaphore comme un cri de détresse, tandis qu'une autre y voyait simplement une figure de style. Pour gérer cela, ils ont utilisé un système de « vote majoritaire souple ». Si trois personnes étiquetaient une publication et que deux étaient d'accord sur un signal de danger spécifique, cet étiquetage était retenu. Cette approche leur a permis de garder les données riches et variées sans rester bloqués sur chaque désaccord.

Ils ont également découvert que les publications « non pertinentes » étaient les plus difficiles à traiter. Parfois, une publication semblait dangereuse mais n'était en fait qu'un récit sur un personnage de livre ou une citation de film. L'équipe a dû revenir et ré-étiqueter des milliers de ces exemples « incertains », affinant leurs règles pour s'assurer que l'ordinateur ne soit pas confus par des récits à la troisième personne.

Les résultats : Enseigner à l'ordinateur

Une fois les données nettoyées et étiquetées, l'équipe a entraîné un modèle informatique (plus précisément un modèle appelé RuBERT) pour lire les textes. Ils ont testé le modèle de différentes manières :

• Le test de la « vue d'ensemble » : Le modèle pouvait-il faire la différence entre « danger », « espoir » et « rien » ? Oui, et il était plutôt bon à cela, atteignant un score d'environ 0,71.
• Le test des « détails fins » : Le modèle pouvait-il faire la différence entre « sentiment de culpabilité » et « sentiment de désespoir » ? C'était plus difficile. Le modèle peinait davantage lorsqu'on lui demandait d'être trop spécifique, suggérant qu'il est plus facile pour les ordinateurs de repérer l'humeur générale que la nuance exacte.

Les expériences ont montré que plus les catégories étaient spécifiques, plus il était difficile pour le modèle d'apprendre. Cependant, le modèle performait mieux lorsqu'on lui permettait de regrouper les sentiments similaires. Cela suggère que si les ordinateurs peuvent apprendre à repérer les signes généraux de danger, les détails fins de l'émotion humaine restent encore un peu mystérieux pour eux.

Ce que cela signifie

L'article ne prétend pas avoir résolu le problème de la détection du suicide. Il offre plutôt un outil puissant : un ensemble de données massif et soigneusement construit, ainsi qu'une méthode éprouvée pour en créer un. Les chercheurs ont trouvé que les plus grands obstacles étaient les « zones grises » — les textes ambigus, métaphoriques ou concernant d'autres personnes. Ils ont également souligné que les signaux « anti-suicidaires » (les raisons de vivre) étaient plus difficiles à apprendre pour le modèle, probablement parce que les catégories liées à l'espoir étaient un peu trop abstraites.

En fin de compte, ce travail est un fondement. C'est une immense bibliothèque ouverte de publications de réseaux sociaux russes que quiconque peut utiliser pour construire de meilleurs outils. Les auteurs suggèrent que les travaux futurs pourraient utiliser une IA encore plus intelligente pour aider à l'étiquetage et qu'il est nécessaire de continuer à affiner les règles pour gérer les parties complexes et subjectives du langage humain. Ils ont rendu leurs données, leur code et leurs instructions publics, invitant d'autres à se joindre à l'effort pour construire un filet de sécurité numérique plus précis, plus empathique et, en fin de compte, plus utile.