The methodology of Constructing the Large-Scale Dataset for Detecting Presuicidal and Anti-Suicidal Signals in Social Media Texts in Russian

インターネットを、何百万もの人々が毎秒、自分の考えやジョーク、そして心の奥底にある秘密を共有している、巨大で賑やかなデジタル上の広場だと想像してみてください。この騒がしい群衆の中で、中には静かに助けを求めて叫んでいる人々がいます。彼らは、絶望感や自死を考えていることを、微妙なヒントとして残しています。長年、科学者たちは「デジタル探偵」を構築しようと試みてきました。それは、ソーシャルメディアの投稿を読み取り、手遅れになる前に危険の兆候を察知するコンピュータープログラムです。自然言語処理（NLP）として知られるこの分野は、言葉を読むことによって、ロボットに人間の感情を理解させるようなものです。しかし、ここには厄介な問題があります。コンピューターは、人間がすでに「悲しい」「怒っている」「危険である」とラベル付けした膨大な事例のライブラリを与えられない限り、感情を推測するのが非常に苦手なのです。注意深く精査されたライブラリがなければ、コンピューターは暗闇の中で推測しているだけに過ぎません。

これは、ロシアの研究チームが取り組んだ課題そのものです。彼らは、ロシアのソーシャルメディアにおける自殺リスクの兆候を見つけ出すという、非常に深刻な仕事のために、大規模で専門的なライブラリを構築することに決めました。彼らは単に「悲しんでいる人」を見つけたいわけではありませんでした。自傷行為へと突き進んでいる状態（自殺予兆信号）と、生きる理由を見出している状態（抗自殺信号）を区別したいと考えたのです。これは、混ざり合った大量の手紙を仕分けるようなものだと考えてください。ある手紙は緊急の救助要請であり、ある手紙は未来への希望に満ちたノートであり、そしてほとんどはただのジャンクメールです。研究者たちは、厳格なルールブックを作成し、人間の「仕分け人」のチームを訓練し、コンピューターが違いを理解できるように57,000件以上のテキスト例を含むデータセットを構築するために、数年を費やしました。彼らの研究は、この作業が非常に困難で主観的なものである一方で、適切に構造化されたデータセットがあれば、コンピューターはこれらの命を救うための信号を特定することを大幅に改善できることを示唆しています。

ミッション：干し草の山から針を見つけること

研究者たちは、シンプルかつ恐ろしい現実からスタートしました。それは、自殺は重大な問題であり、苦しんでいる多くの人々は、行動に移す前にオンライン上でそれについて書いているという事実です。しかし、これらの助けを求める声は、無関係な投稿（ミーム、天候への不満、とりとめもない思考など）の山の下に埋もれています。人間がこれらの人々をより迅速に見つけられるように、チームはコンピューターにノイズをフィルタリングする方法を教える必要がありました。

彼らは、ロシア語の自殺に関するテキストの「ロゼッタ・ストーン」を作ることを目指しました。彼らの目的は、単に「この人は悲しんでいる」と言うことではなく、その具体的な理由を分類することでした。その人は絶望を感じているのか？ いじめられているのか？ 計画を持っているのか？ あるいは逆に、家族への愛や明日への計画について話しているのか？ これらが「抗自殺信号」、つまり生きる理由です。

ルールブックの作成：取扱説明書

コンピューターを訓練する前に、彼らはデータをラベル付けする人間を教えなければなりませんでした。これはプロジェクトの中で最も繊細な部分でした。研究者たちは、何千もの鬱とした投稿を読ませることが、精神的に消耗させる可能性があることに気づき、セーフティネットを構築しました。彼らは、アノテーター（ラベル付けを行う人々）のための地図となる詳細な指示書を作成しました。

このマニュアルには以下が含まれていました：

• 「ムードボード」としてのクラス： 単なる「悲しい」や「悲しくない」ではなく、危険信号として33の特定のカテゴリー（「死についての思考」、「アルコール問題」、「家族の崩壊」など）と、希望の信号として12のカテゴリー（「愛の表現」、「ポジティブな自己肯定感」など）を作成しました。
• 「一人称」のルール： 重要なルールは、テキストが著者自身に関するものでなければならないということです。「私の友人が死にたがっている」と書かれていれば、それは無関係です。「私は死にたい」と書かれていれば、それは信号です。誤報を防ぐために、このルールは厳格でした。
• 感情のチェックイン： 作業の前後ごとに、アノテーターは自身のメンタルヘルスを確認するためのテストを受けなければなりませんでした。もし精神的に圧倒されすぎていると感じたら、すぐに作業を中止するように指示されました。

人間の要素：混沌を仕分ける

チームは、機械学習の専門家と一般の人々を含むアノテーターのグループを募り、57,000件以上のテキスト例にラベルを付けました。彼らは単にデータを投げつけたのではなく、スマートなサンプリング戦略を用いました。データを塊に分け、予備的なコンピューターモデルを使用してどのテキストが興味深い可能性があるかを予測することで、さまざまな種類の投稿が適切に混ざるようにしました。

プロセスは混沌としており、人間的でした。研究者たちは、厳格なルールブックがあっても、人々は意見が食い違うことを発見しました。ある人は比喩を助けを求める声として捉えるかもしれませんが、別の人はそれを単なる修辞技法と見なすかもしれません。これに対処するため、彼らは「ソフト多数決」システムを使用しました。もし3人が投稿にラベルを付け、そのうち2人が特定の危険信号に同意した場合、そのラベルが採用されました。このアプローチにより、個々の相違に固執することなく、データの多様性と豊かさを維持することができました。

また、彼らは「無関係な」投稿の扱いが最も難しいことも発見しました。時には、投稿が危険な内容のように聞こえても、実際には本の中の登場人物についての物語であったり、映画の引用であったりすることがありました。チームは、コンピューターが第三者の物語によって混乱しないように、これらの「不確かな」例を再ラベル付けし、ルールを洗練させるために、何度もやり直さなければなりませんでした。

結果：コンピューターを教える

データが洗浄され、ラベル付けされた後、チームは（具体的にはRuBERTと呼ばれる）コンピューターモデルを訓練してテキストを読ませました。彼らは異なる方法でモデルをテストしました：

• 「全体像」テスト： モデルは「危険」、「希望」、「なし」の違いを判別できるか？ はい、判別でき、スコアは約0.71とかなり良好でした。
• 「細部」テスト： モデルは「罪悪感」と「絶望感」の違いを判別できるか？ これはより困難でした。モデルはあまりに具体的であることを求められると苦戦しました。これは、コンピューターにとって、正確なニュアンスを捉えることよりも、一般的なムードを察知することの方が容易であることを示唆しています。

実験の結果、カテゴリーが具体的になればなるほど、モデルの学習は難しくなることが示されました。しかし、モデルは似たような感情をグループ化することを許容された場合に最も高いパフォーマンスを発揮しました。これは、コンピューターは一般的な危険の兆候を察知することはできるものの、人間の感情の微細なディテールについては、依然として謎に包まれていることを示唆しています。

これが意味すること

この論文は、自殺検出の問題を解決したと主張しているわけではありません。その代わりに、強力なツールを提供しています。それは、大規模で注意深く構築されたデータセットと、それを作成するための実証された手法です。研究者たちは、最大の障壁は「グレーゾーン」、つまり曖昧なテキスト、比喩的な表現、あるいは他人の物語であることだと発見しました。また、彼らは「抗自殺信号」（生きる理由）が危険信号よりもモデルにとって学習が難しかったことも強調しました。これは、おそらく希望のカテゴリーが抽象的すぎたためです。

結局のところ、この研究は基盤となるものです。これは、誰でもより良いツールを構築するために利用できる、ロシアのソーシャルメディアの投稿による巨大でオープンなライブラリです。著者らは、将来の作業において、ラベル付けを支援するためにさらにスマートなAIを使用できること、そして、トリッキーで主観的な人間の言語の部分を扱うためにルールを洗練し続ける必要があることを示唆しています。彼らはデータ、コード、および指示書を公開しており、より正確で、より共感的で、最終的にはより役立つデジタル・セーフティネットを構築する取り組みに、他の人々が加わることを呼びかけています。