Evaluating Transformer Models for Suicide Risk Detection on Social Media

毎年、何十万人もの人々が自ら命を絶っており、それはしばかに報告されない自殺未遂の痕跡を残し、家族や地域社会に永続的な苦痛をもたらす悲劇となっています。デジタル時代において、人々がそこに至るまでの物語は、ソーシャルメディアという公共の広場にますます書き記されるようになっています。Redditのようなプラットフォームには、個人の最も暗い思考を共有する何千もの投稿が存在します。それは、自らの命を絶つための具体的な計画を露骨に記述していることもあれば、静かな葛藤を暗示していることもあります。メンタルヘルスの専門家にとって、その課題は膨大です。どのようにして、日々投稿される何十億もの投稿の中から、こうした助けを求める叫びを見つけ出し、そして、自殺を考えている人と、実際に計画を実行に移そうとしている人の違いをどうやって見分けるのか。ここで、自然言語処理の分野が介入します。これは、人間のテキストを読み、理解するように訓練されたコンピュータプログラムを用いるものです。これらのツールは人間の判断に取って代わるものではありませんが、膨大な量の情報を迅速にスキャンし、危険を示す特定のパターンを探し出す手段を提供します。目的は、未来を確実に予測することではなく、見過ごされがちな人々に対して、支援を提供できるほど早い段階でリスクを特定することにあります。

ポーランドの研究チーム（kubapokという名称で活動）は、最近、自殺のリスクを検知する方法を改善するために設計された世界的なコンペティションにおいて、このアイデアを検証しました。彼らは、ソーシャルメディアの投稿を読み取り、それらを4つの明確なカテゴリーに分類できるシステムを構築することを求めた「IEEE BigData 2024 Cup」に参加しました。第1のカテゴリーである「インジケーター（指標）」は、友人の苦境について話すなど、自殺に言及しているものの、差し迫ったリスクは示していない投稿を対象としています。第2の「イデーション（観念）」は、自殺について考えてはいるが、具体的な計画は持っていない投稿を捉えます。第3の「ビヘイビア（行動）」は、計画を持っているか、自傷行為を行っている状態を描写しています。最後の「アテンプト（試行）」は、死に至らなかった過去の自殺未遂を記述している投稿のために用意されています。研究者たちは、Redditからの数千件の実投稿を含むデータセットを与えられました。それらの中には、これらのカテゴリーが付与されているものもあれば、ラベルが付いていないものもあり、彼らはコンピュータにこれらの違いを正確に判別できるよう教えなければなりませんでした。

この問題を解決するために、チームは「トランスフォーマー」として知られる高度なコンピュータモデルを用いた3つの異なるアプローチを実験しました。これらは、膨大な量のテキストを読み込み、言語の仕組みを学習した大規模なシステムです。第1のアプローチでは、「DeBERTa」と呼ばれるモデルを使用しました。これは、テキストを分析してその意味を理解する読者のように機能します。チームはこのモデルをラベル付きの投稿で訓練し、4つのリスクレベルの違いを学習できるかどうかを確認しました。第2のアプローチでは、より大規模で強力な「GPT-4o」というモデルを使用しましたが、この場合は特定のデータによる訓練は行いませんでした。代わりに、モデルに一連の例を与え、「思考の連鎖（chain-of-thought）」と呼ばれる手法を用いて、ステップ・バイ・ステップでタスクを推論するように指示しました。これは、モデルが持つ既存の知識が十分であることを期待したものです。第3のアプローチもGPT-4oを使用しましたが、今回はコンペティション固有のデータセットを用いて実際に訓練を行い、モデルが直面するタスクにより適合するように内部設定を調整させました。

実験の結果、明確な勝者が明らかになりました。訓練されたDeBERTaモデルは良好なパフォーマンスを示し、訓練されていないGPT-4oモデルは多くの例を与えられても正確な区別を行うのに苦戦しましたが、コンペティションのデータで特別に訓練されたバージョンのGPT-4oが最も効果的であることが証明されました。この微調整（ファインチューニング）されたモデルは、各投稿の正しいリスクカテゴリーを特定する上で最高の精度を達成しました。最終的な結果が集計されたとき、この訓練済みモデルに基づいたチームのソリューションは、最終評価に進んだ13チームの中で、トップチームに僅差で次ぐ第2位を獲得しました。研究者たちは、訓練されたモデルは一貫性と信頼性がある一方で、他の試みはパフォーマンスにばらつきが見られたことを発見しました。この結果は、汎用的なコンピュータモデルであっても、学習するための特定の事例セットを与えられれば、自殺を考えている人と、差し迫った危険にある人の微妙な違いを見分けるための非常に効果的なツールになり得ることを示唆しています。

この成功にもかかわらず、研究者たちは自分たちのシステムができることの限界についても慎重に指摘しています。使用されたデータはすべて、パンデミック期間中を含む特定の時期にRedditに投稿された公開投稿から収集されたものです。これは、このシステムが他のプラットフォームや、ソーシャルメディアを異なる方法で使用する人々に対しては、うまく機能しない可能性があることを意味します。さらに、コンペティションのデータには、医師が用いるような、患者の完全な病歴や対面での会話といった豊かな文脈が欠けています。システムは単一の投稿のテキストのみを見ており、周囲のコメントや、重要な手がかりを提供したかもしれないユーザーの過去の活動については把握していません。著者らは、これらのツールが真に命を救うために効果的であるためには、将来のデータセットがより厳格な基準で構築される必要があり、おそらくはリスクレベルを検証するためにメンタルヘルスの専門家との直接的な協力が必要であると主張しています。それまでは、これらのモデルはデジタル上のノイズの中から重要な信号を見つけ出す強力な助手として機能しますが、人間の専門家が提供する微細なニュアンスを含んだケアに取って代わるものではありません。