The methodology of Constructing the Large-Scale Dataset for Detecting Presuicidal and Anti-Suicidal Signals in Social Media Texts in Russian

Stellen Sie sich das Internet als einen riesigen, belebten digitalen Stadtplatz vor, auf dem Millionen von Menschen jede Sekunde ihre Gedanken, Witze und tiefsten Geheimnisse teilen. In dieser lärmenden Menge schreien manche Menschen leise um Hilfe und geben subtile Hinweise darauf, dass sie sich hoffnungslos fühlen oder darüber nachdenken, ihr Leben zu beenden. Seit Jahren versuchen Wissenschaftler, „digitale Detektive“ zu bauen – Computerprogramme, die diese Social-Media-Beiträge lesen und die Anzeichen von Gefahr erkennen können, bevor es zu spät ist. Dieses Feld, bekannt als Natural Language Processing (NLP), ist wie das Lehren eines Roboters, menschliche Emotionen zu verstehen, indem er deren Worte liest. Aber hier liegt der Knackpunkt: Computer sind schrecklich darin, Gefühle zu erraten, es sei denn, sie werden mit einer massiven Bibliothek von Beispielen trainiert, die Menschen bereits als „traurig“, „wütend“ oder „in Gefahr“ gekennzeichnet haben. Ohne diese sorgfältig kuratierten Bibliotheken tappt der Computer nur im Dunkeln.

Genau das ist die Herausforderung, der sich ein Team von Forschern aus Russland gestellt hat, die beschlossen haben, eine massive, spezialisierte Bibliothek für eine sehr ernste Aufgabe aufzubauen: das Erkennen von Signalen eines Suizidrisikos in russischen sozialen Medien. Sie wollten nicht nur finden, wer traurig ist; sie wollten zwischen denen unterscheiden, die sich in Richtung Selbstverletzung abwärts spiralisieren (präsuizidale Signale), und denen, die Gründe finden, weiterzumachen (anti-suizidale Signale). Denken Sie daran wie beim Sortieren eines riesigen Haufens gemischter Post: Manche Briefe sind dringende Hilferufe, manche sind hoffnungsvolle Notizen über die Zukunft, und die meisten sind einfach nur Junk-Mail. Die Forscher verbrachten Jahre damit, ein strenges Regelwerk zu erstellen, ein Team von menschlichen „Sortierern“ zu trainieren und einen Datensatz von über 57.000 Textbeispielen aufzubauen, um Computer zu lehren, den Unterschied zu erkennen. Ihre Arbeit legt nahe, dass diese Aufgabe zwar unglaublich schwierig und subjektiv ist, ein gut strukturiertes Datenset jedoch helfen kann, dass Computer viel besser darin werden, diese lebensrettenden Signale aufzuspüren.

Die Mission: Die Nadel im Heuhaufen finden

Die Forscher begannen mit einer einfachen, aber erschreckenden Realität: Suizid ist ein großes Problem, und viele Menschen, die kämpfen, schreiben online darüber, bevor sie handeln. Diese Hilferufe sind jedoch unter Bergen von irrelevanten Beiträgen vergraben – Memes, Beschwerden über das Wetter und zufällige Gedanken. Um Menschen dabei zu helfen, diese Personen schneller zu finden, musste das Team einen Weg finden, Computer zu trainieren, um das Rauschen zu filtern.

Sie machten sich daran, einen „Rosetta-Stein“ für suizidale Texte in russischer Sprache zu erschaffen. Ihr Ziel war es nicht nur zu sagen: „Diese Person ist traurig“, sondern die spezifischen Gründe dafür zu kategorisieren. Fühlt sich die Person hoffnungslos? Wird sie gemobbt? Hat sie einen Plan? Oder spricht sie im Gegenzug etwa über ihre Liebe zu ihrer Familie oder ihre Pläne für morgen? Dies sind die „anti-suizidalen Signale“ – die Gründe, am Leben zu bleiben.

Das Regelwerk erstellen: Die Bedienungsanleitung

Bevor sie einen Computer trainieren konnten, mussten sie die Menschen lehren, die die Daten kennzeichnen würden. Dies war der sensibelste Teil des Projekts. Die Forsatter erkannten, dass die Aufforderung an Menschen, tausende deprimierende Beiträge zu lesen, emotional belastend sein konnte, also bauten sie ein Sicherheitsnetz. Sie erstellten ein detailliertes Handbuch, das wie eine Landkarte für die Annotatoren (die Personen, die die Kennzeichnung vornehmen) fungierte.

Dieses Handbuch enthielt:

• Ein „Mood Board“ der Klassen: Anstatt nur „traurig“ oder „nicht traurig“, erstellten sie 33 spezifische Kategorien für Gefahrensignale (wie „Gedanken an den Tod“, „Alkoholprobleme“ oder „familiärer Zusammenbruch“) und 12 Kategorien für Hoffnungssignale (wie „Ausdruck von Liebe“ oder „positives Selbstwertgefühl“).
• Die „Erste-Person-Regel“: Eine entscheidende Regel war, dass der Text über den Autor gehen musste. Wenn jemand schreibt: „Mein Freund möchte sterben“, ist das irrelevant. Wenn er schreibt: „Ich möchte sterben“, ist das ein Signal. Diese Regel war streng, um Fehlalarme zu vermeiden.
• Emotionale Check-ins: Vor und nach jedem Arbeitsblock mussten die Annotatoren Tests machen, um ihre eigene psychische Verfassung zu prüfen. Wenn sie sich zu sehr überfordert fühlten, wurde ihnen gesagt, sofort aufzuhören.

Das menschliche Element: Das Chaos sortieren

Das Team rekrutierte eine Gruppe von Annotatoren, darunter sowohl Experten für maschinelles Lernen als auch Laien, um über 57.000 Textbeispiele zu kennzeichnen. Sie warfen die Daten nicht einfach auf sie; sie nutzten eine intelligente Sampling-Strategie. Sie brachen die Daten in Stücke auf und verwendeten vorläufige Computermodelle, um zu erraten, welche Texte interessant sein könnten, um sicherzustellen, dass sie eine gute Mischung aus verschiedenen Arten von Beiträgen erhielten.

Der Prozess war unordentlich und menschlich. Die Forscher fanden heraus, dass selbst mit einem strengen Regelwerk Menschen uneinig waren. Eine Person könnte eine Metapher als Hilferuf sehen, während eine andere sie nur als Redewendung betrachtet. Um dies zu handhaben, nutzten sie ein „Soft-Majority-Voting“-System. Wenn drei Personen einen Beitrag kennzeichneten und zwei sich auf ein spezifisches Gefahrensignal einigten, blieb dieses Label bestehen. Dieser Ansatz erlaubte es ihnen, die Daten reichhaltig und vielfältig zu halten, ohne bei jeder einzelnen Unstimmigkeit stecken zu bleiben.

Sie entdeckten auch, dass die „irrelevanten“ Beiträge am schwierigsten zu handhaben waren. Manchmal klang ein Beitrag gefährlich, war aber eigentlich nur eine Geschichte über einen Charakter in einem Buch oder ein Zitat aus einem Film. Das Team musste tausende dieser „unsicheren“ Beispiele zurückgehen und neu kennzeichnen, wobei sie ihre Regeln verfeinerten, um sicherzustellen, dass der Computer nicht durch Geschichten Dritter verwirrt wird.

Die Ergebnisse: Den Computer lehren

Nachdem die Daten bereinigt und gekennzeichnet worden waren, trainierte das Team ein Computermodell (speziell ein Modell namens RuBERT), um die Texte zu lesen. Sie testeten das Modell auf verschiedene Arten:

• Der „Große Überblick“-Test: Konnte das Modell zwischen „Gefahr“, „Hoffnung“ und „Nichts“ unterscheiden? Ja, und es war ziemlich gut darin, mit einem Score von etwa 0,71.
• Der „Feine Details“-Test: Konnte das Modell zwischen „Schuldgefühlen“ und „Hoffnungslosigkeit“ unterscheiden? Das war schwieriger. Das Modell hatte mehr Mühe, wenn es gefragt wurde, zu spezifisch zu sein, was darauf hindeutet, dass es für Computer einfacher ist, die allgemeine Stimmung zu erfassen als die exakte Nuance.

Die Experimente zeigten, dass es für das Modell schwieriger war zu lernen, je spezifischer die Kategorien waren. Das Modell funktionierte jedoch am besten, wenn es erlaubt war, ähnliche Gefühle zusammenzufassen. Dies deutet darauf hin, dass Computer zwar lernen können, die allgemeinen Anzeichen von Gefahr zu erkennen, die feinen Details menschlicher Emotionen ihnen jedoch immer noch ein wenig ein Mysterium bleiben.

Was das bedeutet

Das Paper behauptet nicht, das Problem der Suiziderkennung gelöst zu haben. Stattdessen bietet es ein mächtiges Werkzeug an: einen massiven, sorgfältig konstruierten Datensatz und eine bewährte Methode zur Erstellung eines solchen. Die Forscher fanden heraus, dass die größten Hürden die „Grauzonen“ waren – Texte, die mehrdeutig, metaphorisch oder über andere Personen waren. Sie hoben auch hervor, dass die „anti-suizidalen“ Signale (die Gründe zu leben) schwerer für das Modell zu lernen waren als die Gefahrensignale, wahrscheinlich weil die Kategorien für Hoffnung etwas zu abstrakt waren.

Letztendlich ist diese Arbeit ein Fundament. Es ist eine riesige, öffentliche Bibliothek von russischen Social-Media-Beiträgen, die jeder nutzen kann, um bessere Werkzeuge zu bauen. Die Autoren schlagen vor, dass zukünftige Arbeiten noch intelligentere KI nutzen könnten, um die Kennzeichnung zu unterstützen, und dass sie die Regeln weiter verfeinern müssen, um die kniffligen, subjektiven Teile der menschlichen Sprache zu handhaben. Sie haben ihre Daten, ihren Code und ihre Anweisungen öffentlich gemacht und laden andere dazu ein, sich der Bemühung anzuschließen, ein digitales Sicherheitsnetz zu bauen, das präziser, empathischer und letztlich hilfreicher ist.