Evaluating Transformer Models for Suicide Risk Detection on Social Media

Jedes Jahr nehmen Hunderttausende Menschen ihr eigenes Leben, eine Tragödie, die oft eine Spur von ungemeldeten Versuchen und anhaltendem Schmerz für Familien und Gemeinschaften hinterlässt. Im digitalen Zeitalter wird die Geschichte darüber, wie Menschen an diesen Punkt gelangen, zunehmend auf dem öffentlichen Platz der sozialen Medien geschrieben. Plattformen wie Reddit beherbergen tausende Beiträge, in denen Individuen ihre dunkelsten Gedanken teilen – manchmal beschreiben sie explizit Pläne, ihr Leben zu beenden, manchmal deuten sie nur auf einen stillen Kampf hin. Für Fachkräfte im Bereich der psychischen Gesundheit ist die Herausforderung immens: Wie können sie diese Hilferufe unter den Milliarden täglichen Posts finden, und wie können sie zwischen jemandem unterscheiden, der über Suizid nachdenkt, und jemandem, der aktiv einen Plan verfolgt? Hier setzt das Feld der natürlichen Sprachverarbeitung (Natural Language Processing) an, indem es Computerprogramme nutzt, die darauf trainiert sind, menschlichen Text zu lesen und zu verstehen. Diese Werkzeuge ersetzen kein menschliches Urteilsvermögen, aber sie bieten eine Möglichkeit, riesige Mengen an Informationen schnell zu scannen und nach spezifischen Mustern zu suchen, die auf Gefahr hindeuten. Das Ziel ist nicht, die Zukunft mit Sicherheit vorherzusagen, sondern das Risiko frühzeitig zu identifizieren, um Unterstützung für diejenigen anzubieten, die sonst übersehen würden.

Ein Forscherteam aus Polen, das unter dem Namen kubapok arbeitet, hat diese Idee kürzlich in einem globalen Wettbewerb getestet, der darauf abzielt, die Erkennung des Suizidrisikos durch Maschinen zu verbessern. Sie nahmen am IEEE BigData 2024 Cup teil, einer Herausforderung, die Teilnehmer dazu aufforderte, ein System zu entwickeln, das in der Lage ist, Social-Media-Beiträge zu lesen und sie in vier verschiedene Kategorien zu sortieren. Die erste Kategorie, genannt „Indicator“ (Indikator), umfasst Beiträge, die Suizid erwähnen, aber kein unmittelbares Risiko zeigen, wie etwa jemand, der über den Kampf eines Freundes spricht. Die zweite Kategorie, „Ideation“ (Ideenbildung), erfasst Beiträge, in denen eine Person über Suizid nachdenkt, aber keinen spezifischen Plan hat. Die dritte Kategorie, „Behavior“ (Verhalten), beschreibt Beiträge, in denen die Person einen Plan hat oder selbstverletzende Handlungen ausführt. Die letzte Kategorie, „Attempt“ (Versuch), ist für Beiträge reserviert, die vergangene Suizidversuche beschreiben, die nicht zum Tod geführt haben. Den Forschern wurde ein Datensatz mit tausenden echten Beiträgen von Reddit zur Verfügung gestellt, von denen einige mit diesen Kategorien gekennzeichnet und andere unbeschriftet waren, und sie mussten einen Computer lehren, diese Unterscheidungen präzise zu treffen.

Um dieses Problem zu lösen, experimentierte das Team mit drei verschiedenen Ansätzen unter Verwendung fortschrittlicher Computermodelle, die als Transformer bekannt sind. Dies sind große Systeme, die enorme Mengen an Text gelesen und gelernt haben, wie Sprache funktioniert. Der erste Ansatz nutzte ein Modell namens DeBERTa, das wie ein Leser fungiert, der Text analysiert, um dessen Bedeutung zu verstehen. Das Team trainierte dieses Modell mit den gekennzeichneten Beiträgen, um zu sehen, ob es die Unterschiede zwischen den vier Risikostufen lernen kann. Der zweite Ansatz verwendete ein viel größeres und leistungsfähigeres Modell namens GPT-4o, aber dieses Mal trainierten sie das Modell nicht auf die spezifischen Daten. Stattdessen gaben sie dem Modell eine Reihe von Beispielen und baten es, die Aufgabe Schritt für Schritt zu durchdenken – eine Methode, die als „Chain-of-Thought-Prompting“ bekannt ist, in der Hoffnung, dass das vorhandene Wissen des Modells ausreichen würde. Der dritte Ansatz nutzte ebenfalls das GPT-4o-Modell, aber diesmal trainierten sie es tatsächlich auf dem spezifischen Datensatz des Wettbewerbs, wodurch das Modell seine internen Einstellungen besser an die jeweilige Aufgabe anpassen konnte.

Die Ergebnisse ihrer Experimente zeigten einen klaren Gewinner. Während das trainierte DeBERTa-Modell gut abschnitt und das untrainierte GPT-4o-Modell selbst mit vielen Beispielen Schwierigkeiten hatte, genaue Unterscheidungen zu treffen, erwies sich die Version von GPT-4o, die speziell auf die Wettbewerbsdaten trainiert wurde, als am effektivsten. Dieses fein abgestimmte Modell erreichte die höchste Genauigkeit bei der Identifizierung der korrekten Risikokategorie für jeden Beitrag. Als die Endergebnisse ermittelt wurden, sicherte sich die Lösung des Teams, die auf diesem trainierten Modell basierte, den zweiten Platz von dreizehn Teams, die die Endauswertung erreichten, und landete nur knapp hinter dem erstplatzierten Team. Die Forscher fanden heraus, dass das trainierte Modell konsistent und zuverlässig war, während ihre anderen Versuche eine stärkere Variation in der Leistung zeigten. Dieses Ergebnis deutet darauf an, dass selbst ein universell einsetzbares Computermodell, wenn es mit einem spezifischen Satz von Beispielen zum Lernen gegeben wird, zu einem hocheffektiven Werkzeug werden kann, um die subtilen Unterschiede zwischen jemandem, der über Suizid nachdenkt, und jemandem, der in unmittelbarer Gefahr ist, zu erkennen.

Trotz dieses Erfolgs weisen die Forscher vorsichtig auf die Grenzen ihres Systems hin. Die von ihnen verwendeten Daten stammten ausschließlich aus öffentlichen Beiträgen auf Reddit, die während eines spezifischen Zeitraums gesammelt wurden, der auch die globale Pandemie einschloss. Dies bedeutet, dass das System auf anderen Plattformen oder bei Menschen, die soziale Medien nicht auf die gleiche Weise nutzen, möglicherweise weniger gut funktioniert. Darüber hinaus fehlte den Wettbewerbsdaten der reiche Kontext, den ein menschlicher Arzt verwenden würde, wie etwa die vollständige Krankengeschichte eines Patienten oder ein persönliches Gespräch. Das System sah nur den Text eines einzelnen Beitrags, ohne die umgebenden Kommentare oder die bisherige Aktivität des Nutzers, die entscheidende Hinweise hätten liefern können. Die Autoren argumentieren, dass diese Werkzeuge, um wirklich lebensrettend zu sein, zukünftige Datensätze benötigen, die strengeren Standards entsprechen müssen, etwa durch eine direkte Zusammenarbeit mit Experten für psychische Gesundheit, um die Risikostufen der Personen, die Beiträge verfassen, zu verifizieren. Bis dahin dienen diese Modelle als leistungsstarke Assistenten, die in der Lage sind, den digitalen Lärm zu scannen, um die Signale zu finden, auf die es ankommt, aber sie sind kein Ersatz für die nuancierte Betreuung durch menschliche Experten.