Leveraging LLMs for Translating and Classifying Mental Health Data

Technische Zusammenfassung: Nutzung von LLMs zur Übersetzung und Klassifizierung von psychischen Gesundheitsdaten

Problemstellung
Obwohl Large Language Models (LLMs) Potenzial für die Früherkennung psychischer Erkrankungen durch linguistische Marker in nutzergenerierten Texten bieten, bleibt ihre Anwendung stark auf englischsprachige Datensätze beschränkt. Es besteht eine signifikante Forschungslücke hinsichtlich der Leistungsfähigkeit dieser Modelle in ressourcenarmen Sprachen und nicht-englischen Kontexten. Darüber hinaus ist die Wirksamkeit des Einsatzes von LLMs zur automatischen Übersetzung von Daten zur psychischen Gesundheit aus dem Englischen in eine andere Sprache und der anschließenden Klassifizierung dieser Daten noch unzureichend erforscht. Diese Studie adressiert diese Lücken, indem sie untersucht, ob ein LLM die Schwere einer Depression in englischen Beiträgen genau vorhersagen kann und ob diese Leistung erhalten bleibt, wenn die Beiträge automatisch ins Griechische übersetzt werden – eine Sprache, für die es spezifische Ressourcen für diese Aufgabe vermissen lässt.

Methodik
Die Autoren schlagen eine Pipeline vor, die ein hochmodernes multilinguales LLM (GPT-3.5-turbo) sowohl für die Übersetzungs- als auch für die Klassifizierungsaufgaben nutzt.

• Datensatz: Die Studie verwendet den DEPSEVERITY-Datensatz (Naseem et al., 2022), der aus 3.553 Reddit-Beiträgen besteht, die in vier Schweregrade der Depression eingestuft wurden: Minimal, Leicht, Moderat und Schwer. Der Datensatz wird als stark imbalanciert beschrieben, wobei die Mehrheit der Beiträge in die Kategorie „Minimal“ fällt.
• Verfahren:
  1. Baseline (Englisch): Das LLM wird angewiesen, die ursprünglichen englischen Beiträge mittels 0-Shot-Learning in die vier Schweregrade zu klassifizieren.
  2. Übersetzung: Dasselbe LLM übersetzt die englischen Beiträge ins Griechische.
  3. Ziel-Klassifizierung (Griechisch): Die übersetzten griechischen Texte werden zurück in das LLM eingespeist, wobei das Modell aufgefordert wird, die Schweregrade vorherzusagen.
  4. Evaluierung: Die Leistung wird anhand von Präzision (Precision), Recall und F1-Scores gemessen, wobei die vorhergesagten Klassen mit den Ground-Truth-Labels in beiden Sprachen verglichen werden. Der Temperatur-Parameter wurde auf 0 gesetzt, um die Reproduzierbarkeit zu gewährleisten.
• Prompting-Strategie: Vor den eigentlichen Experimenten führten die Autoren ein vorläufiges Prompting durch, um die interne Logik des LLM zu verstehen. Das Modell identifizierte Muster wie anhaltende negative Emotionen, Selbstkritik und Verhaltensänderungen und passte die Schweregrade an den Kontext sozialer Medien an (z. B. die Definition von „Schwer“ als Beiträge, die auf ein Selbstverletzungsrisiko oder einen vollständigen sozialen Rückzug hindeuten).

Kernergebnisse
Die experimentellen Ergebnisse deuten darauf hin, dass das LLM Schwierigkeiten hat, zwischen spezifischen Schweregraden der Depression in beiden Sprachen genau zu unterscheiden, obwohl die Leistung je nach Klasse und Sprache variiert.

• Englische Leistung: Das Modell erreichte den höchsten F1-Score für die Klasse „Minimal“ (0,25) und die Klasse „Schwer“ (0,22). Der gesamte Makro-F1-Score war mit 0,17 niedrig. Die Autoren führen diese Schwierigkeit auf die subtilen Unterschiede zwischen den Schweregraden in Nutzerbeiträgen im Vergleich zu anderen Zuständen zurück.
• Griechische Leistung: Nach der Übersetzung sank die Leistung in den meisten Klassen generell ab.
  • Die Klasse „Leicht“ verzeichnete einen leichten Rückgang (F1: 0,07 in Englisch vs. 0,06 in Griechisch).
  • Die Klasse „Minimal“ sank signifikant (F1: 0,25 in Englisch vs. 0,14 in Griechisch).
  • Die Klasse „Schwer“ sank ebenfalls (F1: 0,22 in Englisch vs. 0,20 in Griechisch).
  • Bemerkenswerterweise zeigte die Klasse „Moderat“ eine Verbesserung des F1-Scores (0,17 in Englisch vs. 0,23 in Griechisch).
• Fehleranalyse: Die Autoren analysierten spezifische Fälle, in denen das LLM Angst- oder Panik-Symptome fälschlicherweise als Depression klassifizierte. Beispielsweise wurde ein Beitrag, der Panik und Angst beschrieb, vom LLM als „Schwer“ klassifiziert, während der Ground-Truth-Label „Minimal“ war. Die Autoren legen nahe, dass das LLM allgemeine Belastungen (Panik/Angst) mit der Schwere einer Depression verwechseln könnte – eine Nuance, die die Ground-Truth-Labels unterschieden.
• Kosten: Die Experimente wurden mit Gesamtkosten für die API von weniger als 30 $ durchgeführt, was zeigt, dass solche Evaluierungen ohne teure GPU-Infrastruktur oder Fine-Tuning durchgeführt werden können.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass LLMs zwar vielversprechend sind, aber noch nicht zuverlässig genug sind, um die Schwere einer Depression allein zu bestimmen, insbesondere wenn man sich auf die automatische Übersetzung für ressourcenarme Sprachen wie Griechisch verlässt.

• Grenzen der Automatisierung: Die Studie unterstreicht, dass die Leistung von LLMs je nach Sprache und Schweregrad erheblich variiert. Die Autoren betonen, dass die aktuellen Ergebnisse für eine direkte Patienten-Diagnose nicht ausreichen.
• Rolle der menschlichen Aufsicht: Konsistent mit den Ergebnissen von Stade et al. (2024) behaupten die Autoren, dass die Diagnose psychischer Erkrankungen niemals vollständig automatisierten Systemen überlassen werden darf. Menschliche Aufsicht bleibt entscheidend, um Fehldiagnosen zu vermeiden.
• Potenzieller Nutzen: Anstatt Kliniker zu ersetzen, schlagen die Autoren vor, dass dieser Ansatz beim Training von Fachkräften für psychische Gesundheit wertvoll sein könnte, insbesondere in nicht-englischsprachigen Regionen, in denen Ressourcen knapp sind.
• Zukünftiger Bedarf: Die Arbeit hebt die Notwendigkeit weiterer Forschung in Bezug auf kulturell und linguistisch sensible Ansätze, eine bessere Datenerhebung für ressourcenarme Sprachen und die Entwicklung robusterer Transfer-Learning-Techniken hervor, um die Nuancen der Terminologie der psychischen Gesundheit über verschiedene Kulturen hinweg zu bewältigen.