Leveraging LLMs for Translating and Classifying Mental Health Data

Technische Samenvatting: Het inzetten van LLM's voor het vertalen en classificeren van mentale gezondheidsgegevens

Probleemstelling
Hoewel Large Language Models (LLM's) potentie bieden voor de vroege identificatie van mentale gezondheidstoestanden via linguïstische markers in door gebruikers gegenereerde tekst, blijft hun toepassing sterk eenzijdig gericht op Engelstalige datasets. Er is een aanzienlijke kloof in onderzoek naar de prestaties van deze modellen in talen met beperkte middelen (low-resource languages) en niet-Engelse contexten. Bovendien is de effectiviteit van het gebruik van LLM's om mentale gezondheidsgegevens automatisch van het Engels naar een andere taal te vertalen en deze vervolgens te classificeren, nog onvoldoende onderzocht. Deze studie adresseert deze hiaten door te onderzoeken of een LLM accuraat de ernst van depressie kan voorspellen in Engelse berichten, en of deze prestatie behouden blijft wanneer de berichten automatisch naar het Grieks worden vertaald, een taal die een tekort heeft aan specifieke middelen voor deze taak.

Methodologie
De auteurs stellen een pipeline voor die een geavanceerd meertalig LLM (GPT-3.5-turbo) gebruikt voor zowel de vertaal- als de classificatietaken.

• Dataset: De studie maakt gebruik van de DEPSEVERITY-dataset (Naseem et al., 2022), bestaande uit 3.553 Reddit-berichten gelabeld met vier niveaus van depressieve ernst: Minimaal, Mild, Matig en Ernstig. De dataset wordt gekenmerkt als zeer ongebalanceerd, waarbij de meerderheid van de berichten onder de categorie "Minimaal" valt.
• Procedure:
  1. Baseline (Engels): De LLM wordt geprompt om de originele Engelse berichten te classificeren in de vier ernstniveaus met behulp van 0-shot learning.
  2. Vertaling: Dezelfde LLM vertaalt de Engelse berichten naar het Grieks.
  3. Doelclassificatie (Grieks): De vertaalde Griekse teksten worden teruggevoerd in de LLM met een prompt om de ernstniveaus te voorspellen.
  4. Evaluatie: Prestaties worden gemeten met behulp van Precision, Recall en F1-scores, waarbij de voorspelde klassen worden vergeleken met de grondwaarheid-labels (ground truth) in beide talen. De temperatuurparameter werd ingesteld op 0 om reproduceerbaarheid te garanderen.
• Prompting Strategie: Voorafgaand aan de hoofdexperimenten voerden de auteurs voorlopige prompting uit om de interne logica van de LLM te begrijpen. Het model identificeerde patronen zoals aanhoudende negatieve emoties, zelfkritiek en gedragsveranderingen, en paste de ernstniveaus aan om aan te sluiten bij de context van sociale media (bijv. het definiëren van "Erstig" als berichten die wijzen op een risico op zelfbeschadiging of volledige sociale terugtrekking).

Belangrijkste Resultaten
De experimentele resultaten wijzen erop dat de LLM moeite heeft om accuraat onderscheid te maken tussen specifieke niveaus van depressieve ernst in beide talen, hoewel de prestaties variëren per klasse en taal.

• Engelse Prestaties: Het model behaalde de hoogste F1-score voor de "Minimaal" klasse (0,25) en de "Erstig" klasse (0,22). De algemene macro F1-score was laag op 0,17. De auteurs schrijven deze moeilijkheid toe aan de subtiele verschillen tussen ernstniveaus in gebruikersberichten vergeleken met andere condities.
• Griekse Prestaties: Na vertaling daalden de prestaties over het algemeen bij de meeste klassen.
  • De "Mild" klasse zag een lichte daling (F1: 0,07 in het Engels versus 0,06 in het Grieks).
  • De "Minimaal" klasse daalde aanzienlijk (F1: 0,25 in het Engels versus 0,14 in het Grieks).
  • De "Erstig" klasse daalde ook (F1: 0,22 in het Engels versus 0,20 in het Grieks).
  • Opvallend genoeg vertoonde de "Matig" klasse een verbetering in F1-score (0,17 in het Engels versus 0,23 in het Grieks).
• Foutanalyse: De auteurs analyseerden specifieke gevallen waarin de LLM angst- of paniekverschijnselen als depressie classificeerde. Bijvoorbeeld, een bericht dat paniek en angst beschrijft, werd door de LLM geclassificeerd als "Erstig", terwijl de grondwaarheid "Minimaal" was. De auteurs suggereren dat de LLM algemeen lijden (paniek/angst) kan verwarren met depressieve ernst, een nuance die de grondwaarheid-labels wel onderscheiden.
• Kosten: De experimenten werden uitgevoerd met een totale API-kost van minder dan $30, wat aantoont dat dergelijke evaluatiesheden kunnen worden uitgevoerd zonder dure GPU-infrastructuur of fine-tuning.

Betekenis en Claims
Het artikel claimt dat hoewel LLM's veelbelovend zijn, ze nog niet betrouwbaar genoeg zijn om alleen de ernst van depressie te bepalen, vooral wanneer er wordt vertrouwd op automatische vertaling voor talen met beperkte middelen zoals het Grieks.

• Beperkingen van Automatisering: De studie benadrukt dat de prestaties van LLM's aanzienlijk variëren per taal en ernstklasse. De auteurs benadrukken dat de huidige resultaten onvoldoende zijn voor een directe diagnose bij patiënten.
• Rol van Menselijk Toezicht: In lijn met de bevindingen van Stade et al. (2024), stellen de auteurs dat de diagnose van mentale gezondheid nooit volledig aan automatische systemen mag worden overgelaten. Menselijk toezicht blijft cruciaal om misdiagnose te voorkomen.
• Potentieel Nut: In plaats van clinici te vervangen, suggereren de auteurs dat deze aanpak waardevol kan zijn voor de training van professionals in de geestelijke gezondheidszorg, met name in regio's waar de middelen schaars zijn en de taal niet Engels is.
• Toekomstige Behoeften: Het werk benadrukt de noodzaak van verder onderzoek naar cultureel en taalkundig gevoelige benaderingen, betere gegevensverzameling voor talen met beperkte middelen en de ontwikkeling van robuustere transfer learning-technieken om de nuances van mentale gezondheidsterminologie over verschillende culturen heen te beheersen.