Depression Risk Assessment in Social Media via Large Language Models

Probleemstelling

Depressie is een van de meest voorkomende en invaliderende mentale gezondheidsproblemen wereldwijd, maar wordt vaak onderdiagnosticeerd en onderbehandeld. Hoewel sociale media een rijke bron vormen van natuurlijke linguïstische signalen voor het monitoren van psychisch welzijn, zijn bestaande oplossingen vaak afhankelijk van gespecialiseerde, handmatig gelabelde datasets en duur fine-tuning. De uitdaging ligt in het ontwikkelen van een schaalbare, kosteneffectieve methode die in staat is om depressie-risico's in grote hoeveelheden sociale mediagegevens te detecteren zonder de noodzaak van domeinspecifieke training.

Methodologie

De auteurs stellen een systeem voor dat gebruikmaakt van Large Language Models (LLMs) in een zero-shot setting (zonder extra training) om depressie-risico's te beoordelen op basis van Reddit-berichten. De aanpak bestaat uit drie kerncomponenten:

1. Gestructureerde Prompt Engineering:

   • LLMs worden geprompt om elk bericht te analyseren en te classificeren op basis van acht klinisch relevante emoties: woede, cognitieve disfunctie, leegte, hopeloosheid, eenzaamheid, verdriet, suïcidale intentie en waardeloosheid.
   • De output is een machine-leesbaar JSON-object met True/False waarden voor elke emotie.

2. Gewogen Depressie-ernstindex (S):

   • Op basis van de geïdentificeerde emoties wordt een cumulatieve ernstscore ($S$) berekend.
   • Emoties krijgen gewichten toegekend op basis van klinische relevantie (gebaseerd op schalen zoals PHQ-9 en BDI-II):
     • Gewicht 1: Woede, cognitieve disfunctie, leegte, eenzaamheid, verdriet.
     • Gewicht 2: Hopeloosheid, waardeloosheid (tekenen van ernstig lijden).
     • Gewicht 3: Suïcidale intentie (hoogste prioriteit, vereist directe interventie).
   • De totale score $S$ varieert van 0 tot 13 en wordt omgezet in vier ernstniveaus: minimaal (0-1), mild (2-4), matig (5-6) en ernstig (≥7).

3. Experimentele Opzet:

   • Gecontroleerde Benchmark: Evaluatie op het DepressionEmo-dataset (≈6.000 gelabelde posts) met negen lokaal draaiende LLMs (van 0,6B tot 27B parameters) vergeleken met state-of-the-art fine-tuned modellen (zoals BART, BERT).
   • In-the-Wild Analyse: Toepassing van het beste model op een dataset van 469.692 posts verzameld tussen 2024 en 2025 uit vier subreddits (r/anxiety, r/depression, r/depression_partners, r/mentalhealth).

Belangrijkste Bijdragen

1. Klinisch Onderbouwde Index: De ontwikkeling van een composite ernstindex die klinische gewichten toepast op emotionele labels, in plaats van een simpele telfunctie.
2. Zero-Shot Prompt Engineering: Een methode om LLMs effectief in te zetten voor multi-label classificatie van depressieve emoties zonder domeinspecifieke training, wat de ontwikkelkosten drastisch verlaagt.
3. Uitgebreide Evaluatie: Een systematische vergelijking van negen lokaal draaiende open-source LLMs tegen gespecialiseerde fine-tuned baselines.
4. Grootschalige Longitudinale Analyse: De eerste analyse van bijna 470.000 posts over een periode van 1,5 jaar, waarbij trends en risicoprofielen per community in kaart worden gebracht.

Resultaten

• Prestaties: Het model gemma3:27b behaalde de beste resultaten onder de LLMs met een micro-F1 van 0,75 en een macro-F1 van 0,70. Dit is zeer concurrerend vergeleken met gespecialiseerde fine-tuned modellen zoals BART (micro-F1 0,80), ondanks het ontbreken van training op de specifieke dataset.
• Modelgrootte: Er is een duidelijke correlatie tussen modelgrootte en prestaties; grotere modellen (14B-27B) tonen een beter evenwicht tussen precisie en recall dan kleinere modellen.
• Community Verschillen: De analyse toont duidelijke verschillen tussen communities:
  • In r/depression zijn emoties zoals verdriet en hopeloosheid dominant (>80-90% van de posts) en ligt de gemiddelde ernstscore rond de 7 (ernstig).
  • In r/anxiety komen deze emoties veel minder vaak voor en ligt de score lager (gemiddeld ~2,5), wat consistent is met de aard van angststoornissen.
• Temporale Stabiliteit: De risicoscores tonen over de periode 2024-2025 een stabiel patroon zonder grote fluctuaties, wat aangeeft dat het systeem reageert op structurele linguïstische patronen en niet op ruis. Er is wel een lichte stijgende trend in de eerste helft van 2025 waargenomen.
• Hoog Risico: Posts met een score >7 tonen een systematische convergentie van kritieke indicatoren, met name een sterke oververtegenwoordiging van suïcidale intentie en hopeloosheid.

Betekenis en Conclusie

De studie demonstreert dat LLMs een haalbaar, kosteneffectief alternatief zijn voor traditionele, gespecialiseerde machine learning-modellen in de context van digitale mentale gezondheidsmonitoring.

• Schaalbaarheid: Het systeem kan op beperkte, betaalbare hardware lokaal worden uitgevoerd, wat de afhankelijkheid van dure API's en cloud-diensten elimineert.
• Adaptiviteit: Omdat LLMs zijn getraind op enorme hoeveelheden algemene tekst, generaliseren ze beter naar evoluerende taalpatronen dan statische, fine-tuned modellen.
• Toepassing: Het systeem is niet bedoeld als vervanging voor klinische diagnostiek, maar als een schaalbaar triage-instrument voor het identificeren van hoog-risico gevallen in grote datasets. Dit stelt onderzoekers en zorgverleners in staat om grootschalige psychologische trends te monitoren en vroegtijdig in te grijpen.

De auteurs benadrukken echter de ethische beperkingen, zoals privacy en de zelfselectiebias van Reddit-gebruikers, en pleiten voor toekomstig werk gericht op validatie tegen klinische diagnoses en uitbreiding naar andere talen.