CNSocialDepress: A Chinese Social Media Dataset for Depression Risk Detection and Structured Analysis

Probleemstelling

Depressie is een dringende wereldwijde volksgezondheidskwestie, waarbij naar schatting 95 miljoen mensen in China hieraan lijden. Hoewel er veel onderzoek is gedaan naar het automatisch detecteren van depressie via machine learning (ML) en natuurlijke taalverwerking (NLP), bestaan er aanzienlijke beperkingen in de huidige beschikbare bronnen, specifiek voor de Chinese taal:

1. Gebrek aan gestructureerde data: Bestaande datasets focussen voornamelijk op binaire classificatie (depressief vs. niet-depressief) en missen diepgaande, gestructureerde psychologische inzichten.
2. Kwaliteit en validatie: Veel datasets zijn gegenereerd door modellen of gebaseerd op automatische metrics (zoals ROUGE) zonder validatie door professionele psychologen, wat de betrouwbaarheid in de domeinspecifieke context beperkt.
3. Taaltekort: Er is een groot gebrek aan hoogwaardige, openbare datasets voor Chinese sociale media die zowel binaire labels als gedetailleerde, interpreteerbare psychologische analyses combineren.

Methodologie

De auteurs introduceren CNSocialDepress (CNSD), een benchmark-dataset voor het detecteren van depressierisico's op Chinese sociale media (Sina Weibo). De aanpak omvat drie hoofdfasen:

1. Dataverzameling en Expert-Annotatie (CNSD Gold)

• Bron: De ruwe data is afkomstig van het bestaande SWDD-dataset (Sina Weibo Depression Dataset).
• Selectie: Er zijn 233 gebruikers geselecteerd (116 met een zelfgerapporteerde klinische diagnose van depressie en 117 zonder).
• Annotatieprotocol: Een team van vier senior psychologen heeft 10.306 segmenten binnen 44.178 posts geannoteerd. Ze volgden een strikt protocol gebaseerd op de DSM-5 criteria en de PHQ-9 vragenlijst.
• Zes Dimensies: De annotatie is gestructureerd rond zes specifieke dimensies, onderverdeeld in primaire (objectieve) en secundaire (subjectieve) criteria:
  1. Depressieve psychologische staat (primair): o.a. zelfwaan, schuldgevoel, suïcidale gedachten.
  2. Medische uitdrukkingen (primair): medicatiegebruik, diagnoses, ziekenhuisbezoek.
  3. Klinische symptomen (primair): slaapproblemen, eetlustverlies, vermoeidheid, pijn.
  4. Negatieve emoties (secundair): verdriet, angst, eenzaamheid.
  5. Externe oorzaken (secundair): relatieproblemen, familiekonflikten, stressoren.
  6. Taalgebruikspatronen (secundair): ontkenning, vragen, zelfafwijzende taal.
• Kwaliteitsborging: Annotators waren "geblindeerd" ten opzichte van de originele labels. Het richtlijnenproces was iteratief, waarbij men discussies gebruikte om consensus te bereiken.

2. Geautomatiseerde Datageneratie (CNSD Silver)
Om de schaalbaarheid van handmatige annotatie te overwinnen, ontwikkelden de auteurs een geautomatiseerde pipeline om een grotere dataset (CNSD Silver) te genereren:

• Module I (Automatische Labeling): Een fijngetuned model (Qwen2.5-14B) leert posts toe te wijzen aan de zes dimensies op basis van de "Gold"-data. Er werd gebruikgemaakt van balansstrategieën (downsampling) en paraphrased prompts om overfitting te voorkomen.
• Module II (Verificatie en Samenvatting): Een krachtiger model (DeepSeek-R1-671B) verifieert de labels en evidence per geval en genereert vervolgens gestructureerde samenvattingen die overeenkomen met het schema van de Gold-data.

3. Experimenten en Evaluatie
De auteurs hebben de dataset en pipeline getest in drie experimenten:

• Kwaliteit van gegenereerde data: Vergelijking van de pipeline-output met few-shot prompting van grote modellen (zoals GPT-4o en DeepSeek-R1).
• Classificatieprestaties: Evaluatie van binaire depressiedetectie.
• Gestructureerde samenvatting: Benchmarking van modellen op het genereren van de zes-dimensionale analyses.

Belangrijkste Bijdragen

1. CNSD Dataset: De release van een hoogwaardige, publiek beschikbare Chinese dataset die binaire labels combineert met gedetailleerde, door experts gevalideerde, gestructureerde psychologische analyses.
2. Expert-in-the-Loop Protocol: Een innovatief annotatieprotocol dat klinische richtlijnen (DSM-5) koppelt aan linguïstische patronen, met een iteratief kwaliteitscontroleproces.
3. Geautomatiseerde Pipeline: Een bewezen methode om grote hoeveelheden "Silver"-data te genereren die bijna net zo goed presteert als handmatig geannoteerde data, waardoor schaalbaarheid mogelijk wordt.
4. Uitgebreide Benchmark: Een uitgebreide evaluatie van diverse NLP-taken, waaronder classificatie, gestructureerde analysegeneratie en het fijnafstemmen van Large Language Models (LLMs) voor psychologisch redeneren.

Resultaten

• Datakwaliteit: De geautomatiseerde pipeline (CNSD Silver) presteerde aanzienlijk beter dan few-shot prompting op grote modellen. Op automatische metrics (BERTScore, ROUGE-1, BLEU) behaalde de pipeline de hoogste scores (bijv. BERTScore 0.791 vs. 0.678 voor GPT-4o few-shot).
• Menselijke Evaluatie: Modellen die zijn fijngetuned op de Gold-data (Qwen2.5-14B Gold) presteerden het beste in menselijke evaluaties op nauwkeurigheid (+42,9% t.o.v. basis) en dekking (+58,0%). De Silver-data (Qwen2.5-14B Silver) presteerde iets minder goed dan Gold, maar nog steeds aanzienlijk beter dan het originele model en few-shot benaderingen.
• Classificatie: Het model Qwen2.5-14B, fijngetuned op de Silver-data, behaalde de beste classificatieprestaties met een nauwkeurigheid van 94,4% en een F1-score van 94,1, wat beter was dan grote modellen zoals GPT-4o (91,7% nauwkeurigheid) en DeepSeek-R1-671B.
• Gestructureerde Analyse: De dataset bleek effectief voor het trainen van modellen om niet alleen een label te geven, maar ook een onderbouwing te leveren met verwijzingen naar specifieke tekstsegmenten en dimensies.

Betekenis en Toekomstperspectief

CNSocialDepress vult een kritieke leemte in de NLP- en mentale gezondheidsresearch voor de Chinese taal.

• Interpreteerbaarheid: Door de zes-dimensionale structuur biedt de dataset inzicht in waarom een post als depressief wordt geclassificeerd, wat essentieel is voor klinische toepassing en vertrouwen in AI-systemen.
• Schaalbaarheid: De geautomatiseerde pipeline biedt een blauwdruk voor het creëren van vergelijkbare datasets voor andere talen of domeinen, waarbij de kosten van handmatige expert-annotatie worden verlaagd zonder in te leveren op kwaliteit.
• Toepassing: De dataset ondersteunt de ontwikkeling van tools voor vroege risicodetectie en kan worden gebruikt voor het trainen van LLM's die als assistent kunnen fungeren voor professionals (niet als vervanging voor diagnose).
• Beperkingen: De auteurs erkennen dat de data uitsluitend van Weibo komt (demografische bias), dat dialecten en metaforen ondervertegenwoordigd zijn, en dat de dataset niet bedoeld is voor klinische diagnose, maar slechts als hulpmiddel voor risicoidentificatie.

Samenvattend biedt CNSocialDepress een robuust fundament voor de volgende generatie AI-systemen die gericht zijn op het begrijpen en detecteren van mentale gezondheidsproblemen in Chinese digitale ruimtes.