SynSym: A Synthetic Data Generation Framework for Psychiatric Symptom Identification

Probleemstelling

Het identificeren van psychiatrische symptomen in sociale mediaberichten is cruciaal voor het begrijpen van de mentale gezondheid van gebruikers en het mogelijk maken van vroege detectie en gepersonaliseerde interventies. Echter, het bouwen van grote, hoogwaardige datasets voor deze taak stuit op ernstige obstakels:

1. Resource-intensieve labeling: Het labelen van symptomen vereist experts (psychiaters), wat duur en tijdrovend is.
2. Gebrek aan standaardisatie: In tegenstelling tot diagnose op ziekteniveau (bijv. depressie), is symptoomniveau-labeling vaak subjectief, wat leidt tot inconsistente annotaties en lage onderlinge overeenstemming tussen annotatoren.
3. Data-schaarste en onevenwichtigheid: Bestaande datasets zijn vaak klein, bevatten weinig voorbeelden per symptoomklasse (soms slechts 100 instances) en vertonen een sterke class imbalance.
4. Beperkte generalisatie: Modellen getraind op data van één platform (bijv. Twitter) of in één schrijfstijl (bijv. klinisch vs. informeel) presteren slecht op nieuwe platforms of variërende uitdrukkingswijzen.

Methodologie: Het SynSym Framework

Om deze uitdagingen aan te pakken, stellen de auteurs SynSym voor, een framework voor het genereren van synthetische data met behulp van Large Language Models (LLMs). Het framework vereist geen specifieke fine-tuning van het LLM en werkt op basis van een lijst met symptoomklassen en korte beschrijvingen. Het proces bestaat uit vier fasen:

1. Uitbreiding van Symptoomconcepten (Symptom Concept Expansion):

   • Elk hoog-niveau symptoom (bijv. "Suïcidale ideatie") wordt door het LLM uitgebreid naar minstens tien fijnmazige sub-concepten.
   • Dit zorgt voor een bredere dekking van de diverse manieren waarop een symptoom zich in de realiteit kan manifesteren, wat de variatie in de gegenereerde data vergroot.

2. Generatie van Enkelvoudige Symptoomuitdrukkingen (Single-Symptom Expression Generation):

   • Het framework genereert synthetische zinnen in twee distincte stijlen om de variatie in online communicatie te dekken:
     • Klinische stijl: Formele, objectieve uitspraken met medische terminologie (vergelijkbaar met diagnose-documentatie).
     • Colloquiale stijl: Informele, eerste-persoons beschrijvingen zoals gebruikelijk op sociale media.
   • Motivatie: LLM's neigen vaak om directe, klinisch expliciete termen (zoals "zelfverminking") te vermijden en te vervangen door vage uitdrukkingen. Door expliciet te vragen om klinische stijl, wordt de dekking van essentiële diagnostische taal gewaarborgd.

3. Generatie van Meerdere Symptoomuitdrukkingen (Multi-Symptom Expression Generation):

   • Aangezien gebruikersposts vaak meerdere gelijktijdige symptomen bevatten, genereert het framework voorbeelden met meerdere symptomen.
   • Cruciaal hierbij is het gebruik van klinische achtergrondkennis over comorbiditeit (welke symptomen vaak samen voorkomen). Het LLM wordt gevoed met literatuur over co-occurrence patronen om realistische combinaties te genereren, in plaats van willekeurige mixen die tot spurious correlaties leiden.

4. Evaluatie en Kwaliteitscontrole (Synthetic Expression Evaluation):

   • Een LLM evalueert de gegenereerde zinnen op een schaal van 1 tot 5 om te bepalen of ze semantisch overeenkomen met de beoogde symptoomlabels.
   • Zinnen met een lage score (≤ 2) worden verwijderd om de kwaliteit van het dataset te waarborgen.

Kernbijdragen

• Eerste framework voor symptoomidentificatie: SynSym is het eerste framework dat LLM's specifiek inzet voor het genereren van synthetische data voor multi-label psychiatrische symptoomidentificatie (in plaats van alleen ziekte-classificatie).
• Klinisch onderbouwde diversiteit: Door sub-concepten en klinische achtergrondkennis te integreren, creëert het framework data die zowel linguïstisch divers (klinisch vs. informeel) als klinisch relevant is.
• Validatie door experts: De gegenereerde data is gevalideerd door twee erkende psychiaters, die de klinische validiteit van de sub-concepten en de synthetische uitdrukkingen bevestigden (gemiddelde scores > 4.6/5.0).
• Openbaarheid: Alle bronnen, inclusief de synthetische dataset en de code, zijn openbaar beschikbaar.

Experimentele Resultaten

De auteurs hebben SynSym getest op drie benchmarkdatasets voor depressiesymptomen (PsySym, PRIMATE, D2S) met verschillende stijlen en platformen.

• Prestaties alleen op synthetische data: Modellen die uitsluitend zijn getraind op de SynSym-data (SynSymw/o Real) presteren vergelijkbaar met modellen die op echte data zijn getraind. Dit toont aan dat de synthetische data klinisch zinvol is en goed generaliseert over verschillende linguïstische stijlen.
• Verbetering door fine-tuning: Wanneer modellen die op SynSym-data zijn getraind, nagefintuned worden met een kleine hoeveelheid echte data (SynSymwith Real), overtreffen ze alle baselines (inclusief BERT-varianten en zero-shot LLM's) op de meeste metrieken (Macro-F1 en Macro-Recall).
• Generaliseerbaarheid: Modellen getraind op SynSym-data tonen sterke prestaties bij cross-dataset evaluatie (bijv. trainen op SynSym, testen op PRIMATE), terwijl modellen getraind op één echte dataset slecht presteren op andere datasets.
• Extensibiliteit: Het framework bleek ook effectief voor andere aandoeningen dan depressie, zoals PTSS, eetstoornissen en ADHD, waar echte data vaak schaars is.
• Vergelijking met Back-Translation: In tegenstelling tot traditionele data-augmentatie via back-translation (die de prestaties op sommige datasets zelfs verslechterde door ruis of vervorming van metaforen), leverde SynSym consistente verbeteringen op. Dit benadrukt dat kwaliteit en klinische onderbouwing belangrijker zijn dan alleen het vergroten van de datasetgrootte.

Betekenis en Conclusie

SynSym biedt een praktische oplossing voor het tekort aan hoogwaardige, gelabelde data in de klinische NLP. Het framework demonstreert dat synthetische data, mits zorgvuldig gegenereerd met klinische richtlijnen en expert-validatie, een effectief alternatief kan zijn voor of een krachtige aanvulling op echte annotaties. Dit maakt het mogelijk om robuuste modellen te bouwen voor de detectie van diverse psychiatrische symptomen, zelfs in scenario's waar het verzamelen van grote hoeveelheden gelabelde data onmogelijk is vanwege privacy- of kostenredenen. De studie markeert een belangrijke stap in het gebruik van generatieve AI voor het verbeteren van de mentale gezondheidszorg via data-gedreven methoden.