Technische Samenvatting: Team MKC bij CLPsych 2026

Probleemstelling

Het artikel behandelt de uitdaging van het vastleggen en karakteriseren van veranderingen in de mentale gezondheid via tijdlijnen op sociale media, een cruciale taak gezien de wereldwijde prevalentie van psychische stoornissen en de beperkte toegankelijkheid van professionele zorg. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in algemene domeinen, wordt hun toepassing in de klinische psychologie gehinderd door het tekort aan trainingsdata vanwege privacyzorgen. De auteurs richten zich op de CLPsych 2026 shared task, die gebruikmaakt van een dataset geïntroduceerd door Tsakalidis et al. (2022b) om "Moments of Change" (MOC) te identificeren—temporele punten waar verschuivingen in de stemming van een gebruiker observeerbaar worden. Het kernprobleem betreft een pijplijn van vijf onderling samenhangende taken:

1. Post-niveau Beoordeling: Het classificeren van ABCD-subelementen en zelf-toestanden (adaptief/maladaptief) voor individuele berichten.
2. Gebruikers-niveau Aggregatie: Het schatten van de aanwezigheidsgraad van elke mentale staat over de geschiedenis van een gebruiker.
3. Temporele Modellering: Het identificeren van "Switches" (plotselinge veranderingen) en "Escalations" (geleidelijke intensiveringen) in chronologisch geordende berichten.
4. Samenvatting: Het genereren van samenvattingen van veranderingsgebeurtenissen.
5. Patroonextractie: Het detecteren van recurrente dynamische signaturen van verbetering en verslechtering.

Een aanzienlijke technische hindernis die wordt geïdentificeerd, is de ernstige klassenonbalans en de gegevensschaarste binnen de dataset, waarbij sommige subdimensies slechts één trainingsinstantie of zelfs geen enkele bevatten.

Methodologie

De auteurs stellen een verenigde, vijfstaps LLM-gebaseerde pijplijn voor, ontworpen om beoordeling op post-niveau te integreren met temporele modellering op gebruikersniveau.

Stap 1: Classificatie op Post-niveau

Het systeem classificeert 12 onafhankelijke targets per post (6 subdimensies voor adaptieve toestanden en 6 voor maladaptieve toestanden).

• Architectuur: Qwen3-4B-Embedding (Qwen Embed) dient als de feature extractor, gefinetuned via LoRA.
• Trainingsstrategie: De embeddings worden gevoed aan 12 onafhankelijke classificatiesystemen die getraind zijn met Cross-Entropy loss. Om de klassenonbalans aan te pakken, maken de auteurs gebruik van inverse-frequentie weging (geclipt naar een maximum van 10 om instabiliteit te voorkomen) en een 5-voudige kruisvalidatie strategie met ensembling.

Stap 2: Presentatie-score van Zelf-toestand

Deze stap voorspelt numerieke scores (1–5 Likert-schaal) voor adaptieve en maladaptieve zelf-toestanden.

• Architectuur: Specifieke predictoren regresseren scalaire waarden uit de Step 1 embeddings.
• Trainingsstrategie: Modellen gebruiken weighted Huber loss, waarbij gewichten zijn afgeleid van de inverse frequentie van de score-bins. De output wordt geschaald naar het bereik [1, 5]. Net als bij Stap 1 wordt een 5-voudige kruisvalidatie-ensemble gebruikt.

Stap 3: Moment of Change (MOC) Detectie

Deze stap detecteert twee soorten transities: Switch (plotselinge verandering tussen opeenvolgende berichten) en Escalation (geleidelijke intensivering).

• Architectuur: Qwen Embed is gefinetuned met LoRA, gekoppeld aan twee onafhankelijke lineaire classificatiesystemen.
• Input: Een sliding window van grootte 2 (berichten op $t-1$ en $t$) om transities op tijdstip $t$ te voorspellen.
• Trainingsstrategie: Binary Cross-Entropy met adaptieve klasse-weging en een 5-voudige kruisvalidatie-ensemble. De auteurs merken op dat grotere modellen (8B) overfitten op de kleine dataset (~500 samples), waardoor zij de voorkeur geven aan het 4B-model.

Stap 4: Sequentie Samenvatting

Het doel is het genereren van een natuurlijke taal samenvatting van de gehele sequentie, waarbij annotaties van de vorige stappen worden opgenomen.

• Architectuur: Supervised Fine-Tuning (SFT) op Qwen3.5-4B en Qwen3-4B-Instruct met behulp van LoRA.
• Inference: Het model neemt voorspellingen van de stappen 1–3 als input in plaats van de grondwaarheid (ground truth), om de pijplijn-setting getrouw te simuleren.
• Uitdaging: De auteurs observeerden dat het finetunen op deze kleine dataset soms de prestaties verslechterde in vergelijking met zero-shot prompting, waarschijnlijk door ruispropagatie en het risico dat het model vooraf geleerde kennis overschrijft.

Stap 5: Dynamische Signatuur Extractie

Deze laatste stap analyseert hoe componenten van de zelf-toestand interageren over sequenties heen om recurrente patronen van verslechtering en verbetering te identificeren.

• Aanpak: Een zero-shot benadering met behulp van Qwen3.5-9B.
• Proces: Om Out-of-Memory fouten te voorkomen, worden sequenties in groepen verdeeld om signaturen te extraheren, die vervolgens worden samengevat.

Belangrijkste Resultaten

• Stap 1 & 2 (Classificatie & Regressie): Op de validatieset verbeterde adaptieve weging de prestaties voor Stap 1 consistent. Echter, voor Stap 2 presteerden ongewogen modellen beter. Op de testset zorgde K-fold ensembling voor duidelijke verbeteringen ten opzichte van single-model baselines voor beide stappen, wat wordt toegeschreven aan de meer volledige benutting van de trainingsdata.
• Stap 3 (MOC Detectie): Het Qwen3-4B model presteerde beter dan de 8B variant, wat bevestigt dat grotere modellen overfitten op de beperkte dataset. De K-fold ensemble verhoogde de F1-score verder naar 0.55.
• Stap 4 (Samenvatting): De gefinetunede modellen (Qwen3.5-4B en Qwen3-4B) presteerden slechter dan de zero-shot baseline wat betreft consistentie en contradictie-scores. De auteurs wijten dit aan ruis van de voorgaande stappen en het risico dat finetuning de vooraf geleerde kennis wist.
• Stap 5 (Signaturen): De zero-shot benadering leverde scores op van 0.7266 voor Verbetering en 0.2301 voor Verslechtering.

Betekenis en Bijdragen

Het artikel presenteert een uitgebreide pijplijn die post-niveau beoordeling en gebruikers-niveau temporele modellering verenigt voor mentale gezondheidsanalyse. De belangrijkste bijdragen zijn:

1. Verenigd Framework: Een samenhangend systeem dat het spectrum behandelt van granulaire post-classificatie tot hoog-niveau temporele patroonextractie.
2. Robuustheid tegen Imbalans: Het effectieve gebruik van inverse-frequentie weging en K-fold ensembling om de ernstige klassenonbalans en gegevensschaarste die inherent zijn aan datasets voor mentale gezondheid te mitigeren.
3. Empirische Inzichten over Model Scaling: De studie benadrukt dat in low-resource, high-noise domeinen, kleinere modellen (4B) gecombineerd met ensemble-strategieën kunnen presteren zoals grotere modellen (8B) die gevoelig zijn voor overfitting.
4. Waarschuwing bij Fine-Tuning: De resultaten suggereren dat in extreem low-resource settings, zero-shot prompting soms superieur kan zijn aan finetuning, omdat dat laatste het risico draagt waardevolle vooraf geleerde kennis te overschrijven.

Beperkingen en Toekomstig Werk

De auteurs erkennen aanzienlijke beperkingen, primair de schaarste aan trainingsdata (ongeveer 500 samples) en de daaruit voortvloeiende klassenonbalans. Zij merken op dat sommige subdimensies onvoldoende data bevatten voor betrouwbare leerprocessen.

• Voorgestelde Oplossing: De auteurs suggereren het gebruik van LLM's om synthetische gebruikersberichten te genereren voor ondervertegenwoordigde subdimensies om een meer gebalanceerde dataset te creëren.
• Ethische Overwegingen: Het artikel benadrukt dat deze pijplijn een onderzoeksartefact is, geen diagnostisch instrument. Er wordt gewaarschuwd voor de risico's van vals-positieven/negatieven in klinische settings en de ethische complexiteit van het genereren van synthetische data voor gevoelige onderwerpen zoals zelfbeschadiging, waarbij wordt gepleit voor klinische expertbeoordeling voordat dergelijke data voor training wordt gebruikt.