Technische Samenvatting: Fine-tuning van LLM's voor de schatting van passieve depressieve ernst vanuit AI-mentale gezondheidsdialogen

Probleemstelling

Depressie is wereldwijd de belangrijkste oorzaak van beperkingen, maar vroege detectie van symptoomverergering blijft uitdagend vanwege lage voltooiingspercentages van gevalideerde instrumenten zoals de Patient Health Questionnaire-9 (PHQ-9) in de echte wereld. Dit introduceert responsbias en systematische ontbrekende gegevens. Hoewel AI-platforms voor mentale gezondheid rijke, getranscribeerde dialogen genereren die de ervaringen en emotionele taal van gebruikers vastleggen, richten huidige architecturen zich vaak op counselor-gerichte interacties in plaats van op gebruikersmodellering. Bestaand onderzoek naar het voorspellen van PHQ-9-scores uit tekst is gefragmenteerd en leunt op kleine steekproeven (n=89–335), gestructureerde klinische interviews (bijv. DAIC-WOZ) of specifieke teksttypen (dagboeken, klinische aantekeningen). Cruciaal is dat geen enkel eerder werk heeft geprobeerd om volledige PHQ-9-ernstscores (inclusclusief suïcidale ideatie) te voorspellen uit grootschalige, naturalistische AI-therapie-dialogen zonder gestructureerde klinische prompts.

Methodologie

Datacollectie en Preprocessing

De studie maakte gebruik van gegevens van "Ash", een door AI aangedreven platform voor mentale gezondheid. De dataset bestond uit 3.953 gebruikers die een baseline PHQ-9 voltooiden voorafgaand aan hun eerste gesprek en gedurende de eerste zeven dagen ten minste 10 berichten met de AI uitwisselden.

• Input: Gesprekstranscripten geformatteerd als afwisselende beurten tussen gebruiker en assistent.
• Preprocessing: Berichten werden gesubsampleerd naar een maximum van 300 tokens (gelijkmatig verdeeld) om het temporele verloop van het gesprek te behouden.
• Distributie: De cohort was hulpzoekend, waarbij 81,8% boven de klinische drempel scoreerde (PHQ-9 ≥10), wat een significante klassenimbalans creëerde richting ernstige depressie.

Modelarchitectuur

Het kernmodel maakt gebruik van een Qwen3.5-27B backbone die is gefinetuned met een regressiekop.

• Inputverwerking: Transcripten worden getokeniseerd met de chattemplate van het model met een maximale sequentielengte van 16.384 tokens.
• Trainingsmechanisme: Een LoRA-adapter wordt getraind voor 5 epochs met behulp van Mean Squared Error (MSE) loss op de continue PHQ-9 totaalscore. De leersnelheid volgt een cosine schedule met een 0,1 warm-up fractie en een batchgrootte van 8 (via gradient accumulation).

Pseudo-labeling Strategie (Semi-supervised Learning)

Om gegevensschaarste en klassenimbalans aan te pakken, gebruikten de auteurs een vierfasen iteratieve pseudo-labeling aanpak om de trainingsset uit te breiden van 3.111 grondwaarheid-gebruikers naar 6.283:

1. Opus Pseudo-Labeling: Claude Opus 4.6 werd gepromptt om PHQ-9 scores te schatten voor niet-gelabelde gesprekken. Om de scheefheid van de dataset naar ernstige gevallen te corrigeren, werden alleen gebruikers met een geschatte score onder de 10 behouden (605 gebruikers).
2. Intermediaire Model Pseudo-Labeling (v1): Een model getraind op grondwaarheid plus Opus-labels werd gebruikt om labels te genereren voor een aanvullende 2.567 niet-gelabelde gebruikers (waarbij het volledige ernstbereik behouden bleef).
3. Iteratieve Re-labeling (v2): Het verbeterde model uit stap 2 werd gebruikt om dezelfde 2.567 gebruikers opnieuw te labelen, wat resulteerde in een verfijnde dataset.
4. Ensembling: Vier modellen, getraind op de uiteindelijke re-pseudo-gelabelde dataset, werden geenssembleerd door hun voorspellingen te middelen om ruis en spurieuze signalen te mitigeren.

Belangrijkste Resultaten

Op een onafhankelijke testset van 842 gebruikers bereikte het uiteindelijke ensemble-model de volgende prestatie-indicatoren:

• Mean Absolute Error (MAE): 2,62
• Root Mean Squared Error (RMSE): 4,03
• Pearson Correlatie (r): 0,803
• AUC bij Klinische Drempel (PHQ-9 ≥10): 0,908

Cross-Severity Discriminatie:
Het model demonstreerde robuuste discriminatie over het gehele klinische spectrum, met een AUC > 0,87 bij elke drempel van PHQ-9 ≥3 tot PHQ-9 ≥24. Dit geeft aan dat het model kan onderscheiden tussen milde, matige, matig ernstige en ernstige depressie, in plaats van enkel binaire casusstatus te detecteren.

Foutanalyse:

• Recall per Ernstniveau: Het model identificeerde 70% van de ernstige gevallen correct, maar slechts 22% van de minimale gevallen. Dit weerspiegelt de zware scheefheid van de trainingsdata naar gebruikers met een hoge ernst.
• Foutdistributie: De meeste fouten waren misclassificaties in aangrenzende banden (binnen 1 ernstband), met een nauwkeurigheid binnen de band van 92%.
• Vergelijking: De Normalized MAE van het model (0,097) vertegenwoordigt een verbetering van 34–39% ten opzichte van eerdere benchmarks op de DAIC-WOZ corpus (NMAE 0,148–0,160).

Belangrijkste Bijdragen en Betekenis

1. Schaal en Ecologische Validiteit: Dit is de eerste grootschalige studie (n ≈ 4.000) die PHQ-9 scores voorspelt uit naturalistische, ongeleide AI-therapie-dialogen, waarmee het verder gaat dan de kleine, gestructureerde interviewdatasets (n < 300) die de eerdere literatuur domineren.
2. Voorspelling van het Volledige Spectrum: In tegen tegenstelling tot eerder werk dat vaak Item 9 (suïcidale ideatie) weglaat of zich richt op binaire classificatie, voorspelt dit model de volledige continue PHQ-9 score (0–27, wat graduele klinische onderscheid mogelijk maakt over alle ernstniveaus.
3. Capaciteit voor Passieve Monitoring: De aanpak toont aan dat de ernst van depressie uitsluitend kan worden afgeleid uit gesprekstekst zonder dat gebruikers zelfrapportage-vragenlijsten hoeven in te vullen. Dit maakt passieve, continue symptoommonitoring en vroege detectie van verslechtering mogelijk in real-world AI-mentale gezondheidsplatforms.
4. Methodologische Vooruitgang: De studie valideert een semi-supervised pipeline die gebruik maakt van reasoning modellen (Claude Opus) en iteratieve zelf-labeling om effectief beperkte grondwaarheid-datasets uit te breiden, waarbij superieure prestaties worden behaald door middel van ensemble averaging.

Beperkingen en Reikwijdte

De auteurs merken op dat de dataset een zelfgeselecteerde, hulpzoekende populatie vertegenwoordigt, wat de generaliseerbaarheid naar de bredere populatie kan beperken. De lagere recall van het model voor minimale ernst is een direct gevolg van het trainen op een cohort waar 81,8% van de gebruikers klinische depressie vertoonde. De auteurs positioneren dit werk als een fundamentele stap naar schaalbare, passieve mentale gezondheidsscreening, waarbij zij erkennen dat verdere bevestiging nodig is voor populatiebrede generalisatie.