Learning Evidence of Depression Symptoms via Prompt Induction

1. Probleemstelling

Het artikel adresseert de uitdaging om automatisch klinisch bewijs van depressiesymptomen in door gebruikers gegenereerde tekst (bijvoorbeeld sociale media, forums) te identificeren, ter ondersteuning van grootschalige screening voor mentale gezondheid.

• Taak: Classificatie op zinsniveau van 21 specifieke depressiesymptomen zoals gedefinieerd door de BDI-II (Beck Depression Inventory-II)-vragenlijst.
• Data: De studie maakt gebruik van BDI-Sen, een dataset die is geannoteerd voor bewijs van symptomen in de eerste persoon.
• Uitdagingen:
  • Extreme onevenwichtigheid: Veel symptomen hebben zeer weinig gelabelde positieve voorbeelden.
  • Subtiliteit: Symptomen zijn taalkundig subtiel en worden vaak verward met "harde negatieven" (zinnen die andere symptomen noemen of hypothetische of verleden staten beschrijven).
  • Beperkingen van standaard LLM-benaderingen: De auteurs stellen vast dat gangbare strategieën voor Large Language Models (LLM) – Zero-Shot (ZS), In-Context Learning (ICL) en Supervised Fine-Tuning (SFT) – moeite hebben om consistente, symptoomspecifieke relevantiecriteria toe te passen. ICL neigt vaak tot overvoorspelling door data-schaarste, terwijl SFT kan overfitten of faalt in generalisatie bij zeldzame symptomen.

2. Methodologie: Symptoominductie (SI)

De auteurs stellen Symptom Induction (SI) voor, een nieuw raamwerk dat gelabelde trainingsvoorbeelden transformeert in beknopte, interpreteerbare natuurlijke-taalrichtlijnen. In tegenstelling tot ICL, dat gebruikmaakt van vluchtige demonstraties, comprimeert SI deze voorbeelden tot herbruikbare beslissingsregels.

Het SI-proces:

1. Inductiefase:
   • Voor elk symptoom wordt een gebalanceerde demonstratieset samengesteld (tot 15 positieve en 15 negatieve voorbeelden, inclusief harde negatieven).
   • Een vast "leraar"-model (Gemma 3 27B) wordt geprompt om een natuurlijke-taalrichtlijn voor dat specifieke symptoom te genereren.
   • De richtlijn volgt een gestructureerd formaat, waaronder: een kernvraag over relevantie, patronen die aanwezigheid aangeven, patronen die niet kwalificeren (uitsluitingscriteria), specifieke woordenschat en randgevallen.
2. Beoordelingsfase:
   • De gegenereerde richtlijn wordt ingevoegd in de systeemprompt van "student"-modellen (kleinere LLM's).
   • Het model gebruikt de richtlijn als een statische beslissingsregel om nieuwe zinnen te classificeren, in plaats van ruwe voorbeelden opnieuw te interpreteren voor elke invoer.
   • Belangrijk voordeel: Dit ontkoppelt de generatie van richtlijnen van de classificatie, waardoor kennisoverdracht mogelijk is tussen verschillende model-families zonder hertraining.

3. Experimentele Opstelling

• Datasets:
  • BDI-Sen: Evaluatie binnen het domein (1.516 zinnen, 21 symptomen).
  • PsySym: Evaluatie over domeinen heen (11.220 zinnen, 7 stoornissen waaronder Bipolaire Stoornis en Eetstoornissen) om generalisatie te testen.
• Modellen: Acht LLM's uit vier families (Gemma 3, Llama 3, Phi-4, Qwen3) variërend van 3B tot 14B parameters.
• Baselines: Zero-Shot Prompting (ZS), In-Context Learning (ICL) en Supervised Fine-Tuning (SFT).
• Maten: Gewogen F1-score (om rekening te houden met klasse-onevenwichtigheid) en per-symptoom F1.

4. Belangrijkste Resultaten

Prestaties binnen het domein (BDI-Sen):

• Algemene prestaties: Symptom Induction (SI) behaalde de beste algehele gewogen F1 over zes van de acht geteste modellen.
  • Voorbeeld: Gemma 3 4B met SI scoorde 0,389, aanzienlijk beter dan ZS (0,267), ICL (0,171) en SFT (0,242).
• Modelgrootte versus strategie: De keuze van de strategie (SI) had een grotere impact dan de modelgrootte. Een 4B-model met SI presteerde beter dan grotere modellen die andere strategieën gebruikten.
• Foutanalyse:
  • ICL leed aan ernstige overvoorspelling (hoge False Positives) door moeite met het onderscheiden van subtiele negatieven.
  • SFT was conservatief, maar miste significant bewijs (hoge False Negatives) bij zeldzame symptomen.
  • SI behaalde de beste balans, door zowel false positives als false negatives te verminderen via expliciete opname-/uitsluitingscriteria.
• Zeldzame symptomen: SI toonde de meest significante winst bij infrequente symptomen (bijvoorbeeld "Verlies van Plezier" verbeterde van 0,224 F1 met ICL naar 0,508 met SI). Echter, alle methoden faalden bij extreem schaarse symptomen (bijvoorbeeld "Verlies van Interesse in Seks" met slechts 1 positief testvoorbeeld), wat data-schaarste als fundamentele bottleneck benadrukt.

Generalisatie over domeinen heen (PsySym):

• SI behield de hoogste ruwe gemiddelde F1 voor Depressie, Bipolaire Stoornis en Eetstoornissen.
• De prestatiekloof tussen SI en ICL vergrootte in settings over domeinen heen, wat suggereert dat herbruikbare gegenereerde richtlijnen beter generaliseren dan het opnieuw interpreteren van few-shot voorbeelden voor nieuwe domeinen.
• Zero-shot prompting bleef concurrerend voor sommige symptomen waar definities alleen al voldoende waren, maar SI excelleerde waar bewijs gemakkelijk verward kon worden.

5. Belangrijkste Bijdragen

1. Symptom Induction (SI): Introductie van een methode om gelabelde voorbeelden te distilleren tot interpreteerbare, herbruikbare richtlijnen voor classificatie op symptoomniveau, waarbij de taak wordt geframed als het induceren van relevantiecriteria.
2. Uitgebreide evaluatie: Een rigoureuze vergelijking van inferentiestrategieën (ZS, ICL, SFT, SI) over meerdere LLM-families en datasets, met identificatie van specifieke faalmodi voor elk.
3. Per-symptoomanalyse: Gedetailleerde analyse die aantoont dat SI het meest effectief is voor subtiele symptomen en harde negatieven, terwijl de beperkingen van huidige methoden bij extreem zeldzame symptomen worden erkend.
4. Overdracht tussen ziekten: Aangetoond dat richtlijnen geïnduceerd voor depressiesymptomen effectief kunnen worden overgedragen naar andere stoornissen met gedeelde symptomatologie (Bipolaire Stoornis, Eetstoornissen).

6. Betekenis en Beperkingen

Betekenis:

• Interpreteerbaarheid: SI biedt expliciete, voor mensen leesbare criteria voor waarom een zin als symptoom is geclassificeerd, waardoor het "black box"-probleem van standaard LLM's wordt aangepakt.
• Efficiëntie: Het vermijdt de rekenkosten van fine-tuning en de token-overhead van lange-context ICL.
• Schaalbaarheid: Biedt een praktische weg voor het schalen van screening voor mentale gezondheid vanuit door gebruikers gegenereerde tekst door gebruik te maken van kleine modellen die worden geleid door hoogwaardige, geïnduceerde regels.

Beperkingen:

• Dispariteit tussen leraar en student: De huidige opstelling maakt gebruik van een groter leraar-model (27B) om richtlijnen te genereren voor kleinere student-modellen. Het is onduidelijk hoeveel van de winst te danken is aan het inductie-paradigma versus de superieure capaciteit van de leraar.
• Data-schaarste: De methode kan het fundamentele gebrek aan data voor extreem zeldzame symptomen niet overwinnen; het vereist ten minste een paar positieve voorbeelden om zinvolle criteria te induceren.
• Toekomstig werk: De auteurs suggereren het verkennen van richtlijnen die worden verfijnd met een arts in de lus, en gerichte data-augmentatie voor ondervertegenwoordigde symptomen.