Technische Samenvatting: Een Systematische Evaluatie van Large Language Models voor de Schatting van PTSD-ernst

Probleemstelling

Nauwkeurige beoordeling van Posttraumatische Stressstoornis (PTSS) is cruciaal voor diagnose en behandeling, maar de toegang tot gespecialiseerde zorg wordt vaak beperkt door een tekort aan clinici. Hoewel gestructureerde zelfrapportage-instrumenten zoals de PTSD Checklist (PCL) bestaan, vertrouwen clinici vaak op ongestructureerde narratieve interviews om nuances te vangen die door rigide schalen worden gemist. Historisch gezien was het moeilijk om de ernst te kwantificeren vanuit deze natuurlijke taal-narratieven. Hoewel Large Language Models (LLM's) veelbelovend zijn, is hun toepassing in de geestelijke gezondheidszorg inconsistent gebleven, waarbij vaak wordt vertrouwd op ad-hoc prototypes in plaats van rigoureuze, systematische evaluaties. Bestaande studies lijden vaak aan selectiebiases (bijv. sociale media-data), kaderen PTSS als een binaire diagnose in plaats van een continu construct van ernst, en missen gestandaardiseerde prompting- of modelleringsstrategieën. Bovendien blijft het onduidelijk hoe contextuele kennis (bijv. symptoomdefinities, interviewcontext) en modelleringsstrategieën (bijv. redeneerinspanning, ensemble-methoden) de nauwkeurigheid en klinische bruikbaarheid van zero-shot LLM-beoordelingen beïnvloeden.

Methodologie

De auteurs voerden een systematische evaluatie uit met behulp van een klinische dataset van 1.437 natuurlijke taal-narratieven van World Trade Center (WTC) responders, gekoppeld aan zelfgerapporteerde PCL-ernstscores. De studie evalueerde 11 state-of-the-art LLM's (waaronder LLaMA-3.1, DeepSeek-R1, en OpenAI's GPT-5, o3-mini en 4o-mini) over twee primaire orthogonale assen:

1. Contextuele Kennis: De studie varieerde de informatie die aan het model werd verstrekt, waaronder:

   • Symptoomdefinities en gevalideerde schaalitems (subschaaldefinities, PCL-items).
   • Elicitatiecontext (deelnemerscriteria, interviewprompts).
   • Taakniveau-prioriteiten (scoreverdelingen).
   • Bewijs (specifieke tekstfragmenten).

2. Modelleringsstrategieën: De studie manipuleerde:

   • Modelkeuze: Open-weight modellen (LLaMA, DeepSeek) versus closed-weight (OpenAI) modellen; variërende parametergroottes (van 8B tot 670B+).
   • Prompting: Zero-shot versus few-shot (3-shot); Chain-of-Thought (Denk stap-voor-stap) versus standaard prompting.
   • Redeneerinspanning: Voor modellen die dit ondersteunen (o3-mini, GPT-5), variërende inspanningsniveaus (laag, medium, hoog).
   • Taakformulering: Directe scalaire voorspelling (totaalscore) versus subschaal-gebaseerde voorspelling (aggregatie van Re-experiencing, Avoidance, Dysphoria, Hyperarousal).
   • Post-processing: Voorspellende herverdeling (kalibratie om de doelvariantie te matchen) en ensemble-methoden (middelen van voorspellingen van diverse modellen).

Baselines en Validatie:

• Baselines: Een gesuperviseerd RoBERTa-gebaseerd regressiemodel en twee expert-menselijke beoordelaars (graduate studenten klinische psychologie).
• Metrieken: Pearson correlatie ($r$) en Mean Absolute Error (MAE) ten opzichte van zelfgerapporteerde PCL-scores.
• Validiteitscontroles:
  • Discriminante Validiteit: Correlatie met algemene negatieve affectiviteit (PANAS), alcoholgebruik (AUDIT) en andere diagnoses (angst, depressie).
  • Criteriumvaliditeit: Associatie met toekomstige uitgaven aan geestelijke gezondheidszorg (ongeveer 1 jaar na het interview).
  • Getrouwheid (Faithfulness): Menselijke annotatie van 359 LLM-redeneringsclaims om de gronding in de taal van de patiënt en de correctheid van de inferentie te verifiëren.

Belangrijkste Resultaten

1. Modelprestaties en Schaling

• Open-Weight Modellen: De prestaties voor open-weight modellen (LLaMA, DeepSeek) plateauiden voorbij 70B parameters. Schalen naar 405B of 670B verbeterde de nauwkeurigheid niet consistent ten opzichte van de 70B variant.
• Closed-Weight Modellen: Propriëtaire modellen, in het bijzonder GPT-5, presteerden significant beter dan alle anderen, met de hoogste correlaties ($r \approx 0,59$ versus menselijke beoordelaars bij $r \approx 0,44$).
• Few-Shot versus Zero-Shot: Few-shot prompting leverde geen consistente verbeteringen op en verslechterde soms de prestaties in vergelijking met zero-shot.

2. Redenering en Prompting

• Redeneerinspanning: Het verhogen van het redeneerniveau (laag naar hoog) in modellen zoals o3-mini en GPT-5 leidde tot significante verbeteringen in zowel correlatie als MAE. Hoge inspanning verminderde de MAE van 9,56 naar 8,23 (o3-mini) en verbeterde de correlatie.
• Chain-of-Thought (CoT): Expliciete "Think-Step-By-Step" prompting leverde inconsistente resultaten op, wat soms de prestaties verslechterde voor sterke modellen, wat suggereert dat expliciete redenering-elicitatier niet universeel voordelig is voor klinische regressietaken.

3. Contextuele Kennis en Taakformulering

• Contextuele Aanwijzingen: Het verstrekken van gedetailleerde constructdefinities (subscale definities) en de studiecontext verbeterde de nauwkeurigheid aanzienlijk.
• Directe versus Subschaal Voorspelling: In tegen tegen de klinische workflows die subschalen aggregeren, presteerde directe scalaire voorspelling van de totaalscore beter dan de subschaal-gebaseerde aanpak. De subschaal-aanpak introduceerde ruis, zoals verwacht, omdat de voorspelde subschalen minder onderling gecorreleerd waren dan de zelfgerapporteerde scores.
• Voorspellende Herverdeling: Post-hoc herverdeling om de doelverdeling te matchen verminderde de MAE aanzienlijk (bijv. LLaMA-3.1-70B MAE daalde van 10,95 naar 8,25) zonder de correlatie drastisch te veranderen.

4. Ensembling en Menselijke Vergelijking

• Ensembles: De beste prestatie ($r = 0,565$) werd bereikt door een ensemble van een gesuperviseerde RoBERTa-baseline met een zero-shot LLM (GPT-5). Dit suggereert dat gesuperviseerde modellen en zero-shot LLM's complementaire aspecten van variantie vastleggen.
• Menselijke Beoordelaars: Frontier LLM's (GPT-5, LLaMA-3.1-70B) presteerden significant beter dan getrainde menselijke beoordelaars ($p < 0,05$) in zero-shot schattingen, waarbij ze de correlatie van menselijke beoordelaars ($r = 0,44$) met zelfrapportages overtroffen.

5. Validiteit en Nut

• Specificiteit: LLM-schattingen waren significant meer gecorreleerd met PTSS-ernst dan met algemene negatieve affectiviteit of alcoholgebruik, wat discriminante validiteit aantoont.
• Externe Validiteit: LLM-schattingen voorspelden toekomstige uitgaven aan geestelijke gezondheidszorg ($r = 0,268$). Deelnemers in het hoogste kwartiel van voorspelde ernst waren verantwoordelijk voor ongeveer 50% van de toekomstige kosten.
• Incrementele Validiteit: LLM-schattingen boden voorspellende waarde voor toekomstige kosten en symptoomernst bovenop wat werd gevangen door de eigen zelfgerapporteerde PCL-scores van de patiënt.
• Getrouwheid (Faithfulness): Menselijke annotatie toonde aan dat 95,3% van de LLM-claims gegrond was in de taal van de patiënt (direct genoemd of geïnferentieerd), hoewel een klein deel betrekking had op niet-onderbouwde inferenties.

Betekenis en Claims

Het artikel claimt dat contextuele kennis en modelleringsstrategieën de nauwkeurigheid en klinische bruikbaarheid van LLM-gebaseerde PTSS-beoordelingen wezenlijk beïnvloeden. Specifiek:

1. Optimalisatie is Cruciaal: Naïef, context-arm gebruik van LLM's kan de nauwkeurigheid met wel 40% verminderen vergeleken met geoptimaliseerde configuraties.
2. Voorbij Haalbaarheid: De studie gaat verder dan enkel de haalbaarheid naar een principiële evaluatie, waarbij wordt aangetoond dat goed geconfigureerde LLM's de nauwkeurigheid van menselijke beoordelaars in zero-shot settings kunnen evenaren of zelfs overtreffen.
3. Complementaire Benaderingen: De superieure prestaties van ensembles (gesuperviseerd + zero-shot) dagen het idee uit dat grote generalistische modellen kleinere, taakspecifieke modellen overbodig maken. In plaats daarvan suggereren ze dat een hybride aanpak noodzakelijk is voor precisiepsychologie.
4. Klinisch Nut: LLM-gebaseerde schattingen leggen prospectieve, klinisch relevante informatie vast (toekomstig hulpverbruik) die niet volledig wordt gevangen door standaard zelfrapportage-instrumenten, wat wijst op een rol voor deze tools bij triage, monitoring en besluitvormingsondersteuning.

De auteurs concluderen dat hoewel LLM's enorm potentieel tonen, hun inzet een zorgvuldige vormgeving vereist van inputs (contextuele kennis) en strategieën (redeneerinspanning, ensembling) om betrouwbaarheid en klinische relevantie te waarborgen.