Development and Evaluation of HopeBot: an LLM-based chatbot for structured and interactive PHQ-9 depression screening

Technische Samenvatting: Haalbaarheid en Gebruikersevaluatie van HopeBot

Probleemstelling
Screening op depressie leunt zwaar op de Patient Health Questionnaire-9 (PHQ-9). Hoewel klinisch geadministreerde interviews ruimte bieden voor het verhelderen van ambigue antwoorden en de detectie van suïcidaliteit, zijn deze zeer arbeidsintensief en moeilijk op te schalen. Daartegenover staan zelfadministrerende versies, die breed worden toegepast voor digitale screening, maar die gebrek aan interactiviteit vertonen; ze bieden geen mogelijkheid voor gebruikers om ambigue antwoorden te verduidelijken of real-time begeleiding te ontvangen. Dit statische format kan de gebruikersbetrokkenheid en de nauwkeurigheid van de scoring beperken, met name bij individuen met een lagere gezondheidsvaardigheid of fluctuerende emotionele toestanden. Bestaande chatbot-gebaseerde screeningssystemen vertrouwen vaak op rigide, regelgebaseerde architecturen (bijv. vooraf gedefinieerde intents) die de conversationele flexibiliteit en het vermogen om genuanceerde emotionele toestanden te verwerken beperken, of ze missen transparante, op bewijs gebaseerde redenering.

Methodologie
De auteurs hebben HopeBot ontwikkeld, een conversationele agent aangedreven door GPT-4o, ontworpen om de PHQ-9 te administreren via tekst of spraak, waarbij de gevalideerde structuur en scoringlogica van het oorspronkelijke instrument behouden blijven.

• Systeemarchitectuur:

  • Core Engine: Maakt gebruik van GPT-4o voor natuurlijke taalbegrip en -generatie, waarbij zowel Engels als Mandarijn natief wordt ondersteund zonder vertaling.
  • Retrieval-Augmented Generation (RAG): Om het risico op hallucinaties te minimaliseren en veiligheid te waarborgen, maakt het systeem een RAG-laag die is geworteld in vier gecureerde databronnen: (1) 34 geanonimiseerde transcripten van cognitieve gedragstherapie (CGT)-sessies, (2) A Therapist's Guide to Brief CBT, (3) emotionele dialoogdatasets (ESConv en PsyQA_example), en (4) tweetalige hulplijnen uit het VK en China.
  • Scoringlogica: Het LLM interpreteert de gebruikersantwoorden en koppelt deze aan PHQ-9 categorieën (A–D). De numerieke scoring (0–3 per item) en de totale aggregatie worden echter deterministisch uitgevoerd door een backend-functie, wat zorgt voor reproduceerbare scores die onafhankelijk zijn van de generatie door het taalmodel.
  • Interactieprotocol: Het systeem volgt een driefasige structuur: (1) de opbouw van een verstandhouding (maximaal 20 beurten), (2) sequentiële PHQ-9 administratie met dynamische verheldering bij ambigue inputs, en (3) gepersonaliseerde feedback en veiligheidsbegeleiding.
  • Veiligheidsmechanismen: Het systeem bevat crisidetectie om gebruikers door te verwijzen naar gevalideerde hulplijnen en opereert binnen een beveiligde, gepseudonimiseerde onderzoeksomgeving die voldoet aan de Britse GDPR.

• Studieontwerp:

  • Een prospectieve, binnen-onderwerp haalbaarheidsstudie werd uitgevoerd met 132 volwassenen gerekruteerd uit het VK en China.
  • Procedure: Deelnemers voltooiden een standaard zelfadministrerende PHQ-9, gevolgd door de door HopeBot ondersteunde PHQ-9.
  • Evaluatie: De studie mat de overeenstemming in scores tussen de twee formaten en verzamelde gebruikersfeedback via een enquête met 25 items en open vragen. De zelfadministrerende PHQ-9 diende als een pragmatische comparator voor de getrouwheid van de scoring, niet als een klinische referentiestandaard voor diagnostische validiteit.
  • Analyse: Kwantitatieve analyse omvatte de Intraclass Correlation Coefficient (ICC), Spearman's rangcorrelatie en Bland–Altman plots. Kwalitatieve analyse volgde het thematische kader van Braun en Clarke.

Belangrijkste Bijdragen

1. Format-gealigneerde Administratie: HopeBot introduceert een methodologisch kader dat de gevalideerde structuur, sequentie en scoringlogica van de PHQ-9 behoudt, terwijl het natuurlijke, open gespreksinteractie mogelijk maakt.
2. Op Bewijs Gebaseerd Ontwerp: Door RAG te integreren met autoritatieve psychologische bronnen, biedt het systeem verhelderingen en veiligheidsbegeleiding die traceerbaar en gegrond zijn, wat het risico op onveilige of hallucinerende outputs vermindert die gebruikelijk zijn bij open-ended LLM-interacties.
3. Dynamische Verheldering: In tegen tegenover eerdere regelgebaseerde systemen interpreteert HopeBot adaptief vrije tekstreacties, geeft real-time verhelderingsprompts bij ambigue inputs en koppelt expliciet gebruikersantwoorden aan scoringcategorieën.
4. Tweetalige Multimodale Capaciteit: Het systeem ondersteunt naadloze tekst- en spraakinteractie in zowel Engels als Mandarijn, waarbij gebruik wordt gemaakt van de natieve meertalige capaciteiten van GPT-4o en lage-latentie audioverwerking.

Resultaten

• Score Concordantie: De door HopeBot ondersteunde scores vertoonden een hoge overeenkomst met de zelfadministrerende scores.
  • Intraclass Correlation Coefficient (ICC): 0,92 (95% CI: 0,89–0,94).
  • Mediaan Absoluut Verschil: 1 punt.
  • Identieke Scores: 44,7% van de deelnemers (59/132) ontving identieke scores van beide formaten.
  • Bias: Er werd geen systematische neiging gevonden om ernstratings te inflateren of te verlagen (Wilcoxon signed-rank test, p = 0,649).
  • Subgroepanalyse: De concordantie bleef hoog over verschillende ernstniveaus en wervingslanden, met slechts minimale, waarschijnlijk klinisch onbeduidende variaties.
• Gebruikersacceptatie:
  • Vertrouwen: Onder deelnemers die de twee formaten vergeleken, rapporteerde 71% (53/75) een groter vertrouwen in de door HopeBot ondersteunde scores, waarbij zij wezen op een duidelijkere structuur, interpretatieve begeleiding en een ondersteunende toon.
  • Bruikbaarheidsscores: De gemiddelde scores (0–10) waren 8,4 voor comfort, 7,7 voor spraakhelderheid, 7,6 voor het omgaan met gevoelige onderwerpen en 7,4 voor de bruikbaarheid van aanbevelingen.
  • Voorkeur: 69,7% van de deelnemers gaf de voorkeur aan het chatbot-ondersteunde formaat boven zelfinvulling, waarbij zij de betrokkenheid en real-time verheldering waardeerden.
  • Beperkingen: Sommige gebruikers merkten generieke reacties op, een incidentele robotische toon en zorgen over privacy met betrekking tot AI-openbaring. Deelnemers met ervaring met geestelijke gezondheidszorg beoordeelden de bruikbaarheid van aanbevelingen aanzienlijk lager dan deelnemers zonder dergelijke ervaring.

Betekenis en Claims
Het artikel stelt dat HopeBot de haalbaarheid en acceptatie aantoont van het gebruik van een door LLM aangedreven conversationele agent met RAG-gebaseerde gronding voor de administratie van de PHQ-9. De hoge score concordantie suggereert dat dergelijke systemen de scoringnauwkeurigheid van zelfrapportage-instrumenten getrouw kunnen reproduceren, terwijl ze de voordelen van interactiviteit en verheldering toevoegen.

De auteurs positioneren HopeBot niet als een vervanging voor klinisch oordeel of een diagnostisch hulpmiddel, maar als een schaalbare aanvulling voor vroege, laag-belastende depressie-screening. De studie vestigt een "format-niveau validatiekader", dat dient als een methodologische brug tussen conventionele zelfbeoordeling en klinisch geleide evaluatie. De bevindingen suggereren dat conversationele levering de gebruikersbetrokkenheid en de waargenomen structuur kan verbeteren zonder de psychometrische integriteit van gestandaardiseerde screeningsinstrumenten in gevaar te brengen, wat potentieel de toegang tot gestructureerde screening in hulpbronnenarme omgevingen kan uitbreiden. De auteurs stellen expliciet dat verdere validatie tegen klinisch geadministreerde beoordelingen in real-world workflows vereist is om de diagnostische validiteit vast te stellen.