💻 computer science

Uncovering Intervention Opportunities for Suicide Prevention with Language Model Assistants

Dit artikel toont aan dat taalmodellen effectief kunnen assisteren bij het analyseren van gevoelige onderzoeksverslagen over zelfmoord door bestaande annotaties met een hoge nauwkeurigheid te matchen, discrepanties voor beoordeling naar boven te brengen en efficiënte human-in-the-loop verfijning van annotatierichtlijnen voor nieuwe variabelen mogelijk te maken.

Oorspronkelijke auteurs: Jaspreet Ranjit, Hyundong J. Cho, Claire J. Smerdon, Yoonsoo Nam, Myles Phung, Jonathan May, John R. Blosnich, Swabha Swayamdipta

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaspreet Ranjit, Hyundong J. Cho, Claire J. Smerdon, Yoonsoo Nam, Myles Phung, Jonathan May, John R. Blosnich, Swabha Swayamdipta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het National Violent Death Reporting System (NVDRS) voor als een enorme, chaotische bibliotheek met meer dan 270.000 tragische verhalen over zelfmoord in de Verenigde Staten. Elk verhaal is een "narratief" geschreven door onderzoekers, maar naast deze verhalen zijn er ook strikte, vooraf ingevulde formulieren (gestructureerde data) waar experts handmatig vakjes hebben aangevinkt zoals "Was de persoon depressief?" of "Had diegene een probleem met een vuurwapen?".

Het probleem is dat het invullen van deze formulieren voelt alsof je probeert een specifieke naald in een hooiberg te vinden terwijl je zware handschoenen draagt. Het is traag, emotioneel uitputtend en soms mist de persoon die het formulier invult een detail in het verhaal dat in tegenspraak is met wat er op het formulier is aangevinkt.

Dit artikel gaat over het overhandigen van een superintelligente digitale assistent (een taalmodel) aan de menselijke experts om hen te helpen deze bibliotheek sneller en nauwkeuriger te ordenen.

Hier is hoe het artikel het onderverdeelt, met behulp van eenvoudige analogieën:

1. De "Tweede Paar Ogen" (Bestaande gegevens controleren)

De onderzoekers vroegen eerst: Kan deze AI-assistent de verhalen lezen en de formulieren net zo goed invullen als de menselijke experts?

De Test: Ze lieten de AI 50 verschillende soorten "vinkje"-vragen (zoals "Was er een probleem op school?") over duizenden verhalen heen beantwoorden.
Het Resultaat: De AI stemde in 85% van de gevallen overeen met de menselijke experts.
De Verborgen Pareltje: Wanneer de AI en de mens verschillend waren, vroegen de onderzoekers een senior expert om de casus opnieuw te bekijken. Ze ontdekten dat in 38% van de gevallen de menselijke expert daadwerkelijk een fout had gemaakt of een detail in het verhaal had gemist dat de AI wel had opgemerkt.
- Analogie: Het is als een spellingscontrole. Als je "hun" in plaats van "hen" typt, merk je dat misschien niet, maar de computer wel. Hier hielp de computer om fouten in de aantekeningen van de mens te vinden die voor het blote oog verborgen bleven.

2. De "Co-piloot voor Nieuwe Ideeën" (Nieuwe vinkjes verzinnen)

De formulieren van de bibliotheek zijn oud. Ze hebben geen vinkjes voor alles wat vandaag de dag belangrijk zou kunnen zijn. Zo hadden de formulieren oorspronkelijk bijvoorbeeld geen vakje voor "Had het slachtoffer contact met een advocaat?".

Normaal gesproken is het creëren van een nieuw vinkje een nachtmerrie. Experts moeten:

Honderden verhalen lezen.
Een regelboek (een "codeboek") schrijven dat precies definieert wat eronder valt.
Een team mensen laten duizenden verhalen lezen om het regelboek te testen.
Dit wekenlang herhalen.

De onderzoekers bouwden een human-in-the-loop algoritme (een "Co-piloot"-systeem) om dit te versnellen:

Stap 1: De AI raadt de antwoorden op basis van een grove beschrijving van de regel.
Stap 2: De menselijke expert kijkt alleen naar de gevallen waar de AI het fout had.
Stap 3: De expert zegt: "Nee, dat is geen contact met een advocaat, dat is gewoon een politierapport," en legt uit waarom.
Stap 4: De AI leert van die ene correctie en werkt zijn regelboek direct bij.
Het Resultaat: Dit proces veranderde een taak die normaal gesproken weken duurt in iets dat slechts uren kostte. Het uiteindelijke regelboek dat door dit teamwerk werd gecreëerd, was net zo goed als een regelboek dat door mensen op de oude, langzame manier was gemaakt.

3. De Grote Ontdekking: De "Advocaat"-connectie

Met behulp van deze nieuwe, snelle methode zocht het team naar een specifiek patroon: Had zelfmoordslachtoffers contact met juridische professionals (advocaten, rechters, politie)?

De Bevinding: Ze ontdekten dat in 12,7% van alle verhalen (meer dan 100.000 gevallen) er bewijs was van deze interacties.
Waarom het ertoe doet: Deze interacties waren vaak "impliciet". Een verhaal kan bijvoorbeeld zeggen: "Het slachtoffer ging door een moeizame scheiding," zonder expliciet te vermelden: "ze zagen een advocaat." Mensen kunnen dit missen als een "juridische interactie", maar de AI, geleid door het nieuwe regelboek, ving het wel op.
De Implicatie: Dit suggereert dat advocaten en juridische professionals een enorme, onbenutte groep mensen zijn die kunnen helpen bij de preventie van zelfmoord, maar dat zij momenteel niet deel uitmaken van de standaard preventietraining.

De Gouden Regels (Wat het artikel feitelijk zegt)

De auteurs zijn zeer voorzichtig om niet te veel beloftes te doen. Ze benadrukken drie kernpunten:

AI is een Helper, Geen Vervanging: De AI is een hulpmiddel om experts sneller te maken en hun fouten te ontdekken. Het mag nooit de menselijke expert vervangen, vooral niet in kritieke situaties zoals de preventie van zelfmoord.
Veiligheid Eerst: De AI is goed in het opsporen van concrete zaken (zo zoals "vuurwapen" of "arrest"), maar heeft moeite met vage gevoelens (zoals "depressieve stemming"). Voor die lastige emotionele onderwerpen moeten mensen de leiding blijven houden.
Privacy: De gebruikte gegevens waren al ontdaan van namen en persoonlijke details. De AI draaide op lokale computers, zodat gevoelige gegevens niet naar het internet werden verzonden.

Kortom: Het artikel laat zien dat door een slimme AI te koppelen aan menselijke experts, we oude gegevens kunnen opschonen, verborgen fouten kunnen vinden en snel nieuwe patronen kunnen ontdekken (zoals de link tussen het rechtssysteem en zelfmoord) die in de toekomst levens kunnen redden.

Technisch overzicht: Het ontdekken van interventiekansen voor suïcidepreventie met taalmodel-assistenten

Probleemstelling

Het National Violent Death Reporting System (NVDRS) is een cruciale volksgezondheidsbron die gestructureerde en ongestructureerde gegevens bevat over meer dan 270.000 gevallen van suïcide in de Verenigde Staten. Hoewel de gestructureerde gegevens handmatig door experts worden geannoteerd met behulp van uitgebreide codeboeken, is dit proces emotioneel belastend, tijdrovend en gevoelig voor inconsistenties tussen de ongestructureerde narratieven (afgeleid van verslagen van lijkschouwers/medische onderzoekers en wetshandhavingsinstanties) en de gestructureerde labels.

Momenteel vereist het ontdekken van nieuwe mogelijkheden voor suïcide-interventie dat experts handmatig narratieven analyseren, nieuwe codeboeken ontwikkelen voor niet-gemeten variabelen en de gehele dataset retrospectief annoteren. Deze handmatige flessenhals beperkt het vermogen om niet-klinische risicofactoren en opkomende interventiemogelijkheden te identificeren. Dit onderzoek onderzoekt of Large Language Models (LMs) effectieve assistenten kunnen dienen om deze last te verlichten, inconsistenties in gegevens aan het licht te brengen en de ontwikkeling van codeboeken voor nieuwe variabelen te versnellen.

Methodologie

Het onderzoek is gestructureerd rond twee primaire onderzoeksvragen (RQs) en bijbehorende methodologieën:

1. LM als een annotatie-assistent (RQ1)

De auteurs evalueren of LMs menselijke annotaties voor bestaande NVDRS-variabelen kunnen repliceren en discrepanties tussen narratieven en gestructureerde gegevens kunnen identificeren.

Opzet: Ze zetten lokaal gehoste, open-weight LMs in (inclusief Llama-3-70B, Qwen2.5 en Mistral) als annotatie-assistenten.
Prompting: Prompts werden geconstrueerd door officiële NVDRS-codeboeken (definities, reactieopties, richtlijnen voor discussie) te adapteren naar een gestandaardiseerd formaat. De modellen kregen de taak om Chain-of-Thought (CoT) redeneringen en binaire labels (0/1) te genereren voor 50 bestaande variabelen.
Evaluatie: Prestaties werden gemeten tegenover menselijke abstractor-annotaties op een gebalanceerde dataset (500 narratieven per variabele) en een willekeurige steekproef die de realiteit van de klassenimbalans weerspiegelt.
Detectie van inconsistenties: Voor variabelen met een lage overeenstemming voerden de auteurs een expertreview uit van gevallen waar de LM en de menselijke abstractor van mening verschilden, om te bepalen of de onenigheid wijst op echte inconsistenties in de oorspronkelijke gegevens (narratief versus gestructureerd label).

2. Human-in-the-Loop (HitL) Codeboekontwikkeling (RQ2)

Om het gebrek aan codeboeken voor nieuwe variabelen aan te pakken, introduceerden de auteurs een iteratief algoritme om efficiënt codeboeken op te bouwen.

Algoritme: Het proces begint met een grove initiële richtlijn ( $G_0$ ) die alleen de variabelenaam bevat. De LM genereert voorspellingen op een steekproef van narratieven.
Feedbackloop: Een expert beoordeelt alleen de onjuiste voorspellingen van de LM, waarbij de correcte label en een rationale worden verstrekt.
Verfijning: De LM gebruikt deze correcties van de expert om het codeboek ( $G_{t+1}$ ) te synthetiseren en bij te werken.
Terminatie: De loop gaat door totdat de LM een streef nauwkeurigheid bereikt op een onafhankelijke validatieset of een vooraf gedefinieerd annotatiebudget is bereikt.
Steekproeftrekking: Het algoritme maakt gebruik van coverage-based sampling om narratieven te selecteren die het meest verschillen van eerder geannoteerde gevallen, wat zorgt voor diverse feedback.

3. Casestudy: Juridische interacties

Het HitL-algoritme werd toegepast op een nieuwe variabele: interacties van slachtoffers met juridische professionals. Deze variabele werd gekozen omdat interacties met niet-klinische professionals (bijv. advocaten) ondanks bewijs van hun relevantie onderbelicht zijn in de suïcidepreventie. De studie vergeleek de efficiëntie en kwaliteit van het door HitL gegenereerde codeboek met een handmatig ontwikkeld expert-codeboek.

Belangrijkste Resultaten

Annotatieprestaties

Overeenstemming: Llama-3-70B bereikte een gemiddelde overeenstemming van 85% met menselijke abstractors over 50 variabelen op een gebalanceerde dataset.
Variabele-specificiteit: De overeenstemming was hoger voor concrete, vuurwapen-gerelateerde variabelen (bijv. GunPlaying, TPR > 0,96) en lager voor mentale gezondheidsgerelateerde variabelen (bijv. SuicideThoughtHistory, TPR < 0,3).
Zichtbaar maken van inconsistenties: In gevallen waar de LM van mening verschilde met de menselijke abstractor, stelde een expertreview vast dat 38% van deze instanties echte inconsistenties vertegenwoordigde tussen het narratief en de gestructureerde gegevens, vergeleken met slechts 13% wanneer zij het eens waren. Dit suggereert dat LMs effectief problemen met de datakwaliteit kunnen signaleren.

Efficiëntie van Codeboekontwikkeling

Simulatie: In simulaties waarbij bestaande variabelen als "nieuwe" variabelen werden gebruikt, stelden de door HitL gegenereerde codeboeken de LMs in staat om 80% overeenstemming met menselijke annotators te bereiken, wat beter is dan codeboeken afgeleid van officiële NVDRS-richtlijnen (75% overeenstemming).
Real-world Casestudy:
- Efficiëntie: De HitL-aanpak verkortte de tijd voor codeboekontwikkeling van weken naar uren (3,5 uur expert-tijd versus ~4 weken) en vereiste het annoteren van slechts 125 narratieven (tegenover 350) om een vergelijkbare prestatie te behalen.
- Kwaliteit: Het HitL-codeboek bereikte een Macro F1-score van 0,78, wat statistisch gelijk is aan het handmatig ontwikkelde expert-codeboek (0,78) over meerdere modellen.
- Ontdekking: Het toepassen van het definitieve HitL-codeboek op de volledige NVDRS-dataset onthulde dat 12,7% van de suïcidenarratieven bewijs bevat van interacties met juridische professionals (12,16% impliciet, 0,53% expliciet).

Betekenis en Claims

Het artikel beweert dat LMs effectieve, efficiënte assistenten kunnen zijn voor publieke gezondheidsonderzoekers in domeinen met hoge inzet, mits ze collaboratief worden gebruikt met menselijke experts in plaats van als vervanging.

Efficiëntie in data-analyse: LMs kunnen de handmatige last van het annoteren van gevoelige overlijdensverslagen aanzienlijk verminderen, waarbij ze een hoge overeenstemming bereiken met menselijke experts op gestructureerde variabelen.
Verbetering van de datakwaliteit: Voorspellingen van LMs kunnen inconsistenties tussen ongestructureerde narratieven en gestructureerde gegevens blootleggen, wat een mechanisme biedt om de kwaliteit van bestaande volksgezondheidsdatabases te verbeteren.
Versnelde ontdekking: Het voorgestelde HitL-algoritme maakt de snelle ontwikkeling van codeboeken voor nieuwe variabelen mogelijk, waardoor onderzoekers nieuwe hypothesen kunnen testen (zoals niet-klinische interventiemogelijkheden) zonder de prohibitieve tijdskosten van traditionele handmatige codering.
Nieuwe Interventieroutes: De identificatie van frequente interacties tussen slachtoffers en juridische professionals suggereert een substantiële, voorheen ongekwantificeerde kans voor preventieve interventies aan de bron (bijv. training van juridische professionals om risico's te herkennen).

Beperkingen en Ethische Overwegingen

De auteurs nemen een bescheiden standpunt in en erkennen verschillende beperkingen:

Omvang: De evaluatie is beperkt tot een subset van 50 binaire variabelen en één casestudy (juridische interacties); de generaliseerbaarheid van het algoritme naar andere niet-klinische factoren of de volledige 600+ NVDRS-variabelen moet nog volledig worden getest.
Menselijke Validatie: Validatie van de "ground truth" voor de gehele dataset is onhaalbaar vanwege de emotionele impact op annotatoren; de studie vertrouwt op een kleinere, door experts geannoteerde testset.
Veiligheid: De auteurs adviseren expliciet om geen vertrouwen te hebben in LMs als peer-validators voor variabelen met een lage overeenstemming (met name mentale gezondheidsonderwerpen) en raden aan dat modellen voorspellingen met een hoge onzekerheid markeren.
Menselijk Toezicht: Succes hangt af van de mens-LM-samenwerking waarbij LMs de domeinexpertise aanvullen en niet vervangen. De studie benadrukt dat de ontwikkeling van codeboeken altijd onder toezicht moet staan van domeinexperts om veiligheidsrisico's te minimaliseren.

Het werk concludeert dat hoewel LMs krachtige instrumenten bieden voor datagestuurde ontdekkingen in de suïcidepreventie, de inzet ervan strikt menselijk toezicht, ethische waarborgen voor het welzijn van annotatoren en een collaboratief kader vereist dat veiligheid boven dekking prioriteert.