Development of a natural language processing application to extract and categorize mentions of violence from mental healthcare records text

Deze studie ontwikkelde en valideerde een succesvol NLP-model op basis van BERT dat vrij tekst uit psychiatrische elektronische patiëntendossiers analyseert om diverse vormen van geweld en gerelateerde contextuele factoren te extraheren en te categoriseren, hoewel het detecteren van tijdsaspecten minder goed lukte.

De kern

Stel je voor dat de medische dossiers van mensen met psychische problemen een enorme, onleesbare bibliotheek zijn. In deze bibliotheek staan duizenden verhalen geschreven in vrije tekst, vol met nuances en gevoelens. Vaak vertellen patiënten hierin over geweld dat ze hebben meegemaakt of zelf hebben gepleegd, maar deze verhalen zijn niet als een simpele 'ja/nee'-vakje opgeslagen. Ze zijn verstopt in zinnen als "De patiënt vertelde over een onrustige jeugd waarin er vaak werd geslagen" of "Er is sprake van financiële controle door de partner".

De onderzoekers van dit paper wilden een slimme digitale bibliothecaris bouwen die deze verstoppe verhalen kan vinden, begrijpen en sorteren.

Hier is hoe ze dat deden, vertaald naar alledaagse taal:

1. Het Probleem: De Naald in de Hooiberg

In de digitale dossiers (EHR) van een grote geestelijke gezondheidszorg in Zuid-Londen staan veel verhalen over geweld. Maar computers zijn niet slim genoeg om automatisch te zien wat er echt gebeurt. Ze zien alleen woorden, maar niet de context.

• Voorbeeld: Als er staat "geen geweld", denkt een simpele computer misschien dat het om geweld gaat. Als er staat "ik ben bang dat hij mij zal slaan", is dat een dreiging, geen daad.
• Het doel: Ze wilden een computerprogramma maken dat niet alleen ziet dat er over geweld wordt gesproken, maar ook begrijpt:
  • Wat voor soort geweld? (Lichamelijk, seksueel, emotioneel, of financieel?)
  • Wie is wie? (Is de patiënt het slachtoffer, de dader, of een getuige?)
  • Waar en wanneer? (Thuis of ergens anders? Vroeger of nu?)
  • Is het echt gebeurd of is het een dreiging/gedachte?

2. De Oplossing: De "Super-Lesboek" (NLP & BERT)

Om dit te doen, gebruikten ze een technologie die NLP (Natural Language Processing) heet. Je kunt dit zien als een zeer slimme robot die leest alsof hij een mens is. Ze gebruikten een specifiek type robot genaamd BERT.

Stel je BERT voor als een student die een super-lesboek heeft gekregen.

• Het lesboek: De onderzoekers namen 6.500 stukjes tekst uit de dossiers en lieten twee menselijke experts deze stukjes handmatig labelen. Ze maakten een streng regelsysteem (een "codeboek") waarin precies stond wat "emotioneel geweld" is versus "financieel geweld", en wat het verschil is tussen een "dader" en een "slachtoffer".
• De training: De robot (BERT) kreeg 90% van deze gelabelde stukjes om te studeren. Hij leerde patronen: "Ah, als het woord 'manipulatie' staat en er staat 'partner' bij, dan is het waarschijnlijk emotioneel geweld thuis."
• De examen: Daarna kregen ze de robot een examen (de overige 10% van de data) waar hij nog nooit van had gehoord, om te zien of hij het echt begrepen had.

3. De Resultaten: Een Slimme, maar Niet Perfecte Robot

De robot deed het verrassend goed, maar had ook zijn zwakke plekken.

Wat ging er fantastisch?

• Het detecteren van emoties en geld: De robot was heel goed in het vinden van verhalen over emotionele mishandeling (F1-score 0.89) en financiële mishandeling (0.88). Hij kon bijvoorbeeld goed zien als iemand werd gecontroleerd op zijn geld of constant werd uitgescholden.
• Rolherkenning: Hij kon heel goed onderscheid maken tussen iemand die geweld pleegde (dader) en iemand die het onderging (slachtoffer).
• Huiselijk geweld: Hij herkende goed of het geweld thuis plaatsvond.

Waar struikelde de robot?

• Tijdsreizen: De robot had moeite met het bepalen wanneer het geweld plaatsvond. Als er staat "ik werd als kind mishandeld", is dat duidelijk. Maar als de tekst vaag is, of als artsen in het verleden-tijd schrijven over iets dat nu gebeurt, raakt de robot de draad kwijt. Hij kon niet goed zeggen of het "vandaag" of "10 jaar geleden" was.
• Getuigen: Er waren te weinig voorbeelden in de data waarin iemand alleen een getuige was van geweld (bijvoorbeeld: "Ik zag mijn moeder slaan"). Omdat de robot dit zelden zag in zijn lesboek, kon hij dit niet goed herkennen.
• Seksueel geweld: Hij vond dit wel, maar miste soms de details (hij zag het niet altijd als hij er was).

4. Waarom is dit belangrijk? (De "Gouden Sleutel")

Vroeger waren onderzoekers als detectives die blindelings in een donkere kamer moesten zoeken naar bewijs. Ze moesten handmatig duizenden dossiers doorbladeren om te zien of geweld een rol speelde bij psychische klachten.

Met deze nieuwe "slimme bibliothecaris" kunnen onderzoekers nu:

• Grote patronen zien: Ze kunnen in één klap kijken naar honderdduizenden dossiers om te zien: "Is er een link tussen financiële mishandeling en depressie?" of "Hoe vaak komt het voor dat slachtoffers van huiselijk geweld ook daders worden?"
• Betere zorg: Het helpt artsen om sneller te zien of een patiënt in gevaar is, zodat ze beter kunnen helpen.

Conclusie

De onderzoekers hebben een krachtig nieuw gereedschap gebouwd dat de "ruis" in medische dossiers omzet in heldere data. Het is alsof ze een bril hebben gemaakt die ons laat zien wat er echt gebeurt in de verhalen van patiënten, waardoor we beter kunnen begrijpen hoe geweld en psychische gezondheid met elkaar verweven zijn. De robot is nog niet perfect (vooral de tijdreizen gaat hem nog niet af), maar hij is een enorme stap vooruit in het helpen van mensen en het verbeteren van onderzoek.

Technische samenvatting

Technische Samenvatting: Ontwikkeling van een NLP-toepassing voor het extraheren van geweld uit mentale gezondheidszorgrecords

1. Het Probleem
Ervaringen met geweld komen veelvuldig voor bij gebruikers van de geestelijke gezondheidszorg en zijn sterk geassocieerd met psychische stoornissen. Hoewel elektronische gezondheidsregistraties (EHR's) een rijke bron van informatie zijn, worden incidenten van geweld (zoals fysiek, seksueel, emotioneel en financieel geweld) zelden gestructureerd vastgelegd. In plaats daarvan staan deze beschrijvingen verspreid in vrije tekstnotities van clinici. Bestaande NLP-modellen (Natural Language Processing) waren vaak beperkt tot binaire classificaties (wel/niet geweld) of richtten zich op specifieke domeinen zoals politierapporten, maar misten de nuance en de onderlinge afhankelijkheden van verschillende geweldstypen en contextuele factoren in mentale gezondheidszorgdata.

2. Methodologie

• Data Bron: De studie gebruikte de Maudsley Clinical Record Interactive Search (CRIS)-platform, een gedecentraliseerde database van de South London and Maudsley NHS Foundation Trust, die data bevat van meer dan 500.000 patiënten.
• Data Collectie: Er werden 6.685 tekstfragmenten geïdentificeerd via zoekopdrachten met trefwoorden gerelateerd aan geweld (bijv. "abus", "assault", "coerciv", "financial abus").
• Annotatie: Twee annotatoren hebben deze fragmenten handmatig gelabeld volgens strikte richtlijnen.
  • Labelcategorieën:
    • Type geweld: Emotioneel, financieel, fysiek (niet-seksueel), seksueel, ongespecificeerd, of irrelevant.
    • Rol van de patiënt: Slachtoffer, dader, getuige, of onduidelijk.
    • Polariteit: Bevestigd, ontkend, of abstract (hypothetisch).
    • Aanwezigheid: Feitelijk geweld, dreiging, of onduidelijk.
    • Temporality: Verleden (meer dan een jaar geleden) of niet-verleden.
    • Situatie: Huiselijk (familie/partner) of niet-huiselijk.
  • Kwaliteitsborging: Van de 6.685 fragmenten werden er 6.500 gebruikt voor modelontwikkeling. Er werd gebruikgemaakt van dubbele annotatie (double-annotation) voor een subset om de inter-annotator overeenstemming (IAA) te waarborgen (Cohen's kappa varieerde van 0,70 tot 0,88).
• Model Architectuur:
  • Er werd een Multi-label BERT-model (Bidirectional Encoder Representations from Transformers) ontwikkeld.
  • Dit model is speciaal gekozen omdat het in staat is om afhankelijkheden tussen verschillende labels te leren (bijv. dat een patiënt tegelijkertijd slachtoffer en dader kan zijn, of dat emotioneel geweld vaak huiselijk is).
  • Training: 90% van de data (5.849 instanties) werd gebruikt voor training en 5-voudige kruisvalidatie. 10% (651 instanties) werd gereserveerd voor een "blinde" test.
  • Balancering: De datasets werden gebalanceerd op geslacht, etniciteit en leeftijd om vertekening te voorkomen.

3. Belangrijkste Resultaten

Het model presteerde over het algemeen zeer goed op de blinde testset, met uitzondering van temporale aspecten:

• Geweldstypen:
  • Emotioneel geweld: F1-score van 0,89.
  • Financieel geweld: F1-score van 0,88.
  • Fysiek geweld (niet-seksueel): F1-score van 0,84.
  • Ongespecificeerd geweld: F1-score van 0,81.
  • Seksueel geweld: Minder goed presterend (F1 = 0,67), voornamelijk door een lage recall (55%), wat wijst op een gebrek aan positieve voorbeelden in de trainingsdata.
• Rol en Context:
  • Het model kon de rol van de patiënt (dader vs. slachtoffer) nauwkeurig onderscheiden (F1 respectievelijk 0,89 en 0,84).
  • Huiselijke setting werd goed herkend (F1 = 0,88).
  • Beperking: Het herkennen van getuigen en rollen die onduidelijk waren, faalde (F1 = 0,00) vanwege te weinig voorbeelden in de dataset.
• Polariteit en Aanwezigheid:
  • Bevestigd geweld en feitelijke aanwezigheid werden uitstekend gedetecteerd (F1 > 0,90).
  • Het onderscheid tussen "bevestigd" en "abstract" (hypothetisch) geweld werkte goed (F1 > 0,87).
• Temporality (Tijdsaspect):
  • Dit was het zwakste punt. Het voorspellen van geweld uit het verleden ("Past") leverde een F1-score van slechts 0,65 op. Dit komt door de ambiguïteit in klinische notities en het feit dat artsen vaak in de verleden tijd schrijven, waardoor het onderscheid tussen recent en verleden moeilijk is.

4. Belangrijkste Bijdragen

1. Uitbreiding van NLP-capaciteiten: Voor het eerst wordt een NLP-model ontwikkeld dat niet alleen fysiek en seksueel geweld detecteert, maar ook emotioneel en financieel geweld uit mentale gezondheidszorgnotities haalt.
2. Multi-label Benadering: In tegenstelling tot eerdere studies die gebruikmaakten van losse binaire classifiers, gebruikt dit onderzoek een multi-label architectuur. Dit stelt het model in staat om complexe relaties te modelleren (bijv. een patiënt die zowel slachtoffer als dader is in een huiselijke setting).
3. Gedetailleerde Karakterisering: Het model extraheren niet alleen of er sprake is van geweld, maar ook wie betrokken is, waar het plaatsvond, en hoe het werd beschreven (dreiging vs. feit).
4. Schaalbaarheid: De studie toont aan dat het mogelijk is om grote hoeveelheden ongestructureerde klinische data te transformeren in gestructureerde data voor onderzoek en surveillance.

5. Betekenis en Toekomstperspectief

Deze studie biedt een krachtig instrument voor onderzoekers en clinici om de link tussen geweld en psychische gezondheid beter te begrijpen. Door geweldsystematisch te extraheren uit EHR's kunnen:

• Surveillance van geweldsincidenten in de zorg worden verbeterd.
• Onderzoek worden gedaan naar de impact van verschillende geweldstypen op het verloop van psychische aandoeningen.
• Klinische praktijk worden verbeterd door bewustwording van onderbelichte vormen van geweld (zoals financieel misbruik).

Beperkingen:
De studie wijst erop dat het model moeite heeft met het detecteren van getuigenverklaringen (door gebrek aan data) en het nauwkeurig bepalen van het tijdstip van het geweld. Daarnaast worden waargenomen (bijv. hallucinaties) en reële geweldsincidenten in de annotatie niet onderscheiden, wat belangrijk is voor de interpretatie van de resultaten in de klinische praktijk.

Concluderend biedt dit werk een aanzienlijke verbetering ten opzichte van eerdere methoden en opent het nieuwe wegen voor data-gedreven onderzoek naar geweld in de geestelijke gezondheidszorg.