Before the Labels: How Dataset Construction Shapes Suicidality Detection in Clinical Text

Technische Samenvatting: Vóór de Labels: Hoe de Constructie van Datasets de Detectie van Suïcidaliteit Vormgeeft in Klinische Tekst

Probleemstelling
Het artikel adresseert een kritieke lacune in de klinische Natural Language Processing (NLP) met betrekking tot de constructie van Electronic Health Record (EHR) datasets voor de detectie van suïcidaliteit. Terwijl recent werk is verschoven van sociale media naar EHR's om problemen met toestemming en de betrouwbaarheid van zelfrapportage te mitigeren, stellen de auteurs dat EHR-gebaseerde datasets vaak worden behandeld als een "neutrale grondwaarheid" (ground truth). Het artikel stelt dat deze inkadering de specifieke operationalisering van suïcidaliteit die binnen deze datasets is gecodeerd, maskeert. Klinische aantekeningen zijn "documentatie-gemedieerde verslagen" die patiëntrapportages, klinische observaties en institutionele vereisten synthetiseren; ze bieden geen directe toegang tot de interne staat van de patiënt. Bijgevolg negeert het behandelen van dataset-labels als absolute waarheid de structurele aannames die besloten liggen in de wijze waarop gegevens worden beheerd, geselecteerd en geannoteerd.

Methodologie
De auteurs hanteren een kwalitatieve en kwantitatieve casestudy van de ScAN-dataset (Rawat et al., 2022), een annotatielaag voor suïcidale pogingen (SA) en suïcidale ideatie (SI) gebouwd over de MIMIC-III klinische aantekeningen. De methodologie bestaat uit drie primaire componenten:

1. Operationaliseringsanalyse: De auteurs deconstrueren de ScAN-pipeline om drie definiërende dimensies van de operationalisering te identificeren:

   • Documentatie-gemedieerd: Analyse van hoe governance (PhysioNet-credentialing), toegangsbeperkingen en de uitsluiting van door de patiënt geschreven tekst het perspectief vormen tot enkel door clinici geschreven documentatie.
   • Episodisch: Onderzoek naar hoe cohortselectie (ICD-codes) en labeling op het niveau van het "ziekenhuisverblijf" longitudinale processen afvlakken tot begrensde episodes.
   • Intentie-opgelost (Intent-Resolved): Onderzoek naar hoe annotatieschema's onderscheid maken tussen suïcidaal en niet-suïcidaal zelfverwondend gedrag en hoe ambigue categorieën (bijv. "onzeker") worden samengevoegd in downstream-pipelines.

2. Linguïstische Inkaderingsanalyse: De auteurs voeren een beschrijvende linguïstische analyse uit op 15.585 geannoteerde segmenten (spans). Met behulp van lexicale indicatoren en het MedSpaCy ConText-algoritme classificeren zij de segmenten op basis van de aanwezigheid van:

   • Negatie
   • Historische referentie (temporele verschuiving)
   • Onzekerheidsmarkers
     Zij vergelijken deze profielen over verschillende labeltypen (bijv. "Present-SI" versus "Absent-SI") en documentatiecontexten (bijv. Ontslagbrieven versus Anamnese/History of Present Illness).

3. Heterogeniteitsbeoordeling: De studie test de hypothese dat identieke labels heterogene klinische inkaderingen overnemen, waarbij specifiek wordt gekeken naar variatie in temporaliteit, negatie en onzekerheid binnen dezelfde labelklasse.

Primaire Bijdragen
Het artikel levert drie primaire bijdragen:

• Een Positioneel Kader: Het karakteriseert EHR-gebaseerde suïcidaliteitsdatasets als het coderen van een specifieke operationalisering die documentatie-gemedieerd is (weerspiegelend van klinische verslagen in plaats van ongemedieerde staten), episodisch (het begrenzen van suïcidaliteit tot discrete ziekenhuisverblijven) en intentie-opgelost (het opleggen van binaire onderscheiden zelfs wanneer de tekst ambigu is).
• Een Casestudy van ScAN: Het volgt hoe specifieke governance, databronselectie en annotatiebeslissingen (single-annotator labeling, ICD-gebaseerde cohortselectie en label-collapsing) leiden tot deze operationalisering.
• Empirisch Bewijs van Linguïstische Variatie: Het levert data die aantonen dat identieke labels systematische variaties bevatten in linguïstische inkadering, wat de aanname uitdaagt dat labels uniforme klinische fenomenen vertegenwoordigen.

Resultaten
De linguïstische analyse onthult significante heterogeniteit binnen labelcategorieën die vaak als uniform worden behandeld:

• Temporele Afvlakking: 27,8% van de segmenten gelabeld als "Present-SI" bevat historische markers, wat aangeeft dat suïcidale ideatie die als "aanwezig" wordt gelabeld, vaak wordt gedocumenteerd in relatie tot eerdere psychiatrische geschiedenis in plaats van als een actuele gebeurtenis.
• Contextuele Variatie: Het "ongemodificeerde" percentage (afwezigheid van negatie, historie of onzekerheid) varieert drastisch per sectie van de klinische aantekening. Ontslagbrieven zijn voor 83,6% ongemodificeerd, terwijl secties van de Anamnese (HPI) slechts voor 49,9% ongemodificeerd zijn.
• Collaps van Onzekerheid: De categorie "Onzeker" (Unsure), die 17,1% onzekerheidsmarkers behoudt, wordt in downstream-modellering frequent samengevoegd met "Negatieve" labels. Dit voegt kwalitatief verschillende situaties samen: expliciete negatie van intentie, ongespecificeerde intentie en echte ambiguïteit.
• Intentie-resolutie: Segmenten met "ongespecificeerde intentie" (T14.91) zijn overwegend historisch (67,8%), wat suggereert dat het gebrek aan specificatie van intentie vaak samenhangt met temporele verschuiving.

Significantie en Claims
Het artikel beweert niet dat klinische documentatie onbetrouwbaar is of dat patiënt-zelfrapportages vrij zijn van bias. In plaats daarvan betoogt het dat EHR-gebaseerde suïcidaliteitslabels geïnterpreteerd moeten worden als gestructureerde operationalisaties van gedocumenteerd klinisch bewijs, en niet als een neutrale grondwaarheid.

De significantie van dit werk ligt in de oproep tot transparantie in de constructie van datasets. De auteurs stellen dat:

1. Downstream Effecten: Als trainingslabels heterogene linguïstische inkaderingen overnemen, zullen classifiers waarschijnlijk systematische fouten vertonen, zoals het overmatig flaggen van historische vermeldingen als actuele ideatie of het falen in de kalibratie op gevallen van echte onzekerheid.
2. Ontwerptransparantie: De documentatie van datasets moet expliciet de keuzes rond de operationalisering vermelden (cohort-seeding, aggregatieniveaus, categorie-collapsing), zodat downstream-gebruikers, inclus\nclusief clinici, kunnen beoordelen wat de labels vertegenwoordigen voordat zij actie ondernemen op basis van modeloutputs.
3. Beperkte Omvang: De auteurs erkennen dat hun bevindingen gebaseerd zijn op een enkele dataset van één medisch centrum en dat hun linguïstische analyse conservatief is (zonder syntactische parsing of coreference resolution). Zij argumenteren echter dat de geïdentificeerde structurele problemen inherent zijn aan elke pipeline die vertrouwt op facturatiecodes, aggregatie op ziekenhuisverblijf en intentie-resolutie vanuit klinische tekst.

Het artikel concludeert dat het zichtbaar maken van deze aannames een noodzakelijke eerste stap is naar de ontwikkeling van klinische NLP-systemen die transparant zijn over wat zij voorspellen.