Reconsidering the case against risk prediction in self-harm: routinely collected health data distinguishes groups at higher and lower risk of adverse outcomes following paracetamol overdose

Het Dilemma van de Detective: Kan Data de Storm Zien Voordat Hij Losbarst?

Stel je voor dat je een weervoorspeller bent die probeert een plotselinge, gevaarlijke storm te voorspellen. In de wereld van de geneeskunde, specifiek wanneer mensen naar het ziekenhuis komen nadat ze te veel paracetamol (een veelvoorkomend pijnstillmiddel) hebben ingenomen om zichzelf te verwonden, is er een groot debat over de vraag of we de "storm" van een toekomstige zelfmoord of een terugkeer naar het ziekenhuis kunnen voorspellen. Lange tijd was de officiële regel in het VK: "Probeer het niet te voorspellen." De gedachte was dat de data die artsen dagelijks verzamelen—zoals leeftijd, eerdere medische bezoeken en medicatielijsten—gewoon te veel ruis bevat en te nutteloos is om te vertellen wie er risico loopt. Het is als proberen het weer te voorspellen door naar één wazige foto van een wolk te kijken; de experts zeiden dat de foto simpelweg niet genoeg detail bevatte om nuttig te zijn.

Maar wat als die foto eigenlijk wél een geheim patroon heeft? Wat als we, door een superintelligent computerbrein (machine learning) te gebruiken om tegelijkertijd duizenden van deze wazige foto's te bekijken, een vorm kunnen ontdekken die het menselijk oog mist? Dit is de vraag die wetenschappers zich hebben gesteld. Ze willen weten of de "routinematig verzamelde gezondheidsdata"—de saaie, alledaagse gegevens die artsen opschrijven—daadwerkelijk een verborgen signaal bevat dat mensen met een slechte afloop kan onderscheiden van mensen zonder die afloop. Als het antwoord "ja" is, betekent dit niet dat we een kristallen bol hebben, maar het kan wel betekenen dat we de kaart nog niet uit het raam hadden moeten gooien. Als het antwoord "nee" is, dan weten we zeker dat we elders naar hulp moeten zoeken.

De Grote Paracetamol-Puzzel: Het Signaal Vinden in de Ruis

In dit onderzoek besloot een team van onderzoekers de "data is nutteloos"-theorie op de proef te stellen. Ze probeerden geen magisch hulpmiddel te bouwen om zelfmoord te voorkomen; in plaats daarvan handelden ze als detectives die op zoek waren naar één enkele aanwijzing. Ze verzamelden de medische dossiers van 4.095 volwassenen die tussen 2017 en 2023 bij de spoedeisende hulp in NHS Lothian (Schotland) terechtkwamen met een paracetamoloverdosering.

Beschouw deze dossiers als een gigantische puzzeldoos. In deze doos zaten 37 verschillende stukjes informatie die een arts op het moment dat de patiënt binnenkwam al zou weten: hun leeftijd, waar ze woonden (wat een aanwijzing geeft over hoe achtergesteld het gebied is), welke medicijnen ze al gebruikten, en of ze eerder een specialist voor geestelijke gezondheidszorg hadden bezocht. De onderzoekers voedden deze puzzelstukjes aan een slim computermodel genaamd "elastic-net logistic regression". Je kunt dit model zien als een zeer strikte bibliothecaris die probeert een enorme stapel boeken in twee stapels te sorteren: "Boeken over mensen die een slechte afloop zullen hebben" en "Boeken over mensen die dat niet zullen hebben."

De onderzoekers keken naar drie verschillende perioden na het vertrek van de patiënt uit het ziekenhuis:

1. De eerste week (0–7 dagen): Kwamen zij overleden of opgenomen op een psychiatrische afdeling?
2. De volgende maand (8–30 dagen): Ging de ellende door?
3. Het hele jaar (31–365 dagen): Barstte de storm uiteindelijk los?

De Grote Ontdekking
De resultaten waren verrassend. Het computermodel vond wel een patroon. Het was niet perfect, maar het was absoluut beter dan het gooien van een muntje.

• In de eerste week kon het model patiënten in ongeveer 65% tot 82% van de gevallen correct rangschikken (afhankelijk van hoe je het meet).
• In de periode van 8 tot 30 dagen lag dit tussen de 63% en 90%.
• Over het volledige jaar lag dit tussen de 71% en 85%.

In de wereld van de statistiek is een score van 50% gewoon gokken. Alles boven dat betekent dat het model daadwerkelijk iets reëels ziet. De onderzoekers ontdekten dat het model goed was in het opsporen van wie een hoger risico liep, en dat het zeer goed was in het zorgen dat de cijfers die het gaf overeenkwamen met de werkelijke uitkomsten (dit wordt "kalibratie" genoemd).

Waar kwamen de aanwijzingen vandaan?
Je zou denken dat het model alleen naar leeftijd of geslacht keek, zoals een stereotiepe detective. Maar de onderzoekers ontdekten dat dit niet het hoofdverhaal was. De echte "superkrachten" van het model kwamen uit aanwijzingen gerelateerd aan de geestelijke gezondheid. Het model deed zijn beste voorspellingen op basis van zaken als:

• Of de persoon antipsychotische middelen of angstremmers was voorgeschreven gekregen.
• Of er een geschiedenis was van contact met een psychiater.
• Of er een diagnose was van schizofrenie of alcoholgerelateerde leverziekte.
• Hoeveel verschillende soorten medicijnen zij gebruikten (polyfarmacie).

Leeftijd werd nog steeds door het model gebruikt, maar het was niet de belangrijkste factor. Het echte signaal zat verborgen in de complexe geschiedenis van de mentale gezondheid van een persoon.

Wat dit artikel zegt (en wat het niet zegt)

Het is zeer belangrijk om te begrijpen wat dit onderzoek niet zegt. De auteurs beweren niet dat we nu precies kunnen voorspellen welke individuele persoon de volgende zelfmoordpoging zal doen. Ze zeggen ook niet dat we morgen in ziekenhuizen met dit computermodel moeten beginnen om te beslissen wie behandeling krijgt.

Sterker nog, ze waarschuwen er expliciet tegen. De nauwkeurigheid van het model is, hoewel beter dan toeval, niet hoog genoeg om als definitieve rechter voor een enkel persoon te dienen. Als je dit hulpmiddel op één persoon zou gebruiken, zou het er nog steeds naast kunnen zitten. Het artikel betoogt dat de huidige Britse regels, die zeggen "geen risicovoorspellingsinstrumenten überhaupt", misschien het kind met het badwater uitzetten. De regel was gebaseerd op het idee dat er geen nuttig signaal aanwezig is in de data. Dit onderzoek suggerekt dat er wel een nuttig signaal aanwezig is, maar dat het simpelweg nog niet sterk genoeg is om als een zelfstandige kristallen bol te dienen.

De onderzoekers wijzen ook op het feit dat de "saaie" gestructureerde data die zij gebruikten (de 37 selectievakjes) een plafond heeft. Het is alsof je een film probeert te begrijpen door alleen de castlijst en de speelduur te lezen; je mist het plot, de emoties en de dialogen. De echte, diepe aanwijzingen over het risico van een persoon—zoals hun specifieke gedachten, hun gevoelens van hopeloosheid of hun steunsysteem—staan meestal in de vrije tekst van de aantekeningen van artsen, en niet in de selectievakjes. Het artikel suggereert dat als we computers leren om die aantekeningen te lezen (met behulp van iets dat "Natural Language Processing" wordt genoemd), we misschien een nog sterker signaal kunnen vinden.

De Conclusie

Dus, wat is het oordeel? Het artikel concludeert dat het idee dat "routinematig verzamelde gezondheidsdata geen nuttig voorspellend signaal bevat" niet waar is. De data bevatten wel een signaal; ze kunnen groepen mensen met een hoger en lager risico van elkaar onderscheiden. Echter, het signaal is momenteel te zwak om te worden gebruikt voor het nemen van leven of dood beslissingen over individuele personen.

De auteurs zeggen in feite: "Sluit het boek over dit onderzoek niet omdat het huidige hoofdstuk nog niet perfect is." Ze dringen er bij wetenschappers op aan om te blijven zoeken, bijvoorbeeld door computers te leren de rommelige, menselijke delen van medische dossiers te lezen, in plaats van op te geven dat data ons kan helpen levens te redden. De deur naar betere voorspelling staat nog steeds open; we hebben alleen betere instrumenten nodig om erdoorheen te lopen.