Comparing computable structured phenotype- versus large language model-identification of opioid use disorder using electronic health record data

Deze studie vergelijkt een gestructureerd computergestuurd fenotype met een groot taalmodel (LLM) voor het identificeren van opioïdengebruiksstoornis in spoedeisende hulp-data en concludeert dat het LLM, ondanks een iets lagere gevoeligheid, een aanzienlijk hogere specificiteit en positief voorspellende waarde bereikt, wat kan leiden tot minder vals-positieve waarschuwingen in de klinische workflow.

De kern

Stel je voor dat de spoedeisende hulp (SEH) een enorme, drukke haven is. Elke dag komen er duizenden schepen (patiënten) binnen. Sommige schepen zijn in orde, maar een klein aantal heeft een gevaarlijke lading aan boord: een verslaving aan opioïden (OUD). Het probleem is dat de havenmeesters (artsen) het zo druk hebben dat ze niet elk schip grondig kunnen inspecteren. Als ze een gevaarlijk schip missen, kan dat dodelijk zijn.

Deze studie vergelijkt twee manieren om die gevaarlijke schepen te vinden: een ouderwetse, strenge checklist versus een slimme, nieuwe robot.

De Twee Detectiemethoden

1. De Strenge Checklist (De "Structured Phenotype")
Dit is het systeem dat ziekenhuizen nu al gebruiken. Het werkt als een automatische alarmbel die afgaat als aan specifieke regels wordt voldaan.

• Hoe het werkt: De computer kijkt naar harde feiten: "Heeft de patiënt een diagnosecode voor verslaving?" of "Is er een positieve urine-test?" of "Wordt er een medicijn tegen verslaving voorgeschreven?"
• Het nadeel: Het is soms te streng of te dom. Als iemand bijvoorbeeld een positieve urine-test heeft omdat hij pijnmedicatie gebruikt voor een chronische pijnklacht (en niet verslaafd is), gaat het alarm toch af. Dat is een vals alarm.
• Het voordeel: Het mist zelden een echt gevaarlijk schip. Het is erg goed in het vinden van de echte verslaafden.

2. De Slimme Robot (De "Large Language Model" of LLM)
Dit is de nieuwe technologie, vergelijkbaar met de slimme chatbots die je nu gebruikt. In plaats van alleen naar codes te kijken, leest deze robot de hele medische verslag van de arts, net als een mens.

• Hoe het werkt: De robot leest de vrije tekst in het dossier. Hij begrijpt nuance. Hij kan zien of een arts schrijft: "De patiënt gebruikt dit medicijn voor pijn" (geen verslaving) versus "De patiënt is verslaafd en zoekt een nieuwe dosis" (wel verslaving).
• Het voordeel: Hij maakt veel minder vals alarm. Hij is extreem goed in het onderscheid maken tussen echte verslaving en iemand die gewoon medicijnen nodig heeft.
• Het nadeel: Hij mist soms een paar echte verslaafden die de arts niet duidelijk genoeg heeft beschreven in de tekst.

Wat vonden ze?

De onderzoekers lieten twee ervaren SEH-artsen alle dossiers van 302 patiënten grondig nakijken. Dit was de "waarheid" waartegen ze de checklist en de robot afzetten.

• De Checklist was heel goed in het vinden van verslaafden (hoge gevoeligheid), maar gaf vaak vals alarm bij mensen die het niet waren.
• De Robot was iets minder goed in het vinden van alle verslaafden, maar hij was bijna perfect in het niet geven van vals alarm. Als de robot zei: "Deze persoon is verslaafd", dan was dat bijna altijd waar.

De Grootste Les: Samenwerken is beter

Stel je voor dat je een net uitgooit in de oceaan om vissen te vangen.

• De checklist is een groot, grof net. Je vangt bijna alle vissen, maar je vangt ook veel schelpen en drijfhout (vals alarm) mee.
• De robot is een fijnmazig net. Je vangt minder schelpen, maar je mist misschien wel een paar kleine vissen.

De beste oplossing? Gebruik ze samen.
Gebruik eerst de strenge checklist om een breed net uit te gooien en alle potentiële gevallen te vinden. Laat daarna de slimme robot de lijst nakijken. De robot kan dan de "schelpen" (vals alarm) eruit filteren. Zo houden de artsen alleen de echte, belangrijke gevallen over.

Waarom is dit belangrijk?

Op de SEH is tijd geld. Als artsen te veel vals alarm krijgen, raken ze gefrustreerd en negeren ze de waarschuwingen (het "alarmmoeheid"-effect). Door de slimme robot te gebruiken, krijgen ze minder ruis en meer waardevolle signalen.

Kortom: De oude manier is goed, maar de nieuwe AI-robot is slimmer in het begrijpen van de menselijke tekst en maakt minder fouten. De toekomst ligt waarschijnlijk in een team van beide: de computer die snel zoekt, en de AI die slim oordeelt.

Technische samenvatting

Titel: Vergelijking van een berekenbaar gestructureerd fenotype versus Large Language Model (LLM) voor de identificatie van Opioid Use Disorder (OUD) met behulp van data uit elektronische gezondheidsdossiers (EHR).

1. Het Probleem

Opioid Use Disorder (OUD) vormt een kritieke volksgezondheidscrisis in de VS, met meer dan 80.000 overlijdens door overdoses in 2022. De Spoedeisende Hulp (SEH) fungeert als een cruciaal toegangspunt voor patiënten met OUD, maar screening vindt vaak niet plaats vanwege tijdsdruk en klinische prioriteiten.

• Huidige aanpak: Veel gezondheidsstelsels gebruiken "berekenbare gestructureerde fenotypes" (regels gebaseerd op ICD-codes, medicatie, labresultaten en trefwoorden) om OUD te detecteren en klinische beslissingsondersteuning (CDS) te activeren.
• Beperkingen: Deze regels zijn vaak te rigide ("blunt instruments"), missen nuance in narratieve medische notities en kunnen leiden tot een hoog aantal vals-positieve resultaten, wat leidt tot alertheidsmoeheid (alert fatigue) bij clinicians.
• Potentieel van AI: Large Language Models (LLM's) hebben het potentieel om klinische nuance in vrije tekst te interpreteren, maar hun prestaties in SEH-omgevingen, vooral zonder taakspecifiek trainen (zero-shot), zijn nog onvoldoende onderzocht.

2. Methodologie

Het onderzoek was een retrospectieve studie uitgevoerd bij het UCSF Medical Center (een academisch ziekenhuis) tussen 1 januari 2023 en 17 oktober 2024.

• Steekproef: Er werd gebruik gemaakt van gestratificeerde steekproefneming om een verrijkte dataset te creëren. Uit 70.880 SEH-bezoeken werden 302 unieke patiëntbezoeken geselecteerd:
  • 201 bezoeken die voldeden aan het gestructureerde fenotype.
  • 101 bezoeken die niet voldeden aan het fenotype.
  • De data werden gewogen om de daadwerkelijke prevalentie in de populatie te reflecteren.
• De Twee Benaderingen:
  1. Gestructureerd Fenotype: Een operationeel systeem dat CDS activeert op basis van: ICD-10-codes (OUD, onthouding, overdosis), actieve voorschriften voor buprenorfine/methadon, positieve urine-toxicologie (fentanyl, heroïne, methadon), consultaties van het verslavingsteam, en trefwoordherkenning in notities.
  2. LLM (Large Language Model): OpenAI ChatGPT 4.1 werd gebruikt in een "zero-shot" prompt. Alle SEH-notities (exclusief studenten- en procedurenotities) van het indexbezoek werden aan de prompt toegevoegd om te beoordelen of de patiënt OUD had.
• Referentiestandaard (Ground Truth): Twee board-certified SEH-artsen (een met specialisatie in verslavingsgeneeskunde en toxicologie, de ander in klinische informatica) beoordeelden onafhankelijk en blind de volledige medische dossiers (inclusief externe data via "Care Everywhere"). OUD werd gedefinieerd als gedocumenteerde geschiedenis van OUD, onthouding, overdosis of >1 episode van intentioneel gebruik. Onenigheid werd beslecht door een derde arts.
• Statistische Analyse: Er werden gewogen waarden berekend voor sensitiviteit, specificiteit, positief voorspellende waarde (PPV) en negatief voorspellende waarde (NPV), met correctie voor de steekproefontwerp.

3. Belangrijkste Bijdragen

• Directe Vergelijking: Dit is een van de eerste studies die een geoperationaliseerd, regelsgebaseerd fenotype direct vergelijkt met een generatief LLM voor OUD-detectie in de SEH, met menselijke experts als gouden standaard.
• Nuance in Foutpatronen: De studie identificeerde specifieke foutpatronen:
  • Het gestructureerde fenotype gaf vaak vals-positieven bij chronische pijnpatiënten op methadon/buprenorfine of bij eenmalige positieve fentanyl-testen zonder bewijs van misbruik.
  • Het LLM presteerde beter in het interpreteren van context, maar miste soms informatie die alleen in externe dossiers (Care Everywhere) stond.
• Implementatie-inzicht: De studie suggereert een "gelaagde" (staged) CDS-strategie waarbij het gestructureerde fenotype dient als eerste filter (voor sensitiviteit) en het LLM als tweede stap om de specificiteit te verhogen en vals-positieven te reduceren.

4. Resultaten

De gewogen prevalentie van OUD in de populatie was 5,6%.

Metriek	Gestructureerd Fenotype	LLM (ChatGPT 4.1)	P-waarde (verschil)
Sensitiviteit	0,84 (95% CI 0,42-0,97)	0,81 (95% CI 0,70-0,88)	0,859 (niet significant)
Specificiteit	0,964 (95% CI 0,96-0,97)	0,996 (95% CI 0,993-0,998)	< 0,0001 (LLM significant hoger)
PPV	0,58 (95% CI 0,51-0,64)	0,92 (95% CI 0,85-0,96)	-
NPV	0,99	0,99	-

• Conclusie uit resultaten: Beide methoden hadden een hoge sensitiviteit en een zeer hoge NPV (geschikt om OUD uit te sluiten). Het LLM had echter een significant hogere specificiteit en een veel hogere PPV. Dit betekent dat het LLM aanzienlijk minder vals-positieve meldingen genereerde dan het gestructureerde fenotype, terwijl het even goed was in het vinden van echte gevallen.

5. Betekenis en Conclusie

• Klinische Impact: Het gebruik van LLM's kan de "alert fatigue" in de SEH verminderen door vals-positieve waarschuwingen te filteren, zonder de detectie van echte OUD-patiënten te verwaarlozen. Dit is cruciaal in drukke SEH-omgevingen waar tijd beperkt is.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, is prospectieve validatie in grotere en diversere populaties nodig. De studie benadrukt dat LLM's niet als vervanging voor klinische beoordeling moeten worden gezien, maar als krachtige hulpmiddelen om de efficiëntie van screening te verbeteren.
• Beperkingen: De resultaten zijn gebaseerd op data van één academisch centrum (UCSF) en maakten gebruik van externe EHR-data (Care Everywhere), wat niet overal beschikbaar is. De definitie van OUD blijft klinisch complex, wat zowel voor mensen als AI een uitdaging blijft.

Kortom, deze studie toont aan dat LLM's, zelfs zonder specifiek trainen, superieure specificiteit bieden ten opzichte van traditionele regelsystemen voor het identificeren van OUD in SEH-dossiers, wat een nieuwe richting aangeeft voor de integratie van AI in klinische workflows.