Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

Deze benchmarkstudie toont aan dat het combineren van een fijngefineerd klinisch taalmodel en LLM-based classifiers een nauwkeurige en schaalbare methode biedt om cannabisgebruik en de redenen daarvoor uit niet-gestructureerde elektronische gezondheidsdossiers van patiënten met auto-immuunreumatische aandoeningen te extraheren.

De kern

Stel je voor dat een ziekenhuis een enorme bibliotheek heeft, maar in plaats van boeken, zitten de patiëntgegevens in duizenden losse, handgeschreven briefjes. Artsen schrijven hierin alles op: wat ze zien, wat patiënten vertellen, en ook of ze medicinale cannabis gebruiken. Het probleem? Deze briefjes liggen door elkaar, zijn vaak onleesbaar voor computers, en niemand heeft de tijd om ze één voor één te lezen om te weten hoeveel mensen cannabis gebruiken en waarom.

Dit onderzoek is als een slimme zoektocht met robot-assistenten om die briefjes te ordenen.

Hier is wat de onderzoekers hebben gedaan, vertaald naar simpele taal:

1. Het Probleem: De "Naald in de Hooiberg"

De onderzoekers wilden weten: Gebruiken mensen met pijnlijke gewrichtsaandoeningen (zoals reuma) cannabis? En doen ze dat voor pijn, slapeloosheid of misselijkheid?
De informatie zat verstopt in de ongestructureerde notities van artsen. Het was als zoeken naar specifieke zinnen in een berg van miljoenen bladzijden tekst.

2. De Oplossing: De Robot-Librarijers (LLM's)

In plaats van mensen te laten lezen, gebruikten ze Grote Taalmodellen (LLM's). Denk hierbij aan super-intelligente robot-librarijers die snel kunnen lezen en begrijpen wat er staat.
De onderzoekers testten verschillende soorten robots:

• De "Alleskunner": Grote, krachtige robots die alles kunnen (zoals GPT of Gemini). Ze zijn slim, maar soms wat wazig of onvoorspelbaar.
• De "Gespecialiseerde Specialist": Een robot die speciaal is getraind op medische teksten (GatorTron). Deze is misschien niet zo groot, maar kent de medische taal als geen ander.

3. De Test: Wie is de beste?

De onderzoekers gaven de robots een proefexamen met handgeschreven briefjes die al door experts waren bekeken. Ze moesten twee dingen doen:

1. Vaststellen: Gebruikt de patiënt cannabis? (Ja/Nee/Vroeger/Nooit).
2. Begrijpen: Waarom? (Voor pijn, slaap, stress, etc.).

De resultaten waren verrassend:

• Voor het vaststellen of iemand cannabis gebruikt, won de gespecialiseerde medische robot (GatorTron). Hij was als een ervaren detective die precies weet waar hij moet zoeken. Hij maakte weinig fouten en was heel betrouwbaar.
• Voor het begrijpen van de reden (waarom?), won de grote, slimme robot (GPT-OSS-20B). Dit is een moeilijker vraag, omdat artsen soms vaag schrijven ("Patiënt gebruikt het voor..."). De grote robot kon de context beter "voelen" en begrijpen, net als een mens die een verhaal leest.

4. De Ontdekking: Wat leerden we?

Toen ze de beste robots op de hele bibliotheek lieten werken, ontdekten ze interessante trends tussen 2015 en 2024:

• Meer gebruik: Steeds meer mensen met gewrichtsziekten gebruiken cannabis. Het aantal is bijna verdubbeld.
• De reden: De belangrijkste reden is altijd pijn. Maar sinds een paar jaar is slapeloosheid de tweede reden. Mensen gebruiken het dus steeds vaker om te slapen.
• Pijn en Cannabis: Interessant genoeg hadden mensen die cannabis gebruikten in het begin van de periode vaak meer pijn dan degenen die het niet gebruikten. Later veranderde dit patroon. Dit betekent waarschijnlijk dat mensen cannabis proberen omdat ze veel pijn hebben, en niet dat de cannabis ze pijn geeft.

5. Waarom is dit belangrijk?

Vroeger was het bijna onmogelijk om dit soort informatie uit ziekenhuisnotities te halen zonder duizenden mensen te laten typen. Nu hebben we een snel, schaalbaar systeem.
Het is alsof we van handmatig zoeken met een vergrootglas zijn overgestapt op een luchtfoto met een zoekmachine. Hierdoor kunnen artsen en onderzoekers beter begrijpen hoe patiënten hun pijn zelf proberen te managen, zonder dat ze uren hoeven te typen.

Kort samengevat:
De onderzoekers hebben bewezen dat je slimme computers kunt gebruiken om te lezen wat artsen schrijven over cannabis. Een gespecialiseerde computer is het beste om te weten of iemand het gebruikt, en een grote, slimme computer is het beste om te weten waarom. Dit helpt ons om beter inzicht te krijgen in hoe mensen met chronische pijn hun leven proberen te verbeteren.

Technische samenvatting

Probleemstelling

Auto-immuun reumatische aandoeningen (ARD's) gaan vaak gepaard met chronische pijn, wat een uitdaging vormt voor de behandeling. Cannabis wordt steeds vaker gebruikt als aanvullende therapie, maar het is moeilijk om systematisch patiëntgebruik en de redenen daarvoor te analyseren in grote datasets. De relevante informatie bevindt zich voornamelijk in ongestructureerde klinische notities in Elektronische Gezondheids dossiers (EHR's). Traditionele methoden, zoals regelgebaseerde NLP (Natural Language Processing) of lexicon-gebaseerde zoekopdrachten, zijn moeilijk te onderhouden, schalen slecht over grote datasets en zijn vaak niet flexibel genoeg voor de variatie in klinische documentatie. Er is behoefte aan een schaalbare, reproduceerbare methode om deze data te extraheren, waarbij de betrouwbaarheid van Large Language Models (LLM's) in deze specifieke klinische context nog onderzocht moet worden.

Methodologie

De studie is een retrospectieve observatiestudie uitgevoerd op data van een academisch medisch centrum (Stanford) tussen 2015 en 2024, met een focus op patiënten met ARD's.

1. Data Voorbereiding:

   • Er werden klinische notities gescand op cannabis-gerelateerde termen met behulp van een fuzzy string matching algoritme (rapidfuzz) met een drempelwaarde van 90% overeenkomst om spellingfouten en variaties op te vangen.
   • Voor elke gevonden term werd een contextvenster van 50 woorden (25 woorden voor en na de term) geëxtraheerd.
   • Dit resulteerde in een corpus van 43.689 relevante tekstfragmenten (snippets) van 3.244 patiënten.

2. Annotatie en Referentiestandaard:

   • Twee domeinexperts hebben handmatig twee datasets geannoteerd:
     • Status van gebruik: 831 snippets geclassificeerd in vier categorieën: (1) geen echte vermelding/onzeker, (2) ontkenning van gebruik, (3) positief verleden gebruik, (4) positief huidig gebruik.
     • Reden van gebruik: 1.027 snippets geclassificeerd in zes categorieën: pijn, misselijkheid, slaap, angst/stress/stemming, eetlust, en niet vermeld/onbekend.

3. Model Benchmarking:

   • Er werden vijf LLM's vergeleken: drie algemene domeinmodellen (Gemini-2.0, LLaMA-3.1, GPT-OSS-20B) en twee klinisch voorgeprogrammeerde modellen (MedGemma-4B, GatorTron).
   • Prompt-strategieën: Er werden acht verschillende prompting-strategieën getest (van zero-shot tot few-shot) met variërende decoding temperaturen (0.0 tot 1.0).
   • Supervised Fine-tuning: Het klinische model GatorTron (345M parameters) werd specifiek gefinetuned voor de classificatie van gebruikstatus, zonder gebruik te maken van prompts (encoder-gebaseerd).

4. Evaluatie:

   • Modellen werden getest op een vastgehouden validatie- en testset.
   • Prestatiemaatstaven waren nauwkeurigheid (accuracy), precisie, recall en F1-score, berekend met 95% betrouwbaarheidsintervallen via bootstrapping.

Belangrijkste Resultaten

• Classificatie van Cannabisgebruik (Status):

  • Het gefinetunde GatorTron-model presteerde het beste met een nauwkeurigheid van 0,90 en een F1-score van 0,91.
  • Generatieve LLM's (zoals GPT-OSS-20B) presteerden goed, maar niet beter dan het gespecialiseerde, gefinetunde model voor deze taak.
  • Lagere temperaturen leidden over het algemeen tot betere reproduceerbaarheid.

• Classificatie van Reden van Gebruik:

  • Voor deze complexere, semantisch rijkere taak presteerde het generatieve model GPT-OSS-20B het beste (met een multi-stap verificatie prompt en temperatuur 0,3).
  • Prestaties: Nauwkeurigheid 0,77, F1-score 0,77, en precisie 0,86.
  • GatorTron presteerde hier aanzienlijk slechter (F1-score 0,55), wat aangeeft dat generatieve modellen beter zijn in het begrijpen van contextuele nuances en impliciete redenen.

• Klinische Inzichten (Toepassing op schaal):

  • Door de modellen toe te passen op de volledige dataset (2015-2024) werd een stijgende trend in gedocumenteerd cannabisgebruik waargenomen: van 7,4% in 2015 naar 13,0% in 2024.
  • Pijn bleef de meest genoemde reden voor gebruik, gevolgd door slaap (dat sinds 2022 de tweede meest genoemde reden werd).
  • Patiënten die cannabis gebruikten, hadden over het algemeen hogere pijnscores dan niet-gebruikers (tot 2023), maar dit patroon keerde in 2023 om.
  • Er waren geen significante verschillen in comorbiditeit (Charlson Comorbidity Index), maar cannabisgebruikers gebruikten meer medicatie in totaal.

Bijdragen en Significantie

1. Taak-afhankelijke Modelkeuze: De studie toont aan dat er geen "one-size-fits-all" oplossing is. Voor gestructureerde classificatietaken (zoals "gebruikt of niet") zijn kleiner, gespecialiseerd gefinetunde modellen (zoals GatorTron) efficiënter en accurater. Voor contextuele, semantisch complexe taken (zoals "waarom gebruikt de patiënt het") hebben grote generatieve LLM's (zoals GPT-OSS-20B) een voordeel.
2. Validatie van Prompt Engineering: Er werd aangetoond dat er geen enkele prompt-strategie werkt voor alle modellen. De prestaties zijn model-specifiek, wat empirisch benchmarking noodzakelijk maakt in plaats van het blindelings toepassen van bestaande templates.
3. Schaalbaarheid in Klinisch Onderzoek: De studie bewijst dat het haalbaar is om op grote schaal patiëntgerapporteerde zelfmanagementstrategieën uit ongestructureerde EHR-data te halen. Dit biedt onderzoekers een krachtig instrument voor observationeel onderzoek naar substantiegebruik en symptoombestrijding bij chronische ziekten.
4. Real-world Evidence: De methode maakt het mogelijk om trends in de tijd te volgen en subgroepen te vergelijken, wat waardevolle inzichten biedt voor de klinische praktijk en beleid, ondanks de beperkingen van observationele data (geen causale conclusies).

Conclusie:
De combinatie van gespecialiseerde, gefinetunde modellen voor statusbepaling en krachtige generatieve LLM's voor contextuele analyse biedt een robuust en schaalbaar raamwerk voor het extraheren van waardevolle klinische inzichten uit ongestructureerde medische notities. Dit benadrukt de noodzaak van een strategische, taak-specifieke implementatie van AI in de gezondheidszorg.