Curation and Extraction of Drug-Related Entities from Reddit Platform

Technische Samenvatting: Curatie en Extractie van Drug-gerelateerde Entiteiten van het Reddit-platform

Probleemstelling
Artsen leren voornamelijk over illegale drugs via klinische overgevalgevallen, wat hun begrip van real-world gebruikspatronen, doseringen en effecten beperkt. Omgekeerd delen druggebruikers vaak eerste-hand ervaringen op sociale mediaplatforms zoals Reddit, wat inzichten biedt in nieuwe psychoactieve stoffen (NPS) en omgangstaal die vaak afwijken van formele medische taal. Hoewel eerdere studies sociale media hebben gebruikt voor het volgen van stofgebruik, ontbreekt het aanzienlijk aan gestandaardiseerde, gecurateerde datasets die niet alleen drugnamen annoteren, maar ook gerapporteerde doseringen en effecten. Bestaande Named Entity Recognition (NER)-datasets zijn vaak beperkt tot specifieke stoffen, vertrouwen op gestructureerde klinische verhalen in plaats van ongestructureerde door gebruikers gegenereerde tekst, of missen annotaties voor dosering en bijwerkingen. Deze kloof belemmert de ontwikkeling van NLP-modellen die in staat zijn de scheidslijn te overbruggen tussen klinische terminologie en colloquiale online discussies om opkomende volksgezondheidsbedreigingen te identificeren.

Methodologie
Om deze uitdagingen aan te pakken, introduceerden de auteurs REDOSE (REddit Drug DOSe and Effect), een uitgebreide dataset en benchmarkkader.

• Data-curatie: De dataset bestaat uit 6.435 unieke documenten verzameld uit zeven drug-gerelateerde subreddits (bijv. r/fentanyl, r/heroin, r/suboxone). Data werd geëxtraheerd met behulp van de Reddit API (praw), waarbij metadata zoals gebruikersnamen en geografische locatie werden verwijderd om privacy te beschermen. Dubbele posts werden gefilterd.
• Annotatieproces: Een board-gecertificeerd medisch toxicoloog annotateerde de trainings- en testsets, terwijl twee medisch-wetenschappelijke studenten de validatieset annotateerden. Het annotatieschema richtte zich op drie entiteitstypes:
  • DRUG: Drugs, vitamines of kruiden (exclusief neurotransmitters).
  • DOSE: Hoeveelheid en eenheden van de stof.
  • EFFECT: Fysieke of mentale veranderingen die aan de stof worden toegeschreven.
  • Inter-annotator overeenstemming (IAA) werd berekend met een methode die was aangepast voor documenten met meerdere entiteiten, wat een score van 0,75 opleverde.
• Modelontwikkeling en benchmarking: De studie evalueerde drie categorieën modellen:
  1. BERT-gebaseerde modellen: Fine-tuned BaseBERT, BioBERT en BiomedBERT. Daarnaast werden CRF- en LSTM-lagen toegevoegd aan BaseBERT en BioBERT om prestatiewinst te beoordelen.
  2. Grote Taalmodellen (LLM's): GPT-4 en Llama-3 (8B en 70B varianten) werden getest met one-shot prompting.
  3. Retrieval-Augmented Generation (RAG): Een op retrieval gebaseerde aanpak werd ontwikkeld voor LLM's om de top 5 meest vergelijkbare voorbeelden uit het trainingscorpus te extraheren om aan de prompt toe te voegen, met als doel de beperkingen van statische few-shot voorbeelden te overwinnen.
• Evaluatie: Metrieken omvatten precisie, recall en F1-scores op span-niveau. Voor LLM's werden document-niveau metrieken gebruikt vanwege tokenisatie-uitdagingen met numerieke doseringen.

Belangrijkste Resultaten

• Datasetstatistieken: REDOSE bevat 6.267 geannoteerde entiteiten (4.784 DRUG, 750 EFFECT, 733 DOSE) verspreid over 15.469 zinnen.
• BERT-prestaties:
  • BiomedBERT behaalde de hoogste F1-score voor DRUG-extractie (0,843) met hoge precisie (0,907).
  • BaseBERT behaalde de hoogste recall voor DRUG (0,873) en de hoogste algehele micro-gegemiddelde F1-score (0,826) onder BERT-varianten.
  • EFFECT-extractie: Alle BERT-gebaseerde modellen hadden aanzienlijke moeite met EFFECT-extractie, met F1-scores variërend van 0,043 (BiomedBERT) tot 0,298 (BaseBERT). Het toevoegen van CRF+LSTM-lagen verbeterde de EFFECT F1-scores lichtjes (tot 0,291 voor BioBERT+CRF+LSTM), maar presteerde niet significant beter dan eenvoudigere modellen in andere categorieën.
• LLM-prestaties:
  • Llama-3 70B presteerde beter dan GPT-4 in DRUG-extractie (F1 = 0,79 versus 0,72).
  • GPT-4 toonde superieure prestaties in EFFECT-extractie, met een recall van 0,41 vergeleken met 0,04 voor Llama-3 70B, wat resulteerde in de beste algehele F1-score voor EFFECT (0,12).
  • RAG-impact: De RAG-aanpak verbeterde de DRUG-extractie recall van Llama-3 8B aanzienlijk (van 44% naar 80%) en de F1-score (van 0,55 naar 0,75), hoewel de winst voor EFFECT-extractie bescheiden was.
• Vergelijkende analyse: In tegenstelling tot sommige verwachtingen, presteerden fine-tuned BERT-modellen (specifiek BaseBERT) beter dan LLM's in algehele recall en F1-scores voor drugextractie. De auteurs schrijven dit toe aan de uitlijning van door gebruikers gegenereerde tekst op Reddit met algemene taalcorpora in plaats van strikte medische jargon.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. REDOSE-dataset: De introductie van de eerste dataset van dit type verzameld van online platforms met gedetailleerde annotaties van drugs, doseringen en effecten. Het vangt door patiënten gecurateerde verhalen en omgangstermen (bijv. "fent", "SEA #4") die vaak worden gemist door formele medische dossiers, en biedt een bron om modellen te trainen voor detectie van opkomende stoffen.
2. Benchmarking: De studie biedt een eerlijke vergelijking tussen traditionele fine-tuned BERT-modellen en moderne LLM's (zowel one-shot als RAG-gebaseerd) voor medische NER-taken in een sociale media-context.
3. Modelanalyse: Het onderzoek biedt een diepgaande analyse van modelgedrag, waarbij wordt benadrukt dat hoewel LLM's grote kennisbanken bezitten, ze moeite kunnen hebben met de specifieke frequentieverdelingen en strikte grensdefinities die nodig zijn voor medische NER zonder fine-tuning. Het identificeert ook dat eenvoudigere modellen beter geschikt kunnen zijn voor door gebruikers gegenereerde inhoud die afwijkt van domeinspecifieke taal.

De auteurs concluderen dat REDOSE dient als een kritieke bron voor de vooruitgang van NLP in onderzoek naar stofgebruik, waardoor detectie van opkomende trends mogelijk wordt en volksgezondheidsrichtlijnen worden geïnformeerd, terwijl wordt opgemerkt dat toekomstig werk dataset-bias moet aanpakken en multimodale integratie moet onderzoeken.