Large language models can disambiguate opioid slang on social media

Dit onderzoek toont aan dat grote taalmodellen (LLMs) slangtermen voor opioïden op sociale media effectiever kunnen ontwarren en gerelateerde berichten kunnen identificeren dan traditionele lexicon-methoden, waardoor de monitoring van de opioïden-crisis aanzienlijk kan worden verbeterd.

De kern

Stel je voor dat je probeert een enkele, specifieke druppel water te vinden in een gigantische oceaan. Die druppel is een bericht over drugsgebruik, en de oceaan is alles wat mensen op sociale media posten. Dat is precies het probleem waar deze onderzoekers tegenaan liepen.

Hier is een simpele uitleg van wat ze deden, vertaald naar alledaags Nederlands:

Het Grote Probleem: De "Naaald in de Hooiberg"

In de Verenigde Staten sterven duizenden mensen per jaar aan een overdosis opioïden (zoals heroïne of fentanyl). Om te zien wat er gebeurt, kijken experts naar sociale media. Maar daar zit een enorm probleem: 99,9% van de berichten heeft niets met drugs te maken.

Als je gewoon zoekt op woorden als "blues" (bluesmuziek of verdriet) of "smack" (iets hard slaan), krijg je duizenden berichten die niets met drugs te maken hebben. Het is alsof je zoekt naar een speld in een hooiberg, maar de hele hooiberg is vol met andere spelden.

Vroeger gebruikten onderzoekers een woordenlijst (een "lexicon"). Ze zeiden: "Zoek op woord X, Y en Z." Maar dit werkt slecht omdat:

1. Drugsgebruikers gebruiken vaak slang die ze veranderen om te ontsnappen aan censuur (bijvoorbeeld "fenty" in plaats van "fentanyl").
2. Diezelfde woorden ook andere betekenissen hebben (zoals "lean" wat kan betekenen: "leunen", "slank zijn" of een drankje met codeïne).

De Oplossing: De Slimme AI-Detective

De onderzoekers van Stanford hebben gekeken of Grote Taalmodellen (LLMs) – zoals de slimme AI's die je misschien kent van ChatGPT – dit probleem kunnen oplossen.

In plaats van een starre woordenlijst te gebruiken, hebben ze vier van de slimste AI's ter wereld (GPT-4, GPT-5, Claude en Gemini) getest. Ze gaven deze AI's een taak: "Lees dit bericht en vertel me: gaat het hier over drugs, of niet?"

De AI's werken als een super-slimme detective die de context begrijpt. Ze kijken niet alleen naar het woord, maar naar de hele zin.

• Als iemand zegt: "Ik ga naar de blues concert," denkt de AI: "Ah, dat gaat over muziek."
• Als iemand zegt: "Deze blues doet me pijn," denkt de AI: "Wacht, in deze context gaat het waarschijnlijk over de drug oxycodone."

De Drie Proeven

Ze hebben de AI's op drie manieren getest:

1. De Woord-Test: Ze gaven de AI een lijst met dubbelzinnige woorden (zoals "fenty" of "smack") en keken of de AI kon raden of het over drugs ging.

   • Resultaat: De AI's waren fantastisch. De oude woordenlijsten faalden bijna volledig. De AI's haalden de juiste druppels uit de oceaan zonder verstrikt te raken in de rest.

2. De Vrije Test: Ze lieten de AI's los op een grote stapel berichten zonder een woordenlijst. Ze moesten zelf ontdekken wat relevant was.

   • Resultaat: Ook hier waren de AI's veel beter dan de oude methoden. Ze vonden veel meer echte drugsberichten (hoge "recall") zonder dat ze te veel rommel meenamen.

3. De Nieuwe Slang-Test: Dit was de spannendste test. Ze verwijsden alle echte drugswaarden in de berichten naar namen van Pokémon (zoals "Pikachu" in plaats van "fentanyl").

   • Doel: Kijken of de AI kon begrijpen dat "Pikachu" in deze context waarschijnlijk een code was voor drugs, puur op basis van de rest van de zin.
   • Resultaat: De AI's waren verrassend goed in het raden van deze nieuwe, verzonnen codes. Ze zagen de context en snapten dat het om iets verbods ging, zelfs als ze het woord nog nooit eerder hadden gehoord.

Waarom is dit belangrijk?

De onderzoekers concluderen dat deze AI's een revolutie kunnen zijn in het bestrijden van de drugscrisis.

• Sneller en slimmer: Mensen kunnen niet miljoenen berichten per dag lezen. AI kan dat wel.
• Beter dan woordenlijsten: Woordenlijsten worden snel verouderd omdat slang verandert. AI's begrijpen de sfeer en de context, dus ze blijven werken zelfs als de slang verandert.
• Veiligheid: De AI's helpen beleidsmakers om te zien waar de problemen zitten, zodat ze hulp en preventie op de juiste plekken kunnen zetten.

Belangrijke kanttekening: De onderzoekers benadrukken dat dit alleen bedoeld is om trends te volgen (bijvoorbeeld: "Er is een nieuwe soort drugs in stad X"). Ze willen geen individuele mensen opsporen, censureren of straffen. De AI's zijn hier om de "hooiberg" te scannen, niet om de "naald" te gebruiken om iemand te prikken.

Kortom: De onderzoekers hebben bewezen dat slimme AI's beter zijn in het vinden van gevaarlijke drugsberichten op het internet dan de oude, stijve methoden. Ze zijn als een super-detective die de context snapt, zelfs als de boodschapper in code praat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Large language models can disambiguate opioid slang on social media" in het Nederlands.

Titel: Grote Taalmodellen kunnen op sociale media gebruikte opioïd-slang ontwarren

Auteurs: Kristy A. Carpenter et al. (Stanford University)

---

1. Het Probleem

De opioïde-overdosescrisis in de Verenigde Staten is een kritieke volksgezondheidsprobleem. Sociale media bieden waardevolle, real-time inzichten in deze trend, maar het grootste deel van de content op deze platforms is niet gerelateerd aan opioïden. Het vinden van relevante berichten is vergelijkbaar met het zoeken naar een "naald in een hooiberg".

De huidige standaardmethode om relevante content te filteren, is het gebruik van lexicons (woordenlijsten) met opioïd-gerelateerde termen. Dit heeft echter twee grote nadelen:

1. Ambiguïteit: Veel straattaal voor opioïden (bijv. "smack", "blues", "fenty") heeft ook veelvoorkomende niet-drugbetekenis. Een lexicon dat deze termen bevat, genereert enorme hoeveelheden ruis (valse positieven).
2. Beperkte dekking: Lexicons kunnen niet alle mogelijke spellingvarianten, nieuwe straattaal ("emergent slang") of "algospeak" (bewust vervaagde termen om censuur te omzeilen) bevatten.

Manuele review door experts is te tijdrovend voor grote datasets, en traditionele NLP-methoden (zoals LDA-topic modeling) zijn moeilijk te interpreteren en minder effectief voor het labelen van specifieke onderwerpen op schaal.

2. Methodologie

De auteurs evalueren of Grote Taalmodellen (LLMs) beter in staat zijn dan traditionele lexicons om contextueel te onderscheiden of een tweet over opioïden gaat, zelfs bij dubbelzinnige termen.

• Geëvalueerde Modellen: Vier state-of-the-art commerciële LLMs:
  • GPT-4 en GPT-5 (OpenAI)
  • Claude Sonnet 4.5 (Anthropic)
  • Gemini 2.5 Pro (Google)
• Datasets:
  1. Lexicon-gebaseerde taak: Een subset van de "September 2022 Spritzer" dataset (ongeveer 100 miljoen tweets), gefilterd op drie dubbelzinnige termen: "fenty", "smack" en "lean".
  2. Lexicon-vrije taak: Een dataset van ~3 miljoen tweets van gebruikers in New York en Californië, zonder voorafgaande filtering op sleutelwoorden.
  3. Opkomende slang taak: Een dataset waarbij echte opioïd-gerelateerde termen zijn vervangen door fictieve Pokémon-namen om te testen of de modellen de context kunnen begrijpen zonder de specifieke termen te kennen.
• Prompt Engineering: De auteurs ontwikkelden een iteratieve prompt-strategie waarbij het model eerst redeneert ("chain-of-thought") voordat het een definitief label ("ja", "nee", "onzeker") geeft. Dit bleek de prestaties te optimaliseren.
• Validatie: Een subset van tweets werd handmatig gelabeld door experts. De prestaties van de LLMs werden vergeleken met zes bestaande lexicons (waaronder DEA, RedMed, Sarker) en met elkaar.

3. Belangrijkste Bijdragen

• Ontwarring van Ambiguïteit: Het artikel demonstreert dat LLMs dubbelzinnige straattaal succesvol kunnen ontwarren door contextuele analyse, waardoor ze veel minder fouten maken dan statische woordlijsten.
• Lexicon-vrije Detectie: Het toont aan dat LLMs effectief kunnen werken zonder vooraf gedefinieerde lijsten van termen, wat cruciaal is voor het opsporen van nieuwe trends en spellingvarianten.
• Generalisatie: De resultaten tonen aan dat deze superioriteit niet beperkt is tot één specifiek model, maar consistent is over vier verschillende, geavanceerde LLMs.
• Schaalbaarheid: De pipeline biedt een oplossing voor het labelen van grote hoeveelheden data voor zeldzame onderwerpen (low-prevalence topics) zonder de noodzaak van intensieve manuele review.

4. Resultaten

De LLMs presteerden in alle drie de taken aanzienlijk beter dan de beste lexicon-strategieën.

• Lexicon-gebaseerde taak:
  • LLMs behaalden F1-scores van 0,824 tot 0,972 voor "fenty" en 0,540 tot 0,862 voor "smack".
  • De beste lexicon-strategieën scoorden slechts 0,126 (voor "fenty") en 0,009 (voor "smack").
  • LLMs hadden een veel hogere recall (het vinden van echte positieven) zonder de precisie drastisch te verliezen.
• Lexicon-vrije taak:
  • LLMs behaalden F1-scores tussen 0,544 en 0,769, terwijl lexicons varieerden tussen 0,080 en 0,540.
  • De recall van LLMs (0,693–0,965) was aanzienlijk hoger dan die van lexicons (0,053–0,386).
• Opkomende slang taak:
  • Zelfs met gefabriceerde slang (Pokémon-namen), behielden LLMs een hoge nauwkeurigheid (gemiddeld 0,784) en precisie (0,981).
  • Lexicons faalden volledig in deze taak omdat ze de nieuwe termen niet kenden.
• Foutanalyse: Fouten van LLMs waren vaak gerelateerd aan "Content Restriction Errors" (vaak veroorzaakt door geweld of seksuele inhoud, niet per se drugs) of technische API-fouten, en zelden door het niet herkennen van de drugscontext zelf.

5. Betekenis en Conclusie

De studie concludeert dat LLMs een revolutionaire verbetering bieden voor het monitoren van de opioïdecrisis via sociale media.

• Verbeterde Datakwaliteit: Door de hoge recall kunnen onderzoekers veel meer relevante data verzamelen voor downstream-analyses en voorspellende modellen, zonder dat ze overweldigd worden door ruis.
• Toekomstbestendigheid: De open-vocabulary-aanpak van LLMs maakt ze minder vatbaar voor veroudering door nieuwe straattaal dan statische lexicons.
• Ethische Overwegingen: De auteurs benadrukken dat deze technologie uitsluitend moet worden gebruikt voor populatie-level monitoring om schadebeperking en preventie te verbeteren. Ze verwerpen het gebruik voor individuele surveillance, censuur of criminalisering, aangezien sociale media-posts niet kunnen bewijzen dat een individu daadwerkelijk drugs gebruikt.

Kortom, LLMs bieden een robuust, schaalbaar en nauwkeurig alternatief voor traditionele tekstfiltering, wat essentieel is voor het begrijpen van complexe en snel veranderende fenomenen zoals de opioïdecrisis.