Identification of Causative Drugs for Adverse Events Using BioClinicalBERT and BioGPT on Social Media
Deze studie toont aan dat geavanceerde Large Language Models, specifiek BioClinicalBERT en BioGPT, een hoge nauwkeurigheid bereiken (98% F1-score en nauwkeurigheid) bij het automatisch identificeren van causale medicijnen voor bijwerkingen uit sociale media en drug review-datasets, wat een veelbelovende realtime oplossing biedt voor de monitoring van medicijnveiligheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een gigantisch, chaotisch dorpsplein waar miljoenen mensen constant praten over hun leven, hun gevoelens en ja, ook over hun gezondheid. In dit digitale dorpsplein delen mensen vaak verhalen over hoe een specifiek medicijn hen ziek maakte, duizelig maakte of hen gewoon een "vreemd" gevoel gaf. Lange tijd moesten artsen en wetenschappers deze verhalen één voor één lezen, zoals een bibliothecaris die probeert één specifief boek te vinden in een bibliotheek die nooit stopt met groeien. Dit is de wereld van farmacovigilantie—de praktijk van het bewaken van medicijnen om ervoor te zorgen dat ze veilig zijn.
Om orde te scheppen in deze berg aan geklets, gebruiken wetenschappers een speciaal soort computerbrein genaamd Natural Language Processing (NLP). Denk aan NLP als een super slimme vertaler die niet alleen talen vertaalt, maar ook menselijke gedachten en slordige zinnen vertaalt naar heldere, georganiseerde feiten. Onlangs zijn deze computerbreinen nog slimmer geworden met de hulp van Large Language Models (LLMs). Je kunt deze modellen zien als studenten die bijna elk boek in de bibliotheek hebben gelezen. Sommigen, zoals BioClinicalBERT, zijn als studenten die gespecialiseerd zijn in medische tekstboeken en ziekenhuisverslagen, terwijl anderen, zoals BioGPT, als creatieve schrijvers zijn die nieuwe verhalen kunnen generen op basis van wat ze hebben gelezen. De grote vraag die onderzoekers stellen is: Kunnen deze super slimme computerstudenten onze slordige social media-berichten lezen en precies uitzoeken welk medicijn een slechte reactie veroorzaakte, sneller en beter dan mensen dat kunnen?
Dit is precies wat de onderzoekers in deze studie wilden doen. Ze behandelden het internet als een enorme, lawaaierige klas vol patiëntverhalen en vroegen twee verschillende "superstudenten" om een toets te maken. Hun doel was om te zien of deze geavanceerde computermodellen een patiëntreactie konden analyseren—zoals "Ik nam deze pil en nu doet mijn maag pijn"—en correct de specifieke drug kon identificeren die verantwoordelijk was voor de pijn.
De onderzoekers verzamelden hun "toetsvragen" uit twee hoofdbronnen. Eerst gebruikten ze een collectie medische casusrapporten genaamd ADE-Corpus-V2, wat een soort tekstboek is van bekende medicijnreacties. Ten tweede schraapten ze echte beoordelingen van de website "askapatient.com", waarbij ze specifiek keken naar beoordelingen voor psychiatrische medicijnen zoals Zoloft en Lexapro. Deze mix gaf hen een dataset die deels tekstboek en deels echt wereldwijse roddel was. Voordat de computermodellen de toets konden maken, moesten de onderzoekers de data opschonen. Ze traden op als strikte redacteuren door interpunctie te verwijderen, alles naar kleine letters om te zetten en vreemde spellingen te corrigeren zodat de modellen niet in de war zouden raken. Ze gebruikten zelfs een truc genaamd "text augmentation", wat is als het nemen van een zin, deze naar een andere taal vertalen, en weer terugvertalen om een iets andere versie van hetzelfde verhaal te creëren. Dit hielp de modellen om te oefenen op meer voorbeelden, zodat ze niet vast zouden lopen op slechts één manier van zeggen.
Toen de data klaar was, voerden ze deze aan de twee sterrenstrijders: BioClinicalBERT en BioGPT. BioClinicalBERT is een model dat specifiek is getraind op medische teksten, waardoor het een specialist is in de taal van artsen en ziekenhuizen. BioGPT daarentegen is een generatief model dat is ontworpen om tekst te begrijpen en te creëren, getraind op een enorme hoeveelheid biomedische literatuur. De modellen moesten duizenden zinnen bekijken en classificeren welk medicijn de bijwerking veroorzaakte uit een lijst van dertien veelvoorkomende medicijnen, variërend van pijnstillers zoals Ibuprofen tot hartmedicatie zoals Lisinopril.
De resultaten waren indrukwekkend, maar één model overtrof de ander duidelijk. BioClinicalBERT bleek de kampioen van deze studie te zijn. Het behaalde een testnauwkeurigheid van 98% en een F1-score (een maatstaf voor hoe goed een model alle juiste antwoorden vindt zonder fouten te maken) van 98%. In de wereld van de informatica is dit als het behalen van een bijna perfecte score op een zeer moeilijk examen. Het model was in bijna alle gevallen waarin het werd getest in staat om het veroorzakende medicijn correct te identificeren. BioGPT deed het ook goed met een testnauwkeurigheid van 92,38%, maar het kon de precisie van zijn gespecialiseerde rivaal niet evenaren. De onderzoekers ontdekten dat de training van BioClinicalBERT op klinische tekst het een voorsprong gaf in het begrijpen van de specifieke, vaak complexe manier waarop mensen medische bijwerkingen beschrijven.
De studie suggereert dat het gebruik van deze geavanceerde, gespecialiseerde computermodellen een krachtige manier is om de detectie van signalen over medicijnveiligheid te automatiseren. In plaats van te wachten tot een mens elke recensie heeft gelezen, kunnen deze tools sociale media en medische fora in realtime scannen en potentiële gevaren bijna onmiddellijk signaleren. De auteurs merken echter voorzichtig op dat hoewel de computermodellen uitstekend zijn in het herkennen van patronen, ze geen vervanging zijn voor menselijke artsen. De studie benadrukt dat medische experts de bevindingen nog steeds moeten valideren om de patiëntveiligheid te waarborgen. De onderzoekers wijzen er ook op dat hun werk een startpunt is; toekomstige verbeteringen zouden onder meer het toevoegen van meer soorten data kunnen zijn, zoals patiëntgenetica of afbeeldingen, om de detectie nog nauwkeuriger te maken. Voor nu laat dit onderzoek echter zien dat we met de juiste digitale tools de chaotische ruis van het internet kunnen omzetten in een helder waarschuwingssysteem voor medicijnveiligheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.