Temporally validated clinical trial outcome prediction from public registry text: a leakage-audited comparison of biomedical transformers and classical NLP

Het ontwikkelen van nieuwe medicijnen is een langdurig, duur en onzeker traject. De meeste kandidaat-geneesmiddelen die de testfase ingaan, halen het nooit tot aan de medicijnplank in de apotheek. Omdat de belangen zo groot zijn, zoeken onderzoekers en bedrijven voortdurend naar manieren om te voorspellen welke klinische studies waarschijnlijk zullen slagen voordat ze jaren en miljoenen dollars aan hen uitgeven. Decennialang vertrouwden deze voorspellingen op complexe gegevens over de moleculaire structuur van het medicijn, de specifieke ziekte die het doelwit is, of het bedrijf dat de studie uitvoert. Vaak is deze informatie opgesloten in privédatabases of is er een dure abonnement vereist om er toegang toe te krijgen. Dit creëk een barrière waarbij alleen goed gefinancierde organisaties de middelen kunnen opbouwen die nodig zijn om de toekomst van medisch onderzoek te voorspellen. Maar wat als de antwoorden al voor het oprapen liggen, geschreven in de publieke beschrijvingen van de studies zelf?

Een recente studie door onafhankelijk onderzoeker Michael Doane onderzocht of een computerprogramma kon leren om het succes van klinische studies te voorspellen met behulp van uitsluitend de gratis, publieke tekst die te vinden is op de website ClinicalTrials.gov. Deze website dient als een wereldwijd register waar elke klinische studie geregistreerd moet worden, met details over het ontwerp van de studie, de betrokken patiënten en de doelen van het onderzoek. Doane wilde weten of een modern taalmodel — een type kunstmatige intelligentie dat getraind is om menselijke taal te begrijpen — deze publieke beschrijvingen kon lezen en de studies kon rangschikken op basis van hun waarschijnlijkheid van succes. Hiervoor gebruikte hij een enorme dataset van uitkomsten van klinische studies, gegenereerd door de Clinical Trial Outcome Dataset, die bewijs verzamelt uit nieuwsberichten en publieke resultaten om een waarschijnlijkheid van succes aan elke studie toe te kennen. Het doel was om te zien of een AI kon leren van deze geautomatiseerde waarschijnlijkheden en die kennis vervolgens kon toepassen op nieuwe, ongeziene studies, specifiek gericht op neurowetenschappen, zonder tijdens de training de definitieve resultaten te hebben gezien.

De onderzoeker trainde drie afzonderlijke computermodellen, één voor elke fase van het testen van geneesmiddelen: vroege veiligheidscontroles, intermediaire testen en grootschalige laatste fasen. Hij voedde deze modellen de publieke tekst van duizenden studies die vóór 2019 zijn voltooid, waarbij de geautomatiseerde succeswaarschijnlijkheden de enige gids waren voor wat er geleerd moest worden. Cruciaal was dat de modellen niet de mogelijkheid kregen om de resultaten van de studies, de data of de specifieische identificatiegegevens te zien die het antwoord zouden kunnen verraden. In plaats daarvan moesten ze vertrouwen op de louter narratieve beschrijvingen van het studieontwerp en de betrokken personen. Om ervoor te zorgen dat de resultaten echt waren en geen trucje van de data, stelde de onderzoeker een strikte regel in: de modellen zouden alleen worden getest op studies die na 2019 zijn afgerond, een periode die de modellen nog nooit eerder hadden gezien. Deze aanpak, bekend als temporele validatie, bootst na hoe een voorspellingsinstrument in de echte wereld zou worden gebruikt: door vooruit te kijken in de toekomst in plaats van enkel het verleden te memoriseren.

De resultaten toonden aan dat de computermodellen inderdaad een signaal voor succes konden vinden binnen de publieke tekst. Het primaire model, gebaseerd op een systeem genaamd BioBERT dat is voorgetraind op biomedische literatuur, slaagde erin de studies succesvol te rangschikken. In de vroege veiligheidsfase behaalde het een AUC van 0,67. In de intermediaire fase steeg deze score naar ongeveer 0,71, en in de laatste grootschalige fase bereikte het ongeveer 0,72. Hoewel deze cijfers misschien bescheiden lijken, vertegenwoordigen ze een aanzienlijk vermogen om tussen succesvolle en onsuccesvolle studies te onderscheiden met behruik van uitsluitend publieke informatie. Het model presteerde beter dan willekeurige gokken en beter dan oudere, eenvoudigere statistische methoden in de latere stadia van testen. Een ander model, genaamd BiomedBERT, presteerde in de laatste fase zelfs nog iets beter, met een AUC van bijna 0,75.

Wat dit onderzoek bijzonder opmerkelijk maakt, is de efficiëntie waarmee het werd bereikt. Het gehele proces, inclusief het trainen van de complexe AI-modellen en het uitvoeren van de vergelijkingen, duurde slechts 3,5 uur op een enkele grafische verwerkingseenheid (GPU), tegen een kostenpost van net iets meer dan één dollar aan elektriciteit en cloud computing-kosten. Dit staat in scherp contrast met de enorme supercomputers en dure datasets die vaak geassocieerd worden met kunstmatige intelligentie-onderzoek. De studie bewees dat een onderzoeker met bescheiden middelen deze resultaten kon reproduceren met uitsluitend gratis, publieke data. De modellen waren in staat om enkel uit de tekstuele beschrijvingen te leren, wat bewijst dat de manier waarop een studie wordt beschreven in een publiek register patronen bevat die correleren met de uiteindelijke uitkomst.

De studie benadrukte echter ook belangrijke beperkingen. Hoewel de modellen goed waren in het rangschikken van studies — door aan te geven welke studies waarschijnlijker zouden slagen dan andere — waren ze niet perfect in het voorspellen van de exacte waarschijnlijkheid van succes. In de eerdere fasen neigden de modellen te optimistisch te zijn, waarbij ze hogere succespercentages voorspelden dan in werkelijkheid voorkwam. Dit suggereert dat hoewel de tekst een nuttig signaal biedt voor het sorteren van studies, het de noodzaak voor menselijk oordeel of meer gedetailleerde data nog niet kan vervangen. De onderzoekers merkten ook op dat de tekstuele beschrijvingen in de loop van de tijd kunnen veranderen, en dat als een registervermelding wordt bijgewerkt nadat een studie is voltooid, dit per ongeluk het antwoord aan het model zou kunnen onthullen. Om dit te voorkomen, gebruikte de studie strikte regels om elke vermelding van resultaten uit de tekst te verwijderen voordat de modellen deze lazen.

Uiteindelijk suggereert dit werk dat het publieke verslag van klinische studies meer voorspellende kracht bevat dan voorheen werd aangenomen. Door gebruik te maken van geautomatiseerde labels om een taalmodel te onderwijzen, heeft de onderzoeker aangetoond dat het mogelijk is om een hulpmiddel te bouwen dat geneesmiddelstudies rangschikt op basis van hun publieke beschrijvingen alleen. Deze aanpak vereist geen toegang tot private bedrijfsgegevens of dure, exclusieve databases. Het biedt een transparante, reproduceerbare basis die elke onderzoeker kan gebruiken om studies te screenen of te prioriteren welke studies nauwere aandacht verdienen. Hoewel de modellen nog niet klaar zijn om definitieve beslissingen te nemen over de ontwikkeling van geneesmiddelen, bieden ze een krachtige nieuwe manier om naar de enorme hoeveelheid informatie te kijken die al voor het publiek beschikbaar is, waarbij eenvoudige tekst wordt omgevormd tot een gids voor het navigeren door het onzekere pad van medische ontdekkingen.