💻 computer science

Leveraging Machine Learning Models to Predict Probability of Technical and Regulatory Success

Dit artikel toont aan dat interpreteerbare machine learning-modellen, getraind op publieke kenmerken van ClinicalTrials.gov-protocollen, accuraat de waarschijnlijkheid van technisch en regulatoir succes voor small-molecule trials kunnen voorspellen, waarbij ze standaard benchmarks overtreffen en een reproduceerbare tool bieden voor risico-gecorrigeerde waardering.

Oorspronkelijke auteurs: Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een durfkapitalist bent die moet beslissen of je in een nieuwe startup investeert. Je weet dat de meeste startups falen, maar je wilt weten welke de beste kans op succes hebben. In de wereld van de geneeskunde zijn deze "startups" nieuwe medicijnen, en de "investeerders" zijn farmaceutische bedrijven.

Het artikel dat je hebt verstrekt, gaat over het bouwen van een glazen bol voor deze farmaceutische bedrijven. Echter, in plaats van magie, gebruikten ze wiskunde en publieke gegevens om te voorspellen of een nieuw medicijn de lange, moeilijke weg naar goedkeuring zal overleven.

Hier is de uitsplitsing van hun werk in eenvoudige termen:

1. Het Probleem: De "Black Box" van Medicijnsucces

Het ontwikkelen van een nieuw medicijn is ongelooflijk duur en riskant. Gemiddeld maakt slechts ongeveer 1 op de 10 nieuwe medicijnen de weg van het begin van de testen tot de uiteindelijke goedkeuring door.

De Oude Manier: Bedrijven gokken meestal op de slaagkans door te kijken naar historische gemiddelden (bijv. "Medicijnen voor hartziekten hebben een succespercentage van 15%") of door een groep experts hun intuïtie te laten gebruiken.
Het Probleem: Historische gemiddelden zijn te algemeen (ze kijken niet naar het specifieke medicijn), en meningen van experts kunnen bevooroordeeld of te traag zijn. Ook zijn veel geavanceerde voorspellingsmodellen die vandaag de dag worden gebruikt als "black boxes"—ze geven een antwoord, maar niemand weet hoe ze daar gekomen zijn, en ze vereisen vaak geheime, dure data die gewone mensen niet kunnen zien.

2. De Oplossing: Een Transparante, Publieke "Weersverwachting"

De auteurs wilden een model bouwen dat:

Reproduceerbaar is: Iedereen kan het bouwen.
Interpreteerbaar is: Je kunt onder de motorkap kijken en precies zien waarom het een voorspelling deed.
Publiek is: Het gebruikt alleen data die gratis op internet beschikbaar is (specifiek ClinicalTrials.gov, een enorme publieke database van medische studies).

Ze behandelden de voorspelling als een weersverwachting. Net zoals meteorologen het weerpatroon uit het verleden gebruiken om regen te voorspellen, gebruikt dit model gegevens uit eerdere klinische studies om "medicijnregen" (succes) of "medicijn-droogte" (falen) te voorspellen.

3. Hoe Ze het Model Hebben Gebouwd

De Ingrediënten: Ze downloadden informatie van duizenden eerdere klinische studies. Ze keken niet naar geheime chemische formules of privébedrijfsrapporten. Ze keken alleen naar het "protocol" (het regelboek) van de studie:
- Wie betaalt ervoor? (De Sponsor)
- Welke ziekte behandelt het? (Therapeutisch gebied)
- In welke fase zit de studie? (Fase 1, 2 of 3)
- Hoe is de studie ontworpen? (Is het gerandomiseerd? Wie is de patiënt?)
De Training: Ze stopten deze gegevens in een computerprogramma (een "Random Forest"-model, wat lijkt op een team van vele besluitvormers die stemmen over de uitkomst). Ze leerden de computer met studies die vóór 2017 zijn afgerond.
De Test: Vervolgens vroegen ze de computer om de uitkomst te voorspellen van studies die na 2017 zijn gestart, die de computer nog nooit eerder had gezien. Dit is als het testen van een student op een nieuw examen nadat hij is onderwezen met oude oefentoetsen.

4. De Resultaten: Beter Dan het Gemiddelde Gokje

Het computermodel deed het beter dan de standaard "gemiddelde" gokjes die in de sector worden gebruikt.

De Score: Het model behaalde een score (genaamd ROC-AUC) van 0,788. In de wereld van voorspellingen is dit een solide "B+" of "A-", wat betekent dat het aanzienlijk beter is dan simpelweg een muntje opgooien of een generiek gemiddelde gebruiken.
De "Brier Score": Dit meet hoe gekalibreerd de voorspellingen zijn. Als het model zegt dat er een kans van 70% op succes is, slaagt het dan ook daadwerkelijk 70% van de tijd? Het model was erg goed in dit, wat betekent dat de waarschijnlijkheden betrouwbaar waren.

5. Wat het Model Heeft Geleerd (Het "Waarom")

Omdat het model transparant is, konden de auteurs het vragen: "Welke factoren waren het belangrijkst?" Het gaf hen drie hoofdzaken, die overeenkomen met het gezond verstand, maar bevestigen dit met data:

De Sponsor Maakt Uit: Studies gefinancierd door grote farmaceutische bedrijven hadden een grotere kans op succes dan studies gefinancierd door universiteiten of de overheid. (Denk aan een goed gefinancierde startup versus een project vanuit een garage).
De Ziekte Maakt Uit: Studies voor infectieziekten en metabole aandoeningen hadden hogere succespercentages, terwijl studies voor kanker (oncologie) veel moeilijker te passeren waren (lagere succespercentages).
De Fase Maakt Uit: Naarmate een medicijn dichter bij de finishlijn komt (Fase 3), stijgt de kans op succes. Fase 2 is de "gevarenzone" waar veel medicijnen falen.

6. De Kanttekening (Beperkingen)

De auteurs zijn eerlijk over de beperkingen van het model:

Het is niet perfect: Het is geen magische 100% voorspeller. Het maakt nog steeds fouten.
Tijdsverschil: Als je het model traint op data van 10 jaar geleden en probeert vandaag te voorspellen, wordt het iets minder nauwkeurig, maar het werkt nog steeds beter dan de oude benchmarks.
Ontbrekende Informatie: Het model gebruikte niet de werkelijke chemische structuur van het medicijn of diepe wetenschappelijke teksten, alleen het publieke "regelboek" van de studie. Het toevoegen van die details zou het misschien nog slimmer maken.

De Kern van het Verhaal

Dit artikel bewijst dat je geen geheime, dure data of complexe, onverklaarbare AI nodig hebt om het succes van een medicijn te voorspellen. Door publieke gegevens en eenvoudige, transparante wiskunde te gebruiken, kun je een hulpmiddel bouwen dat bedrijven helpt slimmere beslissingen te nemen over in welke medicijnen zij moeten investeren. Het is alsof je iedereen een betere kaart geeft om door de risicovolle reis van medicijnontwikkeling te navigeren.

Technisch overzicht: Het inzetten van machine learning-modellen om de waarschijnlijkheid van technische en regulatoire successen te voorspellen

Probleemstelling

De farmaceutische industrie wordt geconfronteerd met hoge uitvalpercentages in de medicijnontwikkeling, waarbij de gemiddelde waarschijnlijkheid van technisch en regulatoir succes (pTRS) voor investigational new drugs (IND's) ongeveer 9,6% bedraagt. Een nauwkeurige beoordeling van de pTRS is cruciaal voor risico-gecorrigeerde waardering (rNPV), portfoliobeheer en strategische besluitvorming. Bestaande beoordelingsmethoden vertrouwen echter vaak op propriëtaire data, complexe "black-box"-architecturen of subjectieve deskundige elicitatie, die moeilijk te repliceren, te kalibreren of te integreren zijn in standaard workflows. Er is een gebrek aan gestandaardiseerde, reproduceerbare frameworks die uitsluitend gebruikmaken van publiekelijk beschikbare data om gekalibreerde, interpreteerbare pTRS-schattingen te genereren.

Methodologie

Databronnen en Preprocessing

De studie maakte gebruik van twee primaire databronnen:

Feature Space: Protocolsectie-data opgehaald via de API van ClinicalTrials.gov (per januari 2026). Kenmerken werden geëxtraheerd uit acht modules: Identificatie, Sponsor/Collaborators, Beschrijving, Condities, Design, Arm Interventions, Outcomes en Eligibility.
Outcome Labels: Binaire succes/falen-labels (0/1) voor small-molecule trials tot en met 2021, afkomstig uit de HINT clinical-trial-outcome repository (afgeleid van IQVIA-data).

Data Cleaning en Engineering:

Cleaning: Niet-tekstuele kenmerken (bijv. leeftijd, datums) werden numeriek gestandaardiseerd. Categorische lijsten (bijv. condities) werden omgezet naar pipe-gescheiden strings.
Therapeutic Area Mapping: Met behulp van GPT-4o met few-shot prompting werden trials geclassificeerd in een van de 21 vooraf gedefinieerde therapeutische gebieden (bijv. Oncologie, Cardiovasculair, Infectieziekten) op basis van condities en trefwoorden.
Encoding: Categorische en multi-categorische variabelen werden one-hot encoded.
Temporele Split: Om real-world forecasting te simuleren, werd de data temporeel gesplitst:
- Trainingsset: Trials met primaire voltooiingsdata vóór 1 januari 2017 ( $n=10.224$ ).
- Testset: Trials met startdata na 1 januari 2017 ( $n=478$ ).
Class Imbalance: Class weights werden toegepast die omgekeerd evenredig zijn aan de frequenties van de klassen, om misclassificatie van falen zwaarder te bestraffen.

Modelontwikkeling

Drie interpreteerbare machine learning-modellen werden geëvalueerd:

Logistische Regressie: Gebruikt als baseline.
Random Forest (RF): Geëvalueerd met hyperparameter tuning via random search (20 combinaties, 5-fold cross-validatie).
XGBoost: Eveneals Random Forest geëvalueerd.

Evaluatiemetrieken:

Discriminatie: ROC-AUC en PR-AUC.
Kalibratie: Brier score (gedecomposeerd in betrouwbaarheid, resolutie en onzekerheid).
Benchmark Vergelijking: Een "Outperformance Rate"-metriek werd gedefinieerd om te meten hoe vaak de voorspelde waarschijnlijkheid van het model dichter bij de werkelijke uitkomst lag dan een afgeleide benchmark (gemiddelde succesratio per ziektecategorie en fase).
Interpreteerbaarheid: SHAP (SHapley Additive exPlanations) waarden werden gebruikt om de belangrijkheid van kenmerken te rangschikken en individuele voorspellingen te verklaren.

Belangrijkste Resultaten

Modelprestaties

Het Random Forest-model vertoonde de sterkste geaggregeerde prestatie over alle metrieken en presteerde beter dan de logistische regressie-baseline en standaard benchmarks in de meeste settings:

ROC-AUC: 0,788 (vs. 0,726 voor de baseline).
PR-AUC: 0,794 (vs. 0,748 voor de baseline).
Brier Score: 0,196 (vs. 0,220 voor de baseline), wat wijst op superieure kalibratie.
Noot: De baseline presteerde slechts licht beter dan Random Forest op de PR-AUC metriek voor Fase 3 trials.

Temporele Stabiliteit

De studie testte de impact van temporele hiaten (0, 1, 3 en 5 jaar) tussen de trainings- en testdata. Hoewel de prestaties een lichte, consistente daling vertoonden naarmate het gat groter werd (bijv. ROC-AUC daalde van 0,755 bij een 0-jarig gat naar 0,748 bij een 5-jarig gat), bleef het model robuust en bleef het zelfs met een gat van 5 jaar beter presteren dan de benchmarks.

Feature Belang (SHAP-analyse)

De SHAP-analyse identificeerde de volgende als de dominante drijfveren van pTRS-voorspellingen:

Sponsor Type: Industrie-sponsoring was de sterkste positieve drijfveer; non-industrie sponsoring (bijv. NIH, academisch) correleerde met een lagere voorspelde success ratio.
Therapeutisch Gebied: Oncologie was geassocieerd met een lagere pTRS, terwijl Infectieziekten en Metabole stoornissen een hogere pTRS vertoonden.
Trial Fase: Fase 3 trials vertoonden een hogere voorspelde success ratio, terwijl Fase 2 (proof-of-concept) een lagere success ratio vertoonde, consistent met historische uitvalpercentages.
Design Variabelen: Gerandomiseerde allocatie, masking en single-group assignments hadden gematigde maar consistente effecten.

Significantie en Claims

Het artikel stelt dat de primaire bijdrage praktisch en methodologisch is, in plaats van het bereiken van state-of-the-art voorspellende nauwkeurigheid door architecturale complexiteit.

Reproduceerbaarheid: De studie demonstreert dat gekalibreerde, besluitvormingswaardige pTRS-schattingen kunnen worden gegenereerd met uitsluitend publieke data (ClinicalTrials.gov) en open labels, waardoor de afhankelijkheid van propriëtaire databases of complexe deep learning pipelines (bijv. HINT, inClinico) wordt weggenomen.
Interpreteerbaarheid: Door modellen zoals Random Forest en SHAP te gebruiken, biedt de aanpak transparante verklaringen voor belanghebbenden, wat de integratie in expert-elicitatie en waarderingsworkflows faciliteert waar "black-box" modellen vaak worden afgewezen.
Besluitvormingsnut: De auteurs stellen dat zelfs bescheiden verbeteringen in probabilistische nauwkeurigheid (bijv. 3–4 procentpunten) significant zijn op portfolioniveau, en invloed hebben op kapitaalallocatie en Go/No-Go beslissingen.
Benchmarking Strategie: Het paper introduceert een benchmarking-aanpak afgeleid van de trainingsdata zelf (fase-per-therapeutisch-gebied gemiddelden) om een eerlijke, reproduceerbare vergelijkingsmetriek te creëren die de biases van externe, potentieel incomplete industrie-databases vermijdt.

Erkende Beperkingen

De auteurs merken expliciet enkele beperkingen op:

Data Recentheid: De labels zijn beperkt tot small-molecule trials tot en met 2021; verschuivingen in regulatoire processen of trial-uitvoering sinds die tijd kunnen de toekomstige prestaties beïnvloeden.
Feature Scope: Het model sluit rijke vrije tekstbeschrijvingen, moleculaire eigenschappen (SMILES) en PK/PD/toxiciteitsdata uit, wat de prestaties kan beperken, met name voor first-in-class of oncologie assets.
LLM Categorisering: De mapping van therapeutische gebieden vertrouwde op LLM's, wat gestructureerde misclassificatie zou kunnen introduceren.
Benchmark Afleiding: De "outperformance" metriek is afhankelijk van benchmarks afgeleid uit de trainingsset; toekomstig werk zou dit tegen externe benchmarks moeten valideren.

Concluderend stelt het paper dat interpreteerbare modellen, getraind op open klinische trial-kenmerken, een levensvatbaar, praktisch fundament bieden voor risicokwantificatie dat de deskundige oordeelsvorming en traditionele benchmarks aanvult, in plaats van vervangt.