Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control

In de fabrieken die moderne medicijnen maken, doen machines tegenwoordig meer dan alleen mengen en flessen. Ze kijken, ze meten en ze voorspellen. Met behulp van een vorm van computerintelligentie genaamd machine learning kunnen deze systemen een defect tablet herkennen aan de hand van een foto, voorspellen hoe een medicijn zal oplossen, of de delicate omstandigheden binnen een gigantische tank bewaken waar levende cellen groeien. Deze technologie is een standaardinstrument geworden om te garanderen dat elke pil en injectie veilig en effectief is. Maar om deze slimme systemen vertrouwd te kunnen worden door de mensen die hen reguleren en de artsen die ze voorschrijven, moeten de wetenschappers die ze bouwen hun werk kunnen bewijzen. Net zoals een chef niet kan beweren dat een gerecht heerlijk is zonder het recept en de ingrediënten te laten zien, kan een wetenschapper niet beweren dat een computermodel werkt, tenzij hij de data laat zien waar het van heeft geleerd, de code die het aanstuurt, en het bewijs dat het werkt op nieuwe, ongeziene voorbeelden.

Een nieuwe studie stelt een eenvoudige maar cruciale vraag: wanneer wetenschappers deze machine learning-studies over het maken van medicijnen publiceren, kan iemand buiten het laboratorium dit werk dan daadwerkelijk controleren? De onderzoeker, een onafhankelijk geleerde genaamd Phani Kumar Balagam, zette zich af om het gepubliceerde verslag van dit vakgebied van 2019 tot 2025 te auditeren. Hij wilde twee dingen weten. Ten eerste, kon een gewone persoon, zonder een speciale tijdschriftabonnement, het volledige artikel daadwerkelijk lezen? En ten tweede, als men het kon lezen, bevatte het artikel dan de specifieke details die nodig zijn om het experiment te herhalen en de resultaten te verifiëren? Het antwoord, zo bleek uit de studie, is dat voor de meeste van deze papers het antwoord op beide vragen 'nee' is.

Om dit te achterhalen, doorzocht de onderzoeker vijf grote wetenschappelijke databases naar duizenden papers die beschrijven hoe machine learning wordt gebruikt bij het maken of testen van menselijke medicijnen. Na het filteren van reviews, preprints en studies die niet aan de criteria voldeden, bleven er 553 papers over die in aanmerking kwamen voor de studie. De eerste hindernis was toegang. De studie controleerde of elk paper gratis beschikbaar was voor het publiek. Slechts 186 van de 553 papers, oftewel ongeveer een derde, konden zonder abonnement worden gelezen. De rest zat achter een betaalmuur of kon helemaal niet worden opgehaald, zelfs wanneer ze als 'open access' waren gemarkeerd, vaak vanwege technische barrières zoals geautomatiseerde beveiligingscontroles die de download blokkeerden. Dit betekent dat voor twee van de drie studies in dit veld een nieuwsgierige lezer de volledige tekst niet eens kan zien.

Vervolgens richtte de onderzoeker zich op de 186 papers die wel leesbaar waren. Hij keek nauwgezet naar de vraag of deze papers de vier essentiële ingrediënten rapporteerden die nodig zijn om een resultaat te verifiëren: de ruwe data, de computercode, een duidelijke beschrijving van hoe de data werd opgesplitst in trainings- en testgroepen, en een definitieve prestatiescore gebaseerd op data die het model nog nooit eerder had gezien. Dit laatste deel is cruciaal; zonder dit onderdeel zou een model simpelweg de antwoorden kunnen onthouden in plaats van de regels te leren. De studie vond dat hoewel bijna alle papers vermeldenden hoe ze hun data verdeelden, zeer weinig de werkelijke data of de code deelden. Slechts ongeveer één op de vier papers maakte de data openbaar, en slechts ongeveer één op de tien maakte de code openbaar.

De situatie was zelfs nog slechter bij het zoeken naar het volledige pakket. De studie definieerde een "controleerbaar" paper als een paper die de data, de code, de splitsing en het definitieve testresultaat tegelijkertijd deelt. Van de 186 leesbare papers voldeed er slechts twee aan deze standaard. Dat is slechts iets meer dan één procent. Met andere woorden: bijna geen van de gepubliceerde studies in dit veld biedt voldoende informatie voor een onafhankelijke persoon om de analyse opnieuw uit te voeren en het gerapporteerde getal te bevestigen. De onderzoeker merkte op dat dit gebrek aan transparantie niet te wijten was aan de aard van de data zelf. Zelfs wanneer de data afkomstig was van kleine laboratoriumexperimenten in plaats van massale industriële fabrieken, werd het zelden gedeeld. Ook het gebrek aan gedeelde code kwam niet doordat de code geheim was; het werd simpelweg niet verstrekt.

De studie onderzocht ook of deze problemen in de loop der tijd verbeterden of dat ze varieerden afhankelijk van het type tijdschrift waarin het paper werd gepubliceerd. De resultaten toonden geen significante verbetering in de snelheid van het delen van data of code over de jaren heen, en de kwaliteit van de verslaglegging was gelijk over verschillende soorten wetenschappelijke tijdschriften. De onderzoeker gebruikte een groot taalmodel, een type kunstmatige intelligentie, om de papers te lezen en te beoordelen, een methode die hij verifieerde door het model dezelfde papers tweemaal te laten controleren. Het model was in staat om de specifie〠ke zinnen in de papers te vinden die de oordelen ondersteunden, wat bewees dat het gebrek aan informatie een werkelijke tekortkoming in de verslaglegging was, en geen misverstand van de lezer.

De conclusie is onomwonden. Hoewel machine learning routinematig wordt in de farmaceutische productie, is het gepubliceerde verslag van dit werk grotendeels opaak. Een derde van de papers kan niet door het publiek worden gelezen, en van de papers die wel gelezen kunnen worden, bevat bijna geen enkele de volledige set details die nodig is om de resultaten te verifiëren. De onderzoeker suggereert dat de oplossing niet vereist dat auteurs iets nieuws of moeilijks doen. Ze hoeven simpelweg de data en code te delen die ze al hebben en duidelijk te vermelden welke data hun belangrijkste resultaat heeft voortgebracht. Door te vragen naar wat auteurs al in hun bezit hebben, kan de wetenschappelijke gemeenschap de kloof tussen wat wordt gepubliceerd en wat gecontroleerd kan worden dichten, en zo ervoor zorgen dat de slimme machines die onze medicijnen maken, net zo betrouwbaar zijn als ze beweren te zijn.