Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control

In den Fabriken, die moderne Medikamente herstellen, machen Maschinen heute mehr als nur das Mischen und Abfüllen. Sie beobachten, sie messen und sie sagen voraus. Unter Verwendung einer Art von künstlicher Intelligenz, dem maschinellen Lernen, können diese Systeme eine defekte Tablette anhand eines Fotos erkennen, vorhersagen, wie sich ein Medikament auflöst, oder die empfindlichen Bedingungen in einem riesigen Tank überwachen, in dem lebende Zellen wachsen. Diese Technologie ist zu einem Standardwerkzeug geworden, um sicherzustellen, dass jede Pille und jede Injektion sicher und wirksam ist. Doch damit diese intelligenten Systeme von den Menschen, die sie regulieren, und den Ärzten, die sie verschreiben, vertraut werden können, müssen die Wissenschaftler, die sie entwickeln, ihre Arbeit beweisen können. Genau wie ein Koch nicht behaupten kann, ein Gericht sei köstlich, ohne das Rezept und die Zutaten zu zeigen, kann ein Wissenschaftler nicht behaupten, dass ein Computermodell funktioniert, es sei denn, er zeigt die Daten, von denen es gelernt hat, den Code, der es ausführt, und den Beweis, dass es an neuen, ungesehenen Beispielen funktioniert.

Eine neue Studie stellt eine einfache, aber kritische Frage: Können Außenstehende, die außerhalb des Labors arbeiten, die wissenschaftlichen Arbeiten über maschinelles Lernen zur Herstellung von Medikamenten tatsächlich überprüfen, wenn Wissenschaftler diese veröffentlichen? Der Forscher, ein unabhängiger Gelehrter namens Phani Kumar Balagam, untersuchte den veröffentlichten Stand dieses Feldes von 2019 bis 2025. Er wollte zwei Dinge wissen. Erstens: Konnte eine normale Person ohne ein spezielles Zeitschriftenabonnement das vollständige Paper tatsächlich lesen? Zweitens: Wenn sie es lesen konnten, enthielt das Paper die spezifischen Details, die nötig sind, um das Experiment zu wiederholen und die Ergebnisse zu verifizieren? Die Antwort, so die Studie, ist, dass bei den meisten dieser Paper die Antwort auf beide Fragen „Nein“ lautet.

Um dies herauszufinden, durchsuchte der Forscher fünf große wissenschaftliche Datenbanken nach tausenden Papern, die die Verwendung von maschinellem Lernen zur Herstellung oder zum Testen von Humanarzneimitteln beschreiben. Nach dem Herausfiltern von Übersichtsarbeiten (Reviews), Vorabveröffentlichungen (Preprints) und Studien, die nicht den Kriterien entsprachen, blieben 553 Paper übrig, die für die Studie infrage kamen. Die erste Hürde war der Zugang. Die Studie prüfte, ob jedes Paper für die Öffentlichkeit kostenlos verfügbar war. Nur 186 der 553 Paper, also etwa ein Drittel, konnten ohne Abonnement gelesen werden. Der Rest war hinter Paywalls gesperrt oder konnte gar nicht abgerufen werden, obwohl einige als Open Access gekennzeichnet waren, oft aufgrund technischer Barrieren wie automatisierter Sicherheitsprüfungen, die den Download blockierten. Das bedeutet, dass ein interessierter Leser bei zwei von drei Studien in diesem Bereich den Volltext gar nicht erst sehen kann.

Der Forscher konzentrierte sich dann auf die 186 lesbaren Paper. Er untersuchte genau, ob diese Paper die vier wesentlichen Zutaten berichteten, die zur Verifizierung eines Ergebnisses nötig sind: die Rohdaten, den Computercode, eine klare Beschreibung darüber, wie die Daten in Trainings- und Testgruppen aufgeteilt wurden, und einen abschließenden Leistungswert basierend auf Daten, die das Modell zuvor noch nie gesehen hatte. Letzteres ist entscheidend; ohne diesen Teil könnte ein Modell lediglich die Antworten auswendig lernen, anstatt die Regeln zu verstehen. Die Studie ergab, dass fast alle Paper zwar erwähnten, wie sie ihre Daten aufteilten, aber nur sehr wenige die eigentlichen Daten oder den Code teilten. Nur etwa jedes vierte Paper machte die Daten öffentlich, und nur etwa jedes zehnte machte den Code öffentlich.

Die Situation war noch schlimmer, wenn man nach dem kompletten Paket Ausschau hielt. Die Studie definierte ein „prüfbares“ Paper als eines, das die Daten, den Code, die Aufteilung und das Endergebnis des Tests gleichzeitig bereitstellte. Von den 186 lesbaren Papern erfüllten nur zwei diesen Standard. Das sind gerade einmal etwas mehr als ein Prozent. Mit anderen Worten: Fast keine der veröffentlichten Studien in diesem Bereich liefert genügend Informationen, damit eine unabhängige Person die Analyse erneut durchführen und die Schlagzeile bzw. die Hauptzahl bestätigen kann. Der Forscher stellte fest, dass dieser Mangel an Transparenz nicht auf die Art der Daten selbst zurückzuführen war. Selbst wenn die Daten aus kleinen Laborexperimenten stammten statt aus massiven Industrieanlagen, wurden sie selten geteilt. Ähnlich verhielt es sich mit dem geteilten Code: Der Mangel an geteiltem Code lag nicht daran, dass der Code geheim war; er wurde schlichtweg nicht bereitgestellt.

Die Studie untersuchte auch, ob sich diese Probleme im Laufe der Zeit verbesserten oder ob sie je nach Art der Zeitschrift variierten, in der das Paper veröffentlicht wurde. Die Ergebnisse zeigten keine signifikante Verbesserung der Rate der Datenteilung oder der Codefreigabe über die Jahre hinweg, und die Qualität der Berichterstattung war über verschiedene Arten wissenschaftlicher Zeitschriften hinweg gleich. Der Forscher nutzte ein Large Language Model, eine Art von künstlicher Intelligenz, um die Paper zu lesen und zu bewerten – eine Methode, die er verifizierte, indem er das Modell dieselben Paper zweimal prüfen ließ. Das Modell war in der Lage, die spezifischen Sätze in den Papern zu finden, die seine Urteile stützten, was bewies, dass der Mangel an Informationen eine reale Lücke in der Berichterstattung war und kein Missverständnis des Lesers.

Die Schlussfolgerung ist drastisch. Während maschinelles Lernen in der pharmazeutischen Herstellung zur Routine wird, ist der veröffentlichte Bestand dieser Arbeit weitgehend undurchsichtig. Ein Drittel der Paper kann von der Öffentlichkeit nicht gelesen werden, und von denjenigen, die gelesen werden können, enthalten fast keine den vollständigen Satz an Details, die zur Verifizierung der Ergebnisse erforderlich sind. Der Forscher legt nahe, dass die Lösung nicht erfordert, dass Autoren etwas Neues oder Schwieriges tun. Sie müssen lediglich die Daten und den Code teilen, die sie bereits haben, und klar angeben, welche Daten ihr Hauptergebnis erzeugt haben. Indem man nach dem fragt, was die Autoren bereits besitzen, könnte die wissenschaftliche Gemeinschaft die Lücke zwischen dem, was veröffentlicht wird, und dem, was überprüft werden kann, schließen und sicherstellen, dass die intelligenten Maschinen, die unsere Medikamente herstellen, so zuverlässig sind, wie sie behaupten.