Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control
Cet audit de méta-recherche transversale révèle que, bien qu'environ un tiers des études d'apprentissage automatique sur la fabrication pharmaceutique soient accessibles sans abonnement, seulement 1,1 % de ces articles accessibles fournissent la combinaison nécessaire de données publiques, de code et d'évaluation sur données test fournissant l'indépendance nécessaire pour la vérification de leurs résultats.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Dans les usines qui fabriquent les médicaments modernes, les machines ne se contentent plus de mélanger et de mettre en bouteille. Elles surveillent, elles mesurent et elles prédisent. En utilisant un type d'intelligence informatique appelée apprentissage automatique, ces systèmes peuvent repérer un comprimé défectueux à partir d'une photographie, prédire comment un médicament va se dissoudre ou surveiller les conditions délicates à l'intérieur d'un réservoir géant où des cellules vivantes se développent. Cette technologie est devenue un outil standard pour garantir que chaque pilule et chaque injection est sûre et efficace. Mais pour que ces systèmes intelligents soient dignes de confiance pour les personnes qui les réglementent et les médecins qui les prescrivent, les scientifiques qui les construisent doivent être capables de prouver leur travail. Tout comme un chef ne peut prétendre qu'un plat est délicieux sans montrer la recette et les ingrédients, un scientifique ne peut prétendre qu'un modèle informatique fonctionne à moins de montrer les données dont il a appris, le code qui l'exécute et la preuve qu'il fonctionne sur de nouveaux exemples inédits.
Une nouvelle étude pose une question simple mais critique : lorsque les scientifiques publient ces études d'apprentissage automatique concernant la fabrication de médicaments, est-ce que quelqu'un en dehors du laboratoire peut réellement vérifier leur travail ? Le chercheur, un universitaire indépendant nommé Phani Kumar Balagam, s'est donné pour mission d'auditer le registre publié de ce domaine de 2019 à 2025. Il voulait savoir deux choses. Premièrement, une personne ordinaire, sans abonnement à une bibliothèque spécialisée, pouvait-elle réellement lire l'article complet ? Deuxièmement, si elle pouvait le lire, l'article contenait-il les détails spécifiques nécessaires pour reproduire l'expérience et vérifier les résultats ? La réponse, l'étude l'a constaté, est que pour la plupart de ces articles, la réponse aux deux questions est non.
Pour le découvrir, le chercheur a parcouru cinq bases de données scientifiques majeures pour trouver des milliers d'articles décrivant l'utilisation de l'apprentissage automatique pour fabriquer ou tester des médicaments humains. Après avoir filtré les revues, les prépublications et les études qui ne correspondaient pas aux critères, il lui est resté 553 articles éligibles pour l'étude. Le premier obstacle était l'accès. L'étude a vérifié si chaque article était accessible gratuitement au public. Seuls 186 des 553 articles, soit environ un tiers, pouvaient être lus sans abonnement. Les autres étaient verrouillés derrière des paywalls ou ne pouvaient pas être récupérés du tout, même si certains étaient marqués comme étant en accès libre, souvent à cause de barrières techniques comme des contrôles de sécurité automatisés qui bloquaient le téléchargement. Cela signifie que pour deux études sur trois dans ce domaine, un lecteur curieux ne peut même pas voir le texte intégral.
Le chercheur s'est ensuite concentré sur les 186 articles lisibles. Il a examiné de près si ces articles rapportaient les quatre ingrédients essentiels nécessaires pour vérifier un résultat : les données brutes, le code informatique, une description claire de la manière dont les données ont été divisées en groupes d'entraînement et de test, et un score de performance final basé sur des données que le modèle n'avait jamais vues auparavant. Cette dernière partie est cruciale ; sans elle, un modèle pourrait simplement mémoriser les réponses plutôt que d'apprendre les règles. L'étude a révélé que, bien que presque tous les articles mentionnent la façon dont ils ont divisé leurs données, très peu partageaient les données réelles ou le code. Seulement environ un article sur quatre rendait les données publiques, et seulement environ un article sur dix rendait le code public.
La situation était encore pire lorsqu'on recherchait le paquet complet. L'étude a défini un article « vérifiable » comme un article qui partageait les données, le code, la division et le résultat du test final tous en même temps. Sur les 186 articles lisibles, seuls deux répondaient à cette norme. Cela représente un peu plus de un pour cent. En d'autres termes, presque aucune des études publiées dans ce domaine ne fournit suffisamment d'informations pour qu'une personne indépendante puisse relancer l'analyse et confirmer le chiffre principal. Le chercheur a noté que ce manque de transparence n'était pas dû à la nature des données elles-mêmes. Même lorsque les données provenaient de petites expériences de laboratoire plutôt que de massives usines industrielles, elles étaient rarement partagées. De même, l'absence de partage de code n'était pas due au fait que le code était secret ; il n'était simplement pas fourni.
L'étude a également examiné si ces problèmes s'amélioraient avec le temps ou s'ils variaient en fonction du type de revue dans laquelle l'article était publié. Les résultats ont montré aucune amélioration significative du taux de partage de données ou de code au fil des années, et la qualité du compte rendu était la même selon les différents types de revues scientifiques. Le chercheur a utilisé un grand modèle de langage, un type d'intelligence artificielle, pour lire et noter les articles, une méthode qu'il a vérifiée en faisant vérifier les mêmes articles deux fois par le modèle. Le modèle a été capable de trouver les phrases spécifiques dans les articles qui soutenaient ses jugements, prouvant que le manque d'information était un réel fossé dans le compte rendu, et non une mauvaise compréhension du lecteur.
La conclusion est cinglante. Bien que l'apprentissage automatique devienne courant dans la fabrication pharmaceutique, le registre publié de ce travail est largement opaque. Un tiers des articles ne peuvent pas être lus par le public et, de ceux qui peuvent être lus, presque aucun ne contient l'ensemble des détails requis pour vérifier les résultats. Le chercheur suggère que la solution ne nécessite pas que les auteurs fassent quelque chose de nouveau ou de difficile. Ils doivent simplement partager les données et le code qu'ils possèdent déjà et indiquer clairement quelles données ont produit leur résultat principal. En demandant ce que les auteurs possèdent déjà, la communauté scientifique pourrait combler le fossé entre ce qui est publié et ce qui peut être vérifié, garantissant ainsi que les machines intelligentes qui fabriquent nos médicaments sont aussi fiables qu'elles le prétendent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.