Clinical trial success prediction from open registry text using classical machine learning

Chaque année, les entreprises pharmaceutiques injectent des milliards de dollars et des décennies d'efforts dans le développement de nouveaux médicaments. Le chemin allant d'une idée prometteuse en laboratoire jusqu'à un comprimé sur l'étagère d'une pharmacie est long et semé d'échecs. La plupart des candidats médicaments n'atteignent jamais l'approbation, et lorsqu'ils échouent après des années de travail, la perte financière est colossale. Plus important encore, les personnes qui se portent volontaires pour ces études font face à des risques sans recevoir les bénéfices escomptés. Comme les ressources sont limitées, chaque dollar et chaque heure consacrés à un médicament qui finira par échouer sont une ressource retirée à un médicament qui pourrait réussir. L'industrie cherche depuis longtemps un moyen de repérer ces candidats condamnés tôt, avant qu'un trop grand investissement de temps et d'argent ne soit réalisé, permettant ainsi aux chercheurs d'arrêter les programmes faibles et de se concentrer sur les plus solides.

Pour ce faire, les scientifiques ont tenté de prédire l'issue des essais cliniques, qui sont les tests rigoureux où de nouveaux traitements sont administrés aux patients. Ces prédictions sont difficiles car elles reposent sur la compréhension de la biologie humaine complexe, de la conception spécifique d'une étude et du comportement d'une nouvelle substance. Traditionnellement, les experts ont utilisé leur expérience pour deviner quels essais réussiront, mais ce processus est lent, subjectif et coûteux. Ces dernières années, les chercheurs se sont tournés vers l'apprentissage automatique, utilisant des ordinateurs pour trouver des modèles dans les données que les humains pourraient manquer. Cependant, beaucoup de ces modèles informatiques s'appuient sur des données privées auxquelles seules les grandes entreprises ont accès, ou nécessitent des informations moléculaires complexes qui ne sont pas toujours disponibles. Cela laisse les groupes plus petits et les chercheurs universitques sans moyen clair d'estimer les chances de succès d'un essai.

Une nouvelle étude du chercheur indépendant Michael Doane explore si les registres publics de ces essais, que n'importe qui peut lire en ligne, contiennent suffisamment d'informations pour faire ces prédictions. L'étude se concentre sur une vaste collection de registres d'essais provenant d'un site web public appelé ClinicalTrials.gov. Ce site web fait office de registre mondial où les chercheurs doivent enregistrer leurs études avant de commencer, publiant des détails sur la maladie traitée, le médicament testé, le nombre de patients impliqués et les objectifs de la recherche. Le travail de Doane pose une question simple : si vous injectez les descriptions textuelles de ces registres publics dans un ordinateur, l'ordinateur peut-il apprendre à faire la différence entre les essais qui réussiront et ceux qui échoueront ?

Pour répondre à cela, le chercheur a utilisé un ensemble de données appelé Clinical Trial Outcome Dataset, qui fournit une étiquette pour environ 125 000 essais passés, les marquant comme réussis ou infructueux selon leurs résultats finaux. Le défi consistait à construire un modèle capable de prédire ces résultats en utilisant uniquement le texte disponible sur le registre public au moment de l'enregistrement de l'essai, sans consulter les résultats finaux ou utiliser de données privées d'entreprises. Le chercheur a dû être extrêmement prudent pour éviter une erreur courante appelée « fuite de données » (data leakage), où un modèle informatique apprend accidentellement la réponse en lisant une partie du texte qui a été mise à jour après la fin de l'essai. Par exemple, un résumé d'un essai peut être réécrit des années plus tard pour inclure les résultats finaux, et si l'ordinateur lit ce texte mis à jour, il ne prédit pas vraiment l'avenir ; il ne fait que lire le passé.

Pour prévenir cela, le chercheur a méticuleusement nettoyé les données, supprimant tout enregistrement où le texte aurait pu être modifié après que le résultat soit connu. Il a également exclu des champs spécifiques qui décrivent directement les résultats. Une fois les données sécurisées, il a entraîné trois types différents de modèles informatiques pour chercher des modèles dans le texte restant. Ces modèles ont été testés sur des essais provenant de différentes étapes de développement, appelées phases. Les essais de phase 1 sont la première fois qu'un médicament est testé sur l'homme pour vérifier la sécurité, les essais de phase 2 cherchent des signes que le médicament fonctionne réellement, et les essais de phase 3 sont de vastes études qui confirment l'efficacité et la sécurité du médicament avant qu'il ne puisse être approuvé.

Les résultats ont montré que les modèles informatiques pouvaient effectivement trouver des signaux utiles dans le texte public. Le modèle le plus performant, qui utilisait une méthode appelée forêt aléatoire (random forest), a été capable de distinguer les essais réussis des échecs mieux que le hasard. Dans la phase de test la plus précoce, la phase 1, le modèle a bien performé, classant correctement les résultats dans environ 74 % des cas. Cela signifie que si vous preniez un groupe d'essais de phase 1, le modèle pourrait identifier ceux qui sont les plus susceptibles de réussir avec un haut degré de précision. La performance était plus faible pour les essais de phase 2, qui sont notoirement difficiles à prédire car ils dépendent fortement du fait que le médicament atteigne la bonne cible biologique, un détail souvent absent des résumés publics. Cependant, le modèle a tout de même obtenu de meilleurs résultats que le hasard lors de cette étape.

L'une des découvertes les plus intéressantes fut que l'entraînement du modèle sur une grande variété de maladies l'aidait à prédire les résultats pour un groupe spécifique de maladies connu sous le nom de neurosciences. Les essais en neurosciences, qui traitent de conditions comme la maladie d'Alzheimer ou la dépression, ont historiquement des taux d'échec très élevés. Le chercheur a découvert que lorsque l'ordinateur était entraîné sur des essais de tous les domaines médicaux, et non seulement de la neurosciences, il devenait meilleur pour prédire le succès des essais de neurosciences. Cela suggère que les règles générales de la conception et de la conduite d'un essai clinique sont similaires à travers différents types de maladies, et que l'apprentissage à partir d'un large éventail d'exemples aide l'ordinateur à comprendre les défis spécifiques du système nerveux.

L'étude a également testé le modèle contre un ensemble de 7 260 cas difficiles qui avaient été examinés manuellement par des experts humains pour s'assurer qu'ils n'étaient pas faciles à deviner. Même face à ces exemples difficiles, le modèle a maintenu sa capacité à distinguer le succès de l'échec, prouvant qu'il ne faisait pas que mémoriser des règles simples, mais qu'il apprenait réellement quelque chose sur la nature des essais cliniques. Le chercheur a également vérifié si le modèle s'appuyait sur les noms des entreprises parrainant les essais ou sur les lieux où ils se déroulaient. Lorsque ces détails ont été supprimés, la performance du modèle n'a chuté que légèrement, indiquant que le texte décrivant la science et la conception de l'étude portait l'essentiel du poids prédictif.

Ce travail démontre que l'information publique, disponible depuis des années mais largement inexploitée de cette manière, possède une valeur significative pour l'industrie pharmaceutique. Les modèles utilisés dans cette étude sont relativement simples et ne nécessitent pas de supercalculateurs puissants ou de données secrètes ; ils peuvent fonctionner sur un ordinateur portable standard. Cela rend l'approche accessible aux chercheurs universitaires, aux organisations à but non lucratif et aux entreprises plus petites qui n'ont pas accès à des bases de données propriétaires. En fournissant un moyen d'estimer la probabilité de succès en utilisant uniquement des données ouvertes, cette méthode offre un nouvel outil pour le criblage des candidats médicaments. Elle ne remplace pas le besoin du jugement d'expert ni le travail complexe du développement de médicaments, mais elle fournit un point de départ objectif et fiable. Elle peut aider les équipes à décider quels programmes méritent plus d'attention et lesquels pourraient être arrêtés plus tôt, économisant potentiellement du temps, de l'argent et préservant le bien-être des patients qui se portent volontaires pour ces études cruciales.