Dated public evidence and known genes for retrospective evaluation of gene prioritization

Dans le vaste paysage de la médecine moderne, les scientifiques tentent constamment de prédire quels gènes deviendront les cibles de nouveaux médicaments. Imaginez un chercheur se tenant devant une bibliothèque contenant des millions de livres sur la biologie humaine, essayant de deviner quel volume spécifique détient le secret pour guérir une maladie. Pour faire ces suppositions, ils construisent des modèles informatiques qui apprennent des succès passés : ils observent les gènes déjà connus pour être des cibles efficaces et tentent de trouver les schémas qui ont fait leur succès. L'espoir est que ces schémas les aideront à repérer la prochaine grande cible avant même qu'un médicament ne soit inventé. Cependant, il existe un piège subtil mais dangereux dans ce processus. Les bibliothèques que ces modèles utilisent ne sont pas statiques ; ce sont des collections vivantes qui croissent chaque jour. Dès qu'un gène devient célèbre et qu'un médicament est développé pour lui, de nouvelles informations sur ce gène inondent les bases de données. Si un modèle informatique apprend d'une base de données qui a été mise à jour après qu'un gène est devenu célèbre, il pourrait simplement mémoriser le fait que le gène est célèbre, plutôt que d'apprendre les raisons biologiques de son efficacité. C'est comme essayer de prédire le vainqueur d'une course en regardant un tableau d'affichage qui liste déjà les résultats ; la prédiction est techniquement correcte, mais elle ne vous dit rien sur la vitesse ou la stratégie réelle du coureur.

Ce problème, connu sous le nom de « fuite d'informations » (information leakage), a rendu difficile la confiance dans la performance de nombreux outils de priorisation de gènes. Les chercheurs soupçonnent depuis longtemps que ces outils surperforment parce qu'ils jettent accidentellement un regard sur le futur. Pour résoudre cela, une équipe de Pfizer a créé un nouvel ensemble de données méticuleusement horodaté qui permet aux scientifiques de rejouer l'histoire exactement telle qu'elle s'est produite. Au lieu d'utiliser la version actuelle et mise à jour des bases de données publiques, cette nouvelle ressource permet aux chercheurs de figer le temps à n'importe quel point des dix dernières années. Ils peuvent demander au modèle informatique de faire une prédiction en utilisant uniquement les informations qui étaient publiquement disponibles à une date spécifique, puis vérifier si le modèle aurait correctement identifié les gènes qui sont devenus célèbres plus tard. Cette approche élimine l'avantage de connaître le résultat à l'avance, forçant les modèles à s'appuyer sur de véritables signaux biologiques plutôt que sur le bruit de l'accumulation de la recherche.

Le cœur de ce travail est une vaste collection de tables de preuves couvrant quatre domaines majeurs de la médecine : le cancer, la maladie inflammatoire de l'intestin, le métabolisme et le psoriasis. Les chercheurs ont rassemblé des données provenant de vingt sources publiques différentes, telles que des registres d'essais cliniques, des bases de données génétiques et des cartes de protéines. Pour chaque élément d'information dans ces tables, ils ont attaché deux métadonnées critiques : une date de publication et une classification de « fuite ». La date de publication indique au l'ordinateur exactement quand cette information est devenue publique pour la première fois. La classification de fuite agit comme un filtre, triant les données en fonction de la probabilité qu'elles soient biaisées par l'histoire du développement des médicaments. Certains points de données représentent la biologie pure, comme la structure physique d'une protéine ou sa localisation dans le corps, qui existeraient indépendamment du fait que quelqu'un ait jamais tenté de fabriquer un médicament pour elle. D'autres points de données représentent l'histoire même de la recherche, comme le nombre d'articles scientifiques écrits sur un gène ou le nombre d'essais cliniques qui l'ont testé. Ce dernier groupe est hautement suspect car le volume de recherche augmente souvent seulement après qu'un gène est déjà reconnu comme important.

En organisant les données de cette manière, l'équipe a créé cinq « ensembles de caractéristiques » (feature sets), ou versions de l'ensemble de données, allant de la collection complète à une version « biologie uniquement » qui exclut toute l'histoire de la recherche et du développement des médicaments. Cela permet aux scientifiques de tester leurs modèles sous différentes conditions. Ils peuvent voir si un modèle fonctionne lorsqu'il n'est autorisé à voir que les faits biologiques bruts, ou s'il performe uniquement lorsqu'il est autorisé à voir l'histoire accumulée des études humaines. L'ensemble de données comprend également une liste de 19 groupes de « gènes connus », chacun avec une date précise marquant le moment où ce gène est devenu une cible ou une association de maladie connue. Pour les cibles de cancer, cette date est particulièrement stricte : il s'agit du jour où un registre d'essais cliniques a montré pour la première fois qu'un essai pour ce gène spécifique avait commencé, garantissant que le modèle ne pouvait pas connaître l'essai avant qu'il ne soit public.

Lorsque les chercheurs ont testé ces outils, ils ont découvert que le moment des données importe énormément. Ils ont découvert que de nombreuses caractéristiques qui semblent utiles aujourd'hui sont en réalité de simples reflets de la quantité de recherches effectuées sur un gène. Par exemple, le nombre d'articles de recherche ou le nombre de connexions qu'un gène possède dans un réseau a tendance à bondir après qu'un gène est devenu une cible de médicament. Si un modèle utilise ces caractéristiques, il utilise essentiellement le corrigé. Le nouvel ensemble de données a révélé que lorsque vous supprimez ces caractéristiques d'« histoire » et que vous ne regardez que la biologie qui existait avant que le gène ne devienne célèbre, la performance de nombreux modèles chute de manière significative. Cela suggère que les évaluations précédentes de ces outils étaient probablement trop optimistes car elles ne tenaient pas compte de cette fuite. L'étude n'a pas trouvé de solution miracle unique capable de prédire tous les médicaments cibles, mais elle a fourni une façon rigoureuse de séparer l'intuition biologique véritable du bruit du volume de la recherche.

Les chercheurs ont également vérifié la fiabilité de leurs dates et de leurs étiquettes. Ils ont examiné manuellement des centaines de dossiers d'essais cliniques pour s'assurer que les dates qu'ils attribuaient aux gènes étaient exactes. Ils ont constaté que si les systèmes automatisés sont généralement bons, ils manquent parfois la cible, particulièrement lorsqu'un essai est enregistré après qu'il a déjà commencé ou lorsqu'un médicament est testé pour une condition différente de celle étudiée. En corrigeant ces dates, ils ont garanti que la « machine à remonter le temps » qu'ils ont construite était précise. Ils ont également vérifié que les caractéristiques biologiques, telles que la taille de la surface externe d'une protéine, restaient stables au fil du temps et ne changeaient pas soudainement simplement parce qu'un gène est devenu célèbre. Cette stabilité confirme que les caractéristiques basées sur la biologie sont dignes de confiance et ne souffrent pas des mêmes problèmes de fuite temporelle que les caractéristiques de volume de recherche.

Enfin, ce travail fournit une nouvelle norme pour tester les modèles informatiques en biologie. Il déplace l'attention de la question « Est-ce que ce modèle fonctionne sur les données d'aujourd'hui ? » vers « Ce modèle aurait-il pu prédire ce résultat s'il n'avait connu que ce qui était connu à l'époque ? ». L'ensemble de données comprend 183 publications archivées de ressources publiques, permettant à quiconque de reconstruire l'état des connaissances scientifiques à la fin de n'importe quel trimestre entre 2016 et 2024. Cela signifie qu'un scientifique peut désormais prendre une nouvelle méthode, la tester contre les données telles qu'elles existaient en 2018, et voir si elle aurait réussi à identifier les gènes qui sont devenus des cibles en 2020. Si elle échoue, la méthode n'est pas aussi puissante qu'elle le semblait. Si elle réussit, le résultat est beaucoup plus crédible.

Les implications de ce travail sont profondes pour l'avenir de la découverte de médicaments. En utilisant ces ensembles de données datés et exempts de fuites, les chercheurs peuvent cesser de construire des modèles qui se contentent de mémoriser l'histoire de la science pour commencer à construire des modèles qui comprennent réellement la biologie des maladies. L'ensemble de données ne garantit pas qu'un nouveau médicament sera trouvé demain, mais il garantit que les outils utilisés pour le trouver ne se trompent pas sur eux-mêmes. Il offre un moyen de distinguer un signal qui est véritablement biologique d'un signal qui n'est qu'un reflet de l'attention qu'un gène a reçue. Dans un domaine où les enjeux sont élevés et les données accablantes, cette clarté est l'outil le plus précieux de tous. Les chercheurs n'ont pas résolu le problème de la découverte de nouveaux médicaments, mais ils ont construit une meilleure boussole pour le voyage, une boussole qui pointe vers le vrai nord plutôt que vers les endroits où d'autres voyageurs ont déjà été.