Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

Dans la course à la découverte de nouveaux médicaments, les scientifiques sont souvent confrontés à une tâche colossale : trouver la bonne clé pour une serrure spécifique. Les « clés » sont de petites molécules, des médicaments potentiels, et les « serrures » sont des protéines à l'intérieur du corps humain qui pilotent les maladies. Lorsqu'un médicament s'adapte bien à une protéine, il peut stopper un processus pathologique ou réparer une fonction défaillante. Prédire la force avec laquelle un médicament se liera à une protéine est une étape cruciale pour le criblage de millions de candidats, permettant aux chercheurs de concentrer leurs ressources sur les plus prometteurs. Depuis des années, des modèles informatiques sont entraînés pour faire ces prédictions, apprenant à partir de vastes bases de données d'interactions connues entre médicaments et protéines. L'objectif a toujours été de construire un modèle capable de deviner avec précision la force d'une liaison qu'il n'a jamais vue auparavant, que cela signifie prédire comment un nouveau médicament se comportera contre une protéine connue, ou comment un médicament connu pourrait interagir avec une cible protéique totalement nouvelle.

Cependant, une nouvelle étude de l'Université normale de Harbin suggère que la réponse à la question « quel est le meilleur modèle » dépend entièrement de la question posée. Les chercheurs, Haobo Kui et Xinyuan Cui, ont cherché à tester si le classement de ces modèles informatiques reste stable lorsque les règles du jeu changent. Dans le monde réel de la découverte de médicaments, un modèle peut être sollicité pour prédire les interactions d'un médicament qui n'a jamais été vu auparavant, ou d'une protéine qui n'a jamais été vue auparavant, ou d'un mélange des deux. L'équipe a découvert qu'un modèle qui gagne dans un scénario peut perdre dans un autre, et que l'ordre de classement des modèles peut basculer complètement selon les conditions de test spécifiques. Leur travail, qui a impliqué la réalisation de plus d'une centaine d'expériences soigneusement contrôlées, révèle qu'il n'existe pas de modèle unique « meilleur » pour toutes les situations ; au contraire, le bon choix dépend de l'adéquation du modèle avec le défi de généralisation spécifique auquel il sera confronté.

Pour comprendre l'ampleur de cette investigation, imaginez un laboratoire où des scientifiques testent cinq types de moteurs différents. Dans un test standard, ils pourraient conduire tous les moteurs sur une piste familière et lisse. Mais dans le monde réel, certains moteurs doivent gérer des routes glacées, tandis que d'autres doivent naviguer dans des cols de montagne escarpés. Kui et Cui ont construit un cadre de test rigoureux pour voir si le moteur qui gagne sur la piste lisse gagne également sur la glace ou dans les montagnes. Ils ont utilisé deux bases de données massives et nettoyées d'interactions médicament-protéine, contenant plus de 118 000 enregistrements d'une source et plus de 30 000 d'une autre. À partir de ces données, ils ont créé trois environnements de test distincts. Le premier était un réglage « chaud » (warm), où le modèle était testé sur des médicaments et des protéines qu'il avait déjà vus lors de l'entraînement, mesurant essentiellement sa capacité à mémoriser et à interpoler ce qu'il avait appris. Le second était un réglage « médicament froid » (cold-drug), où le modèle devait prédire les interactions pour des composés chimiques entièrement nouveaux qu'il n'avait jamais rencontrés. Le troisième était un réglage « cible froide » (cold-target), où le modèle faisait face à des séquences protéiques entièrement nouvelles, simulant le défi de trouver un médicament pour un mécanisme de maladie nouvellement découvert.

Les chercheurs n'ont pas simplement exécuté les modèles une seule fois pour en tirer des conclusions. Pour s'assurer que leurs résultats n'étaient pas de simples coups de chance, ils ont répété chaque expérience trois fois avec des conditions initiales légèrement différentes, une technique connue sous le nom d'utilisation de multiples « graines » (seeds). Ils ont comparé trois façons différentes de combiner les informations sur les médicaments et les protéines, ainsi que deux méthodes de référence établies, en veillant à ce que tous les modèles disposent approximativement de la même puissance de calcul. Au total, ils ont effectué 126 sessions d'entraînement distinctes, en gardant les divisions de données et les règles d'évaluation identiques sur l'ensemble du processus. Crucialement, ils ont gardé les résultats finaux des tests scellés jusqu'à ce que chaque session soit terminée, empêchant tout biais accidentel où le modèle pourrait être ajusté pour correspondre aux données de test. Cette approche stricte et auditable leur a permis de tracer chaque résultat jusqu'à sa source, garantissant l'intégrité de leur comparaison.

Les résultats ont été frappants et contre-intuitifs. Lorsque les chercheurs ont examiné les classements des modèles dans les conditions « chaudes », un modèle se distinguait systématiquement des autres. Cependant, lorsqu'ils sont passés au scénario « médicament froid », les classements ont radicalement changé. Dans le cas le plus extrême, impliquant le plus grand ensemble de données, l'ordre des modèles pour le scénario « cible froide » était l'exact opposé de l'ordre pour le scénario « médicament froid ». Un modèle qui était le grand gagnant pour prédire les interactions avec de nouvelles protéines est devenu le grand perdant lorsqu'on lui a demandé de prédire les interactions avec de nouveaux médicaments. Ce renversement complet, mesuré par un outil statistique comparant les classements, a montré qu'un succès de modèle n'est pas une qualité absolue mais une qualité relative qui change selon le contexte.

De plus, l'étude a souligné que même au sein d'un même scénario de test, les résultats n'étaient pas toujours parfaitement stables. En observant les sessions individuelles plutôt que les moyennes, les chercheurs ont constaté que l'ordre exact des modèles pouvait varier d'une session d'entraînement à l'autre. Cela signifie que se fier à une seule expérience pour déclarer un vainqueur est risqué, car le résultat peut être influencé par le bruit aléatoire du processus d'entraînement. En utilisant plusieurs graines, l'équipe a pu obtenir une vision complète de la fiabilité réelle de la performance de ses modèles. Ils ont découvert que, bien que certains modèles présentent des avantages constants dans des domaines spécifiques, comme le réglage « médicament froid » où certaines stratégies de fusion performent mieux sur les deux ensembles de données, aucun modèle unique ne domine chaque métrique et chaque scénario.

Les chercheurs ont également exploré comment ces découvertes se traduisent par une application concrète en examinant une cible protéique spécifique et inédite, appelée VEGFR2, qui est impliquée dans la croissance des vaisseaux sanguins et constitue une cible majeure pour les thérapies anticancéreuses. En utilisant les prédictions figées de leurs expériences, ils ont simulé la manière dont différents modèles classeraient les candidats médicaments potentiels pour cette cible spécifique. Ils ont constaté que les modèles produisaient des listes différentes de meilleurs candidats. Un modèle pourrait classer un composé spécifique comme le meilleur choix, tandis qu'un autre pourrait le placer beaucoup plus bas. Cela a démontré que le choix du modèle n'est pas seulement un exercice académique ; il impacte directement les médicaments candidats que les scientifiques choisiront de tester en laboratoire. Si un chercheur choisit un modèle basé sur sa performance dans un réglage « chaud », il pourrait finir par prioriser les mauvais composés pour une nouvelle cible.

En fin de compte, cette étude sert de guide essentiel pour l'avenir de la découverte de médicaments par voie computationnelle. Elle s'oppose à l'idée d'un modèle champion universel qui pourrait être appliqué à chaque problème. Au lieu de cela, elle suggère que la fiabilité des comparaisons de modèles dépend de l'adéquation de la méthode d'évaluation avec l'usage prévu. Si l'objectif est de trouver des médicaments pour de nouvelles cibles, le modèle doit être testé sur de nouvelles cibles. Si l'objectif est de trouver de nouveaux médicaments pour des cibles connues, le modèle doit être testé sur de nouveaux médicaments. Les chercheurs concluent que pour que la sélection des modèles soit réellement fiable, elle doit être adaptée au scénario, basée sur plusieurs graines et auditable. En comprenant que les classements varient selon les régimes d'évaluation, les scientifiques peuvent prendre des décisions plus éclairées, garantissant que les outils qu'ils utilisent sont adaptés aux défis spécifiques du processus de découverte de médicaments.