Benchmarking Single-Pose Docking, Consensus Rescoring, and Supervised ML on the LIT-PCBA Library: A Critical Evaluation of DiffDock, AutoDock-GPU, GNINA, and DiffDock-NMDN

Cette étude évalue diverses méthodes d'amarrage et de scoring sur la bibliothèque LIT-PCBA, révélant que si le réordonnancement par apprentissage automatique supervisé améliore significativement l'enrichissement par rapport à des méthodes uniques comme AutoDock-GNINA, aucune approche unique ne domine sur toutes les cibles, soulignant ainsi la performance encore modeste des flux de travail actuels de criblage virtuel sur des ensembles de données réalistes.

L'essentiel

Imaginez que vous êtes un chasseur de trésors essayant de trouver 10 000 gemmes spécifiques et rares cachées dans un immense entrepôt contenant près de 600 000 roches. Votre objectif est de sélectionner les gemmes aussi rapidement que possible sans avoir à inspecter chaque roche une par une. C'est essentiellement ce que fait le criblage virtuel (Virtual Screening) dans la découverte de médicaments : il tente de trouver les quelques molécules « actives » susceptibles de guérir une maladie parmi des millions de molécules « inactives ».

Ce document est un bulletin de notes sur quatre différentes « stratégies de recherche » (outils) utilisées par les chercheurs pour trouver ces gemmes dans un entrepôt très réaliste et chaotique appelé LIT-PCBA. Contrairement aux tests précédents qui utilisaient des gemmes factices et faciles à repérer, cet entrepôt contient de vraies roches et de vraies gemmes, rendant la tâche beaucoup plus difficile.

Voici une analyse des outils qu'ils ont testés et de leurs découvertes, en utilisant des analogies simples :

Les quatre stratégies de recherche

1. AutoDock (Le topographe traditionnel) :

   • Fonctionnement : C'est un outil traditionnel basé sur la physique. C'est comme un topographe qui utilise une carte et une boussole pour calculer exactement où une roche s'insère dans un trou. C'est lent, mais il repose sur les lois de la physique.
   • Le test : Ils ont exécuté ce processus 10 fois pour chaque roche afin de trouver le meilleur ajustement.

2. DiffDock (L'intuitionniste IA) :

   • Fonctionnement : C'est un tout nouvel outil propulsé par l'intelligence artificielle. Au lieu de calculer la physique, il utilise une « intuition » (un modèle de diffusion) pour deviner où une roche pourrait aller, de la même manière qu'un humain pourrait deviner où une pièce de puzzle s'insère sans la mesurer. Il était censé être l'avenir de la recherche de gemmes.
   • Le test : Il a généré 20 hypothèses pour chaque roche et a sélectionné celle pour laquelle il se sentait le plus confiant.

3. GNINA (L'expert évaluateur) :

   • Fonctionnement : Ce n'est pas un chercheur ; c'est un juge. Une fois que le Topographe ou l'Intuitionniste a trouvé un emplacement, GNINA examine l'ajustement avec une « caméra 3D » (un réseau de neurones) pour décider s'il s'agit d'un bon ajustement. C'est comme un expert évaluateur capable de repérer une fausse gemme qui semble réelle à l'œil nu.

4. NMDN (Le nouvel évaluateur) :

   • Fonctionnement : Un autre juge expert, mais entraîné différemment. Il a été spécifiquement conçu pour fonctionner avec l'Intuitionniste IA (DiffDock).

La grande expérience

Les chercheurs ont essayé de combiner ces outils de différentes manières :

• Actes solo : Juste le Topographe, juste l'Intuitionniste, ou le Topographe/L'Intuitionniste + les Évaluateurs.
• Travail d'équipe (Consensus) : Prendre les classements de plusieurs outils et les moyenner pour voir si le groupe est plus intelligent que l'individu.
• L'entraîneur (Apprentissage automatique) : Ils ont entraîné un « Entraîneur » (un modèle d'apprentissage automatique) pour examiner les scores de tous les outils et apprendre à classer les roches encore mieux que les outils ne pourraient le faire seuls.

Les résultats : Qui a trouvé les gemmes ?

1. Le Topographe traditionnel + L'expert évaluateur ont gagné (AutoDock-GNINA)
De manière surprenante, la combinaison du Topographe traditionnel (AutoDock) et de l'Expert évaluateur (GNINA) a été l'équipe unique la plus fiable.

• L'analogie : C'était comme engager un topographe prudent pour trouver les emplacements, puis faire vérifier ces emplacements par un évaluateur à l'œil vif.
• Le score : Ils ont trouvé environ 2,14 fois plus de gemmes dans le top 1 % des roches que si vous aviez simplement choisi des roches au hasard.
• Le hic : Même le gagnant n'était que légèrement meilleur que le hasard. Si vous choisissiez 100 roches, vous trouveriez environ 2 gemmes. Ce n'est pas formidable, mais c'est mieux que rien.

2. L'Intuitionniste IA (DiffDock) a eu du mal
Le nouvel outil IA haute technologie (DiffDock) n'a pas performé aussi bien qu'espéré.

• L'analogie : L'IA était excellente pour deviner où les choses pourraient aller, mais lorsque l'Expert évaluateur (GNINA) a examiné ces hypothèses, elles étaient souvent erronées.
• Le score : Il a trouvé moins de gemmes que le Topographe traditionnel. Dans certains cas, il n'a trouvé aucune gemme dans le top 1 %.
• Le coût : L'outil IA était également 4 à 8 fois plus coûteux (en termes de puissance informatique et de temps) à exécuter que le Topographe. C'était comme engager un chef étoilé pour préparer un simple sandwich alors qu'un cuisinier amateur pourrait le faire plus vite et moins cher.

3. Le nouvel évaluateur (NMDN) était inconstant
Lorsqu'ils ont essayé d'utiliser le juge NMDN avec l'Intuitionniste IA, cela n'a pas beaucoup aidé. En fait, cela a parfois empiré les choses. Il semblait ne bien fonctionner que sur des types spécifiques de roches, pas sur toutes.

4. Le « Coach » (Apprentissage automatique) était le véritable MVP
La plus grande surprise a été le modèle d'apprentissage automatique.

• L'analogie : Imaginez prendre toutes les notes du Topographe, de l'Intuitionniste et des Évaluateurs, et les injecter dans un Coach super-intelligent qui a appris les schémas de ce qui fait une roche « gagnante ».
• Le score : Ce Coach a doublé le taux de réussite ! Il est passé de la découverte de 2 gemmes pour 100 roches à la découverte de 4,5 gemmes.
• L'avertissement : Cela n'a fonctionné que parce qu'ils disposaient de beaucoup de données pour entraîner le Coach. Le document met en garde que si vous essayez d'utiliser ce Coach sur un tout nouveau type de roche (une nouvelle cible de maladie) sans données d'entraînement, il pourrait échouer.

Points clés en langage courant

• Pas de solution miracle : Il n'existe aucun outil unique qui fonctionne parfaitement pour chaque cible. Parfois, la méthode traditionnelle fonctionne le mieux ; parfois, l'IA fonctionne mieux. Cela dépend de l'« entrepôt » spécifique (la cible protéique).
• Le nouveau n'est pas toujours mieux : L'outil de docking IA sophistiqué (DiffDock) était plus lent, plus cher et moins précis que la méthode traditionnelle lorsqu'il a été testé sur cet ensemble de données réaliste.
• Le travail d'équipe aide, mais ne résout pas tout : Combiner différents outils (Consensus) a rendu les résultats plus stables et fiables, mais cela n'a pas battu la meilleure équipe unique (AutoDock-GNINA).
• L'humain (ou l'IA) Coach est puissant : Si vous avez suffisamment de données, un modèle d'apprentissage automatique qui apprend des résultats d'autres outils peut considérablement améliorer vos chances de trouver le bon médicament.
• Réalité : Même la meilleure méthode de cette étude n'était que légèrement meilleure qu'une devinette au hasard. Cela signifie que, bien que ces outils soient utiles pour réduire la liste, ils ne sont pas parfaits. Vous devez toujours effectuer beaucoup de tests réels pour trouver les véritables remèdes.

En résumé : Les chercheurs ont découvert qu'une approche traditionnelle fiable combinée à un évaluateur intelligent est actuellement le meilleur « rapport qualité-prix », mais un Coach IA intelligent peut doubler votre succès si vous avez les données pour l'entraîner. Cependant, l'ensemble du processus est encore loin d'être parfait, et trouver un médicament reste un jeu difficile, fait de coups de chance et d'échecs.

Résumé technique

Résumé technique : Évaluation comparative du docking mono-conformation, du rescoring par consensus et de l'apprentissage automatique supervisé sur la bibliothèque LIT-PCBA

Énoncé du problème

Le criblage virtuel (CV) est un composant critique de la découverte de médicaments moderne, visant à prioriser computationnellement les composés pour des tests expérimentaux. Cependant, le pouvoir prédictif des méthodes de CV est souvent compromis par l'utilisation de jeux de données d'évaluation biaisés (par exemple, DUD-E) contenant des biais analogiques et des artefacts de leurres, conduisant à des métriques de performance gonflées. De plus, bien que les récentes méthodes d'intelligence artificielle (IA) comme DiffDock rapportent de solides résultats sur des benchmarks standards, leur utilité pratique sur des bibliothèques curatées expérimentalement et non biaisées reste incertaine. Il est nécessaire d'évaluer rigoureusement si les méthodes de docking et de rescoring pilotées par l'IA les plus avancées surpassent les approches basées sur la physique traditionnelles sur des jeux de données réalistes caractérisés par de faibles taux de réussite, et si des stratégies de consensus ou l'apprentissage automatique (ML) supervisé peuvent encore améliorer l'enrichissement précoce.

Méthodologie

L'étude a évalué les flux de travail de docking et de scoring sur la bibliothèque LIT-PCBA (Literature-derived PubChem Bioassay), comprenant 578 295 paires ligand-cible répartis sur 15 cibles protéiques diverses (10 008 actifs et 568 287 inactifs). L'évaluation s'est concentrée sur deux voies principales pour la génération de poses :

1. Voie AutoDock : Utilisation d'AutoDock-GPU (une implémentation accélérée par GPU d'AutoDock 4.2). Chaque ligand a subi 10 exécutions indépendantes, la pose de meilleure affinité étant conservée.
2. Voie DiffDock : Utilisation de DiffDock, un modèle génératif par diffusion pour le docking aveugle. 20 poses ont été échantillonnées par ligand, la pose de plus haute confiance étant conservée.

Scoring et Rescoring :
Les poses des deux voies ont été rescorées en utilisant :

• GNINA : Une fonction de scoring par réseau de neurones convolutif 3D (CNN).
• NMDN (Normalized Mixture Density Network) : Une fonction de rescoring basée sur l'apprentissage profond prédisant les valeurs de pKd.
• Scores natifs : L'énergie de liaison d'AutoDock et les scores de confiance internes de DiffDock.

Stratégies de consensus et de filtrage :
L'étude a mis en œuvre un scoring de consensus basé sur le classement pour combiner plusieurs méthodes :

• Consensus non pondéré : Moyenne simple des rangs.
• Consensus calibré (CC) : Moyenne pondérée où les scoreurs basés sur le ML (GNINA, NMDN) ont reçu un double poids (2×) par rapport au score de docking de base (1×).
• Filtrage : Trois stratégies de filtrage (Moyen, Fort, Faible) ont été appliquées sur la base de seuils de score (par exemple, score NMDN ≥ -800, CNNaffinity GNINA ≥ 0,1) avant le classement.
• Consensus global : Fusion des classements des deux voies AutoDock et DiffDock.

Apprentissage automatique supervisé :
Plusieurs modèles de ML (Réseaux de neurones larges, MLP profonds, Forêts aléatoires, XGBoost, LightGBM) ont été entraînés pour reclasser les ligands. Les caractéristiques comprenaient les scores de docking bruts, des transformations non linéaires dérivées et des termes d'interaction. Les modèles ont été entraînés sur une répartition 75/25 des données par cible pour prévenir les fuites de données.

Métriques :
La performance a été évaluée à l'aide du Facteur d'enrichissement à 1 % et 10 % (EF1 %, EF10 %), du ROC-AUC, du BEDROC (α=20) et de métriques de classification classiques (Précision, Rappel, Précision équilibrée).

Résultats clés

1. Performance des méthodes uniques

• AutoDock-GNINA s'est imposé comme la méthode unique la plus fiable, atteignant un EF1 % médian de 2,14 et une précision équilibrée de 50,5 %. Il a nettement surpassé les méthodes basées sur DiffDock et les références.
• Limites de DiffDock : DiffDock seul (EF1 % médian = 1,17) et DiffDock rescoré avec GNINA (EF1 % médian = 0,84) ou NMDN (EF1 % médian = 0,67) ont mal performé. Notamment, les variantes basées sur DiffDock ont échoué complètement (EF1 % = 0) sur la cible OPRK1, tandis qu'AutoDock-GNINA a atteint un EF1 % de 12,5 sur la même cible.
• Incohérence de NMDN : Le rescoring par NMDN était incohérent. Bien qu'il ait amélioré la performance sur des cibles spécifiques (par exemple, FEN1 lorsqu'il était associé à des poses AutoDock), il a souvent dégradé la performance lorsqu'il était appliqué à des poses DiffDock ou à d'autres cibles.

2. Consensus et filtrage

• Robustesse : Le classement par consensus calibré (CC-Moyen) a amélioré la robustesse, produisant un EF1 % médian de 1,8 dans les deux voies. Il a réussi à sauver deux cibles (FEN1 et IDH1) que AutoDock-GNINA seul avait manquées.
• Consensus global : La fusion des deux voies via le Consensus global a atteint un EF1 % médian de 1,9, le plus élevé parmi les variantes de consensus, mais n'a toujours pas surpassé la performance d'AutoDock-GNINA seul.
• Compromis du filtrage : Un filtrage fort (UC-Fort) a produit un EF1 % moyen élevé sur des valeurs aberrantes spécifiques (par exemple, PPARG) mais a résulté en un EF1 % médian de 0 et une rétention d'actifs proche de zéro, indiquant une forte volatilité. Un filtrage faible (CC-Faible) a maintenu un taux de récupération d'actifs élevé (~100 %) avec un enrichissement compétitif.

3. Apprentissage automatique supervisé

• Gains significatifs : Le reclassement par ML supervisé a apporté les plus grandes améliorations. Le meilleur modèle, un Réseau de neurones large (WNN), a atteint un EF1 % de 4,49, représentant une amélioration d'environ 110 % par rapport au meilleur scoreur classique (AutoDock-GNINA à 2,14).
• Améliorations des métriques : Le WNN a amélioré la précision équilibrée de 50,5 % (AutoDock-GNINA) à 55,4 %, la précision de 1,85 % à 8,2 %, et le rappel de 2,02 % à 15,0 %.
• Comparaison : Les modèles de ML ont surpassé toutes les stratégies de consensus basées sur le classement (EF1 % médian ~1,8–1,9), suggérant qu'ils peuvent capturer des motifs non linéaires à travers les fonctions de scoring qu'un simple moyennage ne peut pas saisir.

4. Efficacité computationnelle

• Débit : AutoDock était nettement plus rentable et plus rapide que DiffDock. AutoDock traite environ 2 ligands/seconde sur une RTX 3090, tandis que DiffDock nécessite 1 à 2 secondes par ligand sur un GPU A100 plus puissant. L'étude estime que DiffDock nécessite 4 à 8 fois plus de puissance de calcul pour fournir une précision inférieure dans ce contexte.

Signification et revendications

L'article conclut que si le criblage virtuel basé sur le docking fournit un enrichissement utile, son pouvoir prédictif absolu sur des jeux de données réalistes comme LIT-PCBA reste limité. Les revendications clés incluent :

1. Aucun solveur universel : Aucune technique de docking unique ne fonctionne de manière fiable sur toutes les cibles. La performance est hautement dépendante de la cible, des méthodes comme DiffDock échouant complètement sur des cibles spécifiques (par exemple, OPRK1) où les méthodes classiques (AutoDock-GNINA) réussissent.
2. Supériorité du classique + rescoring ML : La combinaison d'un échantillonneur physique traditionnel (AutoDock) avec une fonction de rescoring ML moderne (GNINA) offre le meilleur équilibre entre précision, coût et fiabilité parmi les méthodes uniques.
3. Valeur de l'apprentissage supervisé : Les modèles de ML supervisé peuvent considérablement booster l'enrichissement (doublant l'EF1 %) si suffisamment de données expérimentales sont disponibles pour l'entraînement, surpassant à la fois les scoreurs uniques et les stratégies de consensus simples.
4. Prudence face à la nouveauté : L'étude préconise l'emploi de techniques de docking rigoureusement testées et bien comprises plutôt que de compter sur des méthodes IA nouvelles et imprévisibles qui peuvent produire des résultats incohérents, en particulier lorsque les biais des données d'entraînement (par exemple, les « voisins proches » dans le jeu de données d'entraînement de DiffDock) peuvent compromettre la généralisabilité.
5. Limites inhérentes : Même les méthodes les plus performantes (AutoDock-GNINA, reclasseurs ML) n'atteignent qu'une discrimination modeste (Précision équilibrée ~50–55 %), suggérant que le docking basé sur la structure seul ne peut pas résoudre entièrement le problème de la découverte de hits et peut être contraint par des facteurs au-delà de l'échantillonnage et du scoring.

Les auteurs soulignent que les flux de travail efficaces devraient privilégier des méthodes validées contre des cibles spécifiques ou des systèmes étroitement apparentés plutôt que de supposer une supériorité universelle des nouvelles approches pilotées par l'IA.