PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

Cet article présente PoseBusters, un outil de validation démontrant que les méthodes actuelles de docking protéine-ligand basées sur l'apprentissage profond échouent souvent à générer des structures physiquement plausibles ou à se généraliser à de nouvelles séquences, sous-performant ainsi par rapport aux outils de docking classiques qui intègrent mieux les principes physiques essentiels.

L'essentiel

Imaginez que vous essayiez de trouver la clé parfaite pour s'insérer dans une serrure très spécifique et complexe. Dans le monde de la découverte de médicaments, la « serrure » est une protéine de votre corps, et la « clé » est un médicament potentiel (une molécule). Le processus consistant à déterminer exactement comment cette clé s'insère dans la serrure s'appelle le docking (amarrage moléculaire).

Pendant des années, les scientifiques ont utilisé des programmes informatiques traditionnels basés sur des règles pour faire cela. Récemment, une nouvelle vague de programmes d'« IA » (Apprentissage Profond / Deep Learning) est arrivée, promettant de faire le travail plus vite et mieux. Ces modèles d'IA sont comme des étudiants brillants qui ont mémorisé des millions d'exemples de clés et de serrures.

Cependant, une nouvelle étude appelée PoseBusters suggère que, bien que ces étudiants de l'IA soient très doués pour mémoriser la forme de la clé, ils sont très mauvais pour comprendre la physique de son fonctionnement réel.

Voici une décomposition simple de ce que l'article a découvert :

1. Le piège de l'« RMSD » : Bien sur le papier

Les scientifiques jugent généralement la performance d'un programme de docking en mesurant l'RMSD. Considérez l'RMSD comme une règle. Si l'IA prédit où la clé se trouve, et que cette prédiction est à moins de 2 millimètres (Angströms) de l'endroit où la clé se situe réellement dans une photo de la vie réelle (une structure cristalline), l'IA obtient une note de passage.

L'article a découvert que de nombreux programmes d'IA obtiennent des scores élevés à ce test de la règle. Ils disent : « Regardez ! Nous sommes précis à 90 % ! »

2. Le test de réalité : La clé « impossible »

Le problème est que ces programmes d'IA sont tellement concentrés sur la correspondance avec la mesure de la règle qu'ils créent parfois des clés physiquement impossibles.

Imaginez une IA qui prédit une clé qui :

• Possède une liaison (une connexion entre des atomes) tellement étirée qu'elle se briserait comme une brindille sèche.
• Possède une forme d'anneau tordue comme un bretzel, alors que la chimie indique qu'elle devrait être plate comme une crêpe.
• Possède deux parties de la clé qui s'entrechoquent comme deux voitures essayant de traverser la même porte en même la même fois.

L'article appelle cela des structures « physiquement implausibles ». C'est comme si l'IA avait dessiné le portrait d'une clé qui semble correcte de loin, mais si vous essayiez de la construire, elle s'effondrerait ou briserait la serrure.

3. Entrée en scène : PoseBusters, l'inspecteur

Pour attraper ces mauvaises prédictions, les auteurs ont construit un outil appelé PoseBusters. Considérez PoseBusters comme un inspecteur de bâtiment strict ou un responsable du contrôle qualité.

Au lieu de simplement mesurer la règle (RMSD), PoseBusters vérifie les « lois de la physique » pour chaque prédiction :

• Validité chimique : La molécule fait-elle sens chimiquement ? (par exemple, la charge est-elle correcte ? Les atomes sont-ils connectés correctement ?)
• Géométrie : Les anneaux sont-ils plats ? Les liaisons ont-elles la bonne longueur ?
• Collisions (Clashes) : La clé a-t-elle percuté la serrure ou d'autres parties de la machine ?

Si une prédiction échoue à ces tests, elle est marquée comme « invalide », peu importe la qualité du score à la règle (RMSD).

4. Le grand révélateur : Ancien vs Nouveau

Les chercheurs ont testé cinq nouvelles méthodes de docking par IA contre deux méthodes traditionnelles plus anciennes (AutoDock Vina et Gold).

• Sur des serrures familières (Données d'entraînement) : Lorsque l'IA était testée sur des serrures qu'elle avait déjà vues lors de son entraînement, elle semblait incroyable au test de la règle. Une IA (DiffDock) semblait battre les anciennes méthodes.
• Le filtre de la « Physique » : Mais quand PoseBusters a vérifié la physique, la performance de l'IA a chuté drastiquement. De nombreuses de ses prédictions « parfaites » étaient en réalité des structures impossibles. Les anciennes méthodes traditionnelles, bien que légèrement plus lentes, produisaient des clés qui étaient à la fois précises et physiquement possibles.
• Sur de nouvelles serrures inconnues (Généralisation) : Lorsque les chercheurs ont testé l'IA sur de nouvelles serrures qu'elle n'avait jamais vues (un ensemble de référence / Benchmark Set), l'IA a très mal fonctionné. Elle ne pouvait pas généraliser. Les anciennes méthodes, qui reposent sur des règles physiques plutôt que sur la simple mémorisation de motifs, géraient beaucoup mieux ces nouvelles serrures.

5. Le « réglage » ne suffit pas à tout réparer

Les auteurs ont essayé d'aider l'IA en ajoutant une étape de « polissage » après la prédiction, en utilisant un moteur de physique (appelé champ de force) pour lisser les formes étranges.

• Le résultat : Cela a aidé l'IA à corriger certaines de ses clés cassées, mais cela n'a pas rendu ces clés meilleures que les anciennes méthodes traditionnelles. Les anciennes méthodes partaient déjà d'une base solide ; l'IA devait essayer de réparer une base brisée.

L'essentiel à retenir

L'article conclut que les méthodes de docking basées sur l'IA ne sont pas encore prêtes à remplacer les outils traditionnels.

Bien qu'elles soient rapides et puissent deviner le bon emplacement, elles ignorent souvent les lois fondamentales de la chimie et de la physique. Pour être véritablement à la « pointe de l'état de l'art », une méthode doit réussir deux tests :

1. Le test de la règle : Est-elle au bon endroit ?
2. Le test de la physique : Est-ce un objet réel et constructible ?

Actuellement, les méthodes traditionnelles réussissent les deux. Les méthodes d'IA réussissent le premier, mais échouent souvent au second. Les auteurs espèrent qu'en utilisant leur outil « PoseBusters », les développeurs pourront corriger ces modèles d'IA pour qu'ils comprennent mieux la physique, menant ainsi à des prédictions de médicaments véritablement précises à l'avenir.

Résumé technique

Problème
Ces dernières années ont vu l'émergence de nombreuses méthodes de docking protéine-ligand basées sur l'apprentissage profond (DL), qui promettent des améliorations significatives en termes de vitesse et de précision pour la découverte de médicaments basée sur la structure. Cependant, une faille critique a été identifiée : bien que ces méthodes rapportent souvent des performances de pointe basées sur l'écart quadratique moyen (RMSD) des modes de liaison prédits par rapport aux structures cristallines, elles génèrent fréquemment des structures moléculaires physiquement implausibles. Ces structures peuvent violer des règles chimiques fondamentales, telles que des longueurs de liaison incorrectes, des cycles aromatiques déformés ou de sévents encombrements stériques entre le ligand et la protéine. Par conséquent, évaluer les méthodes de docking uniquement sur le RMSD est insuffisant, particulièrement pour les approches basées sur le DL qui peuvent manquer des « biais inductifs » inhérents aux méthodes classiques basées sur la physique pour garantir la cohérence chimique et le réalisme physique.

Méthodologie
Pour combler cette lacune, les auteurs introduisent PoseBusters, un package Python utilisant la boîte à outils de chimie informatique RDKit pour effectuer une suite complète de contrôles de qualité sur les prédictions de docking. La suite de tests valide trois catégories de propriétés :

1. Validité et cohérence chimiques : Les contrôles incluent la sanitisation RDKit, la préservation de la formule moléculaire, la connectivité des liaisons, la chiralité tétraédrique et la stéréochimie des doubles liaisons par rapport au ligand d'entrée.
2. Validité intramoléculaire : Ce groupe évalue la plausibilité physique du ligand lui-même, incluant les longueurs et les angles de liaison (dans une limite de 25 % des limites de la géométrie des distances), la planéité des cycles aromatiques et des doubles liaisons (à moins de 0,25 Å), les encombrements stériques internes et les ratios d'énergie conformationnelle (en utilisant le champ de force universel, UFF).
3. Validité intermoléculaire : Ce groupe évalue les interactions entre le ligand et son environnement, vérifiant les encombrements protéine-ligand et ligand-cofacteur basés sur les rayons de van der Waals (avec un seuil de 0,75) et le chevauchement de volume (limitant l'intersection à < 7,5 %).

Les auteurs ont appliqué PoseBusters pour évaluer sept méthodes de docking : cinq approches basées sur le DL (DeepDock, DiffDock, EquiBind, TankBind et Uni-Mol) et deux méthodes classiques établies (AutoDock Vina et CCDC Gold). L'évaluation a été menée sur deux ensembles de données :

• Astex Diverse Set : Un benchmark standard contenant 85 complexes, dont beaucoup chevauchent les données d'entraînement des méthodes DL.
• PoseBusters Benchmark Set : Un nouvel ensemble de test rigoureux de 308 complexes de haute qualité publiés après 2021, garantissant aucun chevauchement avec les données d'entraînement (PDBbind General Set v2020) des méthodes DL testées. Cet ensemble a été utilisé pour évaluer la généralisation à de nouvelles séquences et structures.

De plus, les auteurs ont réalisé une minimisation d'énergie post-docking en utilisant des champs de force de mécanique moléculaire (AMBER ff14sb et Sage) sur les prédictions DL pour déterminer si la plausibilité physique pouvait être récupérée par un raffinement classique.

Contributions clés

• Suite de tests PoseBursers : Le développement d'un outil open-source qui identifie systématiquement les poses de ligands chimiquement incohérentes et physiquement implausibles, allant au-delà des simples métriques de RMSD.
• Benchmarking rigoureux : Une analyse comparative démontrant que les méthodes de docking actuelles basées sur le DL échouent à se généraliser à de nouvelles séquences et produisent souvent des structures invalides, même lorsqu'elles atteignent des scores RMSD faibles.
• Identification de la physique manquante : La preuve que les méthodes DL manquent de biais inductifs spécifiques concernant la géométrie chimique et les contraintes stériques, qui sont naturellement encodés dans les champs de force classiques.

Résultats

• Performance sur l'Astex Diverse Set : Bien que DiffDock soit apparu supérieur basé uniquement sur le RMSD (72 % des prédictions à moins de 2 Å), sa performance a chuté de manière significative lorsque la plausibilité physique a été prise en compte (47 % de PB-valide). Les méthodes classiques (Gold et AutoDock Vina) ont surpassé toutes les méthodes DL lorsqu'à la fois le RMSD et la validité physique étaient requis.
• Performance sur le PoseBusters Benchmark Set : Sur ces données inédites, l'écart s'est creusé. Gold et AutoDock Vina sont restés les meilleurs performeurs. La meilleure méthode DL, DiffDock, n'a atteint que 12 % de validité PB, tandis que les autres méthodes DL (EquiBind, Uni-Mol, TankBind) ont généré presque aucune pose physiquement valide.
• Généralisation et surapprentissage : Les méthodes DL ont performé de manière nettement moins bonne sur les protéines ayant une faible identité de séquence (< 30 %) par rapport à leurs ensembles d'entraînement, suggérant un surapprentissage sévère aux cibles d'entraînement.
• Impact de la minimisation d'énergie : L'application de la minimisation d'énergie post-docking a considérablement amélioré la plausibilité physique des prédictions DL (augmentant le nombre de poses valides), indiquant que les champs de force contiennent une physique pertinente pour le docking qui manque aux modèles DL actuels. Cependant, même avec ce raffinement, les méthodes DL n'ont pas surpassé les outils classiques.
• Modes de défaillance spécifiques : L'étude a identifié des schémas d'échec distincts pour chaque méthode DL, tels que TankBind négligeant la stéréochimie, Uni-Mol prédisant des longueurs de liaison non standards, et EquiBind générant des encombrements protéine-ligand.

Signification
L'article soutient que la norme actuelle consistant à évaluer les méthodes de docking uniquement sur le RMSD est inadéquate et trompeuse. Il postule que pour qu'une méthode soit considérée comme étant à la pointe de la technologie (« state-of-the-art »), elle doit non seulement prédire des modes de liaison de type natif, mais aussi générer des structures chimiquement cohérentes et physiquement plausibles. Les auteurs affirment que PoseBusters fournit un cadre nécessaire pour identifier les biais inductifs manquants dans les modèles d'apprentissage profond. En soulignant que les méthodes DL actuelles ne surpassent pas encore les outils de docking classiques lorsque le réalisme physique est pris en compte, ce travail vise à stimuler le développement de méthodes de prédiction plus précises et réalistes qui intègrent la vitesse de l'apprentissage profond avec la rigueur physique des champs de force classiques.