A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?

Résumé technique : InteractBind – Un jeu de données et un référentiel à grande échelle pour la localisation des sites de liaison protéine–ligand

Énoncé du problème
La modélisation des interactions protéine–ligand est centrale dans la découverte de médicaments computationnelle, pourtant les référentiels existants évaluent principalement les modèles sur la prédiction binaire de liaison (l'interaction se produit-elle ?) ou la régression de l'affinité de liaison (quelle est la force de l'interaction ?). Ces tâches mesurent si un modèle prédit la survenue ou l'intensité de la liaison, mais apportent des preuves limitées quant à la capacité des modèles à localiser des sites de liaison spécifiques ou à identifier les interactions non covalentes sous-jacentes qui pilotent la reconnaissance moléculaire. Les jeux de données basés sur les séquences actuels offrent rarement des annotations d'interaction au niveau des résidus à grande échelle, rendant difficile la détermination de savoir si les cartes d'interaction apprises capturent véritablement des motifs de contact physico-chimiques ou s'ils se contentent de corréler avec des étiquettes de liaison binaires. Par conséquent, il existe un manque d'évaluation systématique de la capacité fine des modèles à localiser les résidus de liaison et à distinguer les différents types d'interactions non covalentes.

Méthodologie
Pour combler cette lacune, les auteurs introduisent InteractBind, un jeu de données et un référentiel à grande échelle pour protéine–ligand, dérivé de complexes résolus expérimentalement dans la Protein Data Bank (PDB).

• Construction du jeu de données : Le jeu de données comprend environ 100 000 paires protéine–ligand couvrant ~11 000 protéines uniques et ~9 000 ligands uniques. Pour chaque paire, les auteurs génèrent :

  • Représentations de séquence : Séquences FASTA canoniques et séquences conscientes de la structure (SA) pour les protéines ; SMILES et SELFIES pour les ligands.
  • Annotations d'interaction : En utilisant des outils tels que PLIP et GetContacts, les auteurs détectent six types majeurs d'interactions non covalentes : liaisons hydrogène, ponts salins, empilements $\pi$–$\pi$, interactions cation–$\pi$, contacts hydrophobes et forces de van der Waals.
  • Cartes d'interaction : Ces interactions sont projetées sur des cartes au niveau de la séquence, créant des matrices $m \times n$ (atomes de ligand $\times$ résidus de protéine) avec des scores d'interaction pondérés. Une carte agrégée définit le site de liaison de la protéine (résidus participant à au moins une interaction).
  • Étiquettes : Étiquettes de liaison binaires (dérivées de scores d'affinité basés sur le docking : $\le -7$ kcal/mol comme positif, $> -5$ kcal/mol comme négatif) et valeurs d'affinité.

• Conception du référentiel :

  • Tâche principale : Localisation du site de liaison. La métrique d'évaluation principale est le Taux de réussite des résidus de liaison dans le Top-K (BRHR@K), qui mesure si les résidus de protéine prédits dans le top-$K$ chevauchent les résidus de liaison de référence.
  • Découpages : Pour assurer une évaluation réaliste de la généralisation, le jeu de données inclut :
    • In-Distribution (ID) : Un découpage conscient de l'affinité utilisant une validation croisée à 5 plis.
    • Out-of-Distribution (OOD) : Quatre découpages contrôlés par la similarité des protéines (similarité maximale entraînement-test de 25 %, 28 %, 31 %, 33 %) pour évaluer les performances sur des cibles protéiques moins familières.
  • Lignes de base : Huit modèles représentatifs basés sur les séquences et conscients des interactions (par exemple, MolTrans, TransformerCPI, DrugBAN, FusionDTI) ont été évalués.

Contributions clés

1. Jeu de données InteractBind : Une nouvelle ressource à grande échelle fournissant non seulement des étiquettes binaires et des scores d'affinité, mais aussi des annotations de site de liaison au niveau des résidus et six cartes d'interactions non covalentes distinctes.
2. Paradigme d'évaluation fine : La formulation de la localisation du site de liaison comme tâche principale, soutenue par les métriques BRHR et une analyse spécifique au type d'interaction, dépassant les résultats au niveau des paires.
3. Référentiel systématique : L'évaluation de huit modèles de pointe révèle que, bien que les architectures conscientes des interactions montrent des signaux de localisation de site de liaison mesurables, il existe une marge d'amélioration substantielle, en particulier pour l'identification de motifs de contact physico-chimiques spécifiques.

Résultats

• Performance binaire vs. localisation : Une divergence significative existe entre la prédiction binaire de liaison et la localisation du site de liaison. Le modèle le plus performant, FusionDTI, a obtenu 98,3 % d'AUROC pour la prédiction binaire mais seulement 21,6 % de BRHR@1 pour la localisation du site de liaison. Cela indique qu'une forte prédiction binaire ne garantit pas une identification fiable des résidus spécifiques impliqués dans la liaison.
• Variabilité selon le type d'interaction : Les performances varient considérablement selon les types d'interactions non covalentes. Les modèles localisent plus efficacement les contacts courants et spatialement larges (van der Waals, hydrophobes, liaisons hydrogène) (par exemple, FusionDTI a atteint 33 % de BRHR@5 pour les interactions de van der Waals) que des arrangements géométriques spécifiques comme les empilements $\pi$–$\pi$ (18,2 %) et les interactions cation–$\pi$ (~16,1 %).
• Généralisation : Sous les découpages OOD contrôlés par la similarité des protéines, les performances pour la prédiction binaire et la localisation du site de liaison diminuent à mesure que la similarité entre les protéines d'entraînement et de test baisse, soulignant la difficulté de localiser des sites de liaison pour de nouvelles cibles protéiques. La similarité des ligands a eu un effet comparativement plus faible sur les performances.

Signification et affirmations
L'article affirme qu'InteractBind établit un nouveau paradigme de référentiel qui encourage le développement de modèles protéine–ligand plus interprétables et ancrés dans la physique. Les auteurs soutiennent que les modèles actuels reposent souvent sur des corrélations spécifiques à un jeu de données pour prédire la survenue de la liaison sans véritablement apprendre les déterminants mécanistiques de la reconnaissance moléculaire. En fournissant une supervision explicite au niveau des résidus et des annotations spécifiques au type d'interaction, InteractBind permet une évaluation systématique de savoir si les modèles localisent les sites de liaison et identifient les interactions non covalentes qui les stabilisent. Les résultats suggèrent que, bien que les modèles actuels conscients des interactions capturent certains signaux de site de liaison, ils ne sont pas encore fiables pour une localisation fine, en particulier pour des types d'interactions spécifiques ou de nouvelles cibles protéiques. Les auteurs positionnent ce travail comme une étape vers le passage d'une évaluation basée uniquement sur les résultats à une évaluation fine, ce qui est crucial pour améliorer la fiabilité des pipelines de découverte de médicaments computationnels et éviter des conclusions biologiques trompeuses.

Limites
Les auteurs notent explicitement que le référentiel actuel se concentre sur l'évaluation au niveau de la séquence et n'inclut pas encore de référentiel au niveau de la structure. Ils reconnaissent que l'extension de l'évaluation aux structures 3D est difficile en raison de l'ambiguïté de la pose et de la flexibilité conformationnelle, ce qui peut introduire du bruit et réduire l'interprétabilité par rapport à une évaluation basée sur la séquence au niveau des résidus.