🧬 biology

A z-averaged ensemble of three orthogonal models improves protein–ligand virtual screening on leakage-controlled benchmarks

Cet article démontre qu'un ensemble moyenné en z de trois modèles d'apprentissage profond représentationnellement orthogonaux améliore significativement les performances de criblage virtuel protéine-ligand sur des bancs d'essai contrôlés contre la fuite de données en parvenant à une véritable généralisation hors distribution, surmontant ainsi les limites des approches à modèle unique sur de nouvelles cibles.

Auteurs originaux : Yuguang Mu, Yang Liu, weifeng li

Publié 2026-07-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuguang Mu, Yang Liu, weifeng li

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Le gros problème : Le piège de la « feuille de triche »

Imaginez que vous passiez un examen difficile pour prédire quels médicaments fonctionneront sur un virus spécifique. Pendant des années, les modèles informatiques ont prétendu être des génies, obtenant des scores de 90 % ou plus lors des tests d'entraînement.

Cependant, les chercheurs ont découvert que ces modèles trichaient. Les tests d'entraînement (benchmarks) utilisaient la « fuite d'homologie » (homology leakage). C'est comme donner à un étudiant un test d'entraînement où les questions sont presque identiques à celles qu'il a étudiées dans son manuel. Les modèles n'apprenaient pas réellement à trouver de nouveaux médicaments ; ils se contentaient de mémoriser des motifs provenant de protéines qu'ils avaient déjà vues pendant l'entraînement.

Lorsque les scientifiques ont créé des tests « contrôlés contre la fuite » — où le virus est totalement nouveau et n'a aucun parent dans les données d'entraînement du modèle — les scores des modèles se sont effondrés. Ils sont passés de 90 % à environ 70-75 %. Il s'avère que chercher à construire un seul modèle super intelligent ne fonctionnait plus.

La solution : Le « monstre à trois têtes »

Au lieu d'essayer de construire un modèle unique, parfait et super intelligent, les auteurs ont tenté une approche différente : le travail d'équipe.

Ils ont pris trois modèles existants qui ont été construits de manières très différentes et les ont combinés. Voyez cela comme l'embauche de trois détectives différents pour résoudre un mystère :

Le Détective A (BIND-z) : Regarde uniquement le code génétique de la protéine (la séquence).
Le Détective B (SaProt-v2) : Regarde le code génétique mais prête aussi attention à la forme 3D du « repliement » de la protéine.
Le Détective C (DrugCLIP) : Ne regarde pas du tout le code ; il regarde plutôt la structure physique 3D de la poche de la protéine et la compare à la forme du médicament.

Comment ils les ont combinés : La moyenne des « scores Z »

On ne peut pas simplement additionner leurs scores car ils ne parlent pas la même « langue ». Le Détective A pourrait donner un score de 100, tandis que le Détective C donne un score de 0,5.

Les auteurs ont utilisé une astuce ingénieuse appelée moyenne des scores Z (z-score averaging).

L'analogie : Imaginez trois juges dans un concours de talents. Le Juge 1 est sévère et donne des notes entre 1 et 5. Le Juge 2 est indulgent et donne des notes entre 80 et 100. Le Juge 3 est bizarre et donne des notes entre -10 et +10.
Si vous additionnez simplement leurs chiffres, l'opinion du Juge 2 dominera.
Au lieu de cela, les auteurs ont demandé : « À quel point ce candidat est-il meilleur que la moyenne pour ce juge spécifique ? »
Ils ont converti chaque score en un « rang relatif » (un score Z) puis ont fait la moyenne. Cela a donné à chaque détective une voix égale, quel que soit son style de notation.

Les résultats : Pourquoi trois valent mieux qu'un

Lorsqu'ils ont testé cette « équipe de trois détectives » sur les nouveaux virus difficiles (les benchmarks contrôlés contre la fuite), ils ont découvert quelque chose de surprenant :

Ils n'étaient pas très d'accord : Les trois modèles donnaient souvent des réponses différentes pour un même médicament. Leurs opinions étaient « orthogonales » (indépendantes). Quand l'un des modèles était confus, les autres étaient souvent corrects.
L'équipe a gagné : En faisant la moyenne de leurs opinions indépendantes, l'équipe a amélioré la précision d'un montant faible mais statistiquement significatif (de 0,817 à 0,834).
L'écart de « fuite » a diminué : L'équipe était moins dépendante du fait d'avoir déjà vu des virus similaires auparavant. L'ajout du troisième détective (DrugCLIP) a rendu l'ensemble du groupe plus robuste face à la « triche » par mémorisation.

Le point clé à retenir

L'article soutient que la diversité est plus importante que la puissance brute.

L'ancienne méthode : Essayer de construire un modèle géant et super capable. (Cela a plafonné).
La nouvelle méthode : Prendre trois modèles différents, moyennement capables, qui abordent le problème sous des angles totalement différents, et les laisser voter.

Parce que les modèles commettent des types d'erreurs différents, la moyenne permet d'annuler les erreurs. L'article conclut que pour trouver de nouveaux médicaments sur des cibles réellement nouvelles, l'orthogonalité inter-modèles (avoir des perspectives différentes) est la recette secrète, et non pas simplement de rendre les modèles plus grands ou plus intelligents.

Ce qu'ils n'ont pas affirmé

Ils n'ont pas affirmé que cela guérit les maladies ou que cela fonctionne déjà dans un hôpital.
Ils n'ont pas affirmé que cela fonctionne sur chaque benchmark possible (cela a d'ailleurs eu des difficultés sur un ensemble de données spécifique appelé LIT-PCBA).
Ils n'ont pas affirmé que l'ajout d'un quatrième modèle aiderait certainement ; ils suggèrent que l'ajout d'un quatrième modèle qui pense comme les deux premiers serait inutile. Vous avez besoin d'une nouvelle perspective pour obtenir un bénéfice supplémentaire.

Résumé technique : Un ensemble moyenné en z de trois modèles orthogonaux pour le criblage virtuel protéine-ligand

Énoncé du problème
Les modèles d'apprentissage profond pour le criblage virtuel (VS) protéine-ligand ont rapporté des performances élevées (AUROC > 0,90) sur les benchmarks standards comme DUD-E. Cependant, les auteurs soutiennent que ces métriques sont gonflées par deux modes de défaillance principaux :

Fuite d'homologie séquence-test : La plupart des protéines de référence possèdent des homologues quasi identiques dans les ensembles d'entraînement des modèles entraînés sur BindingDB ou PDBBind. Les plongements (embeddings) des modèles de langage protéiques pré-entraînés facilitent la généralisation, permettant aux modèles de s'appuyer sur l'homologie plutôt que sur la véritable physique de la liaison.
Biais des leurres (Decoy Bias) : Les benchmarks comme DUD-E contiennent des asymétries structurelles où les composés actifs et les leurres diffèrent par leurs descripteurs physico-chimiques (ex: liaisons rotatives, surface polaire), permettant aux classifieurs de discriminer sans conditionnement sur la protéine.

Lorsqu'ils sont évalués sur des cibles à « fuite contrôlée » (où l'homologie entraînement-test est strictement filtrée, ex: <30 % d'identité), la performance des modèles uniques stagne dans la plage de 0,70–0,75 AUROC. Les récentes améliorations architecturales (fine-tuning, couches sensibles à la poche, pertes contrastives) n'ont pas réussi à combler significativement cet écart sur des cibles réellement nouvelles.

Méthodologie
Les auteurs proposent une stratégie d'ensemble post-hoc et agnostique au modèle plutôt que de construire un modèle unique plus complexe. L'approche consiste à combiner trois modèles de score indépendamment entraînés et de représentation orthogonale :

BIND-z : Un modèle uniquement basé sur la séquence utilisant un encodeur ESM-2 gelé avec une attention croisée (cross-attention) et des têtes d'affinité Huber, entraîné sur un sous-ensemble de BindingDB filtré par homologie.
SaProt-v2 : Un encodeur de séquence sensible à la structure (SaProt-650M gelé avec des jetons AA+3Di) entraîné avec une perte contrastive InfoNCE et une tête de regroupement par attention (attention-pool).
DrugCLIP : Un modèle de type CLIP publié, alignant les caractéristiques d'atomes de la poche 3D (Uni-Mol) avec les caractéristiques 2D du ligand.

Stratégie de fusion :
Les modèles produisent des scores sur des échelles différentes. Pour les combiner, les auteurs utilisent une normalisation par score z par cible suivie d'une moyenne arithmétique. Pour chaque cible $t$ , le score brut $s_{m,t,i}$ pour le ligand $i$ du modèle $m$ est normalisé :
$z_{m,t,i} = \frac{s_{m,t,i} - \mu_{m,t}}{\sigma_{m,t}}$
où $\mu$ et $\sigma$ sont la moyenne et l'écart-type des scores du modèle sur l'ensemble des ligands pour cette cible spécifique. Les scores de l'ensemble sont :

ens2 : Moyenne de BIND-z et SaProt-v2.
ens3 : Moyenne de BIND-z, SaProt-v2 et DrugCLIP.

Contributions clés

Identification de l'orthogonalité : Les auteurs démontrent que les trois modèles sont faiblement corrélés au niveau par ligand. La corrélation de Pearson entre les deux modèles basés sur la séquence (BIND-z et SaProt-v2) est de $r \approx 0,22$ , tandis que DrugCLIP présente une corrélation proche de zéro ( $r \approx 0,05\text{--}0,08$ ) avec l'un ou l'autre des modèles de séquence. Cela suggère que DrugCLIP fournit des informations véritablement indépendantes.
Gain statistiquement significatif : L'ensemble à trois modèles (ens3) atteint une AUROC moyenne de 0,834 sur 204 évaluations combinées DUD-E et DUD-AD, contre 0,817 pour le meilleur ensemble à deux modèles (ens2). Cela représente un gain de +0,017 AUROC (test $t$ apparié $= 3,50$ , $p = 5,8 \times 10^{-4}$ ). Le gain est directionnellement constant sur six benchmarks, y compris les sous-ensembles stricts de contrôle de la fuite.
Réduction de la dépendance à l'homologie : L'ensemble réduit la dépendance à l'homologie entraînement-test. L'« écart de fuite » (chute de performance lors du passage de cibles riches en homologie à des cibles à fuite contrôlée) est de +0,085 pour ens3, contre +0,091 pour ens2. Cela indique que l'ensemble généralise mieux aux cibles hors distribution.

Résultats

Performance Zero-Shot : Sur le benchmark principal combiné ( $n=204$ ), ens3 surpasse ens2 avec une haute signification statistique. Sur les sous-ensembles stricts de contrôle de la fuite (ex: DUD-E-strict, $n=7$ ), ens3 atteint une AUROC de 0,779, une amélioration significative par rapport aux modèles uniques, bien que la signification statistique soit limitée par la taille de l'échantillon.
Modes de défaillance : L'ensemble ne résout pas le benchmark LIT-PCBA (AUROC absolue $\approx 0,608$ ), qui est conçu pour résister aux modèles actuels basés uniquement sur la séquence ou la poche.
Déploiement en distribution : Lorsqu'il est évalué dans un régime « en distribution » (où les données d'entraînement incluent des homologues des cibles de test), l'ensemble (combinant une tour SaProt avec toutes les données et BIND-full) produit toujours un gain de +0,012 à +0,015 AUROC par rapport au composant unique le plus fort, confirmant que l'orthogonalité bénéficie au déploiement même sans contraintes strictes de zero-shot.
Limites des modèles uniques : Les auteurs ont testé systématiquement les améliorations des modèles uniques (fine-tuning de l'encodeur, redéfinition de la poche, pertes alternatives, couches sensibles à la pose) et ont constaté qu'elles produisaient des gains négligeables ou négatifs sur les cibles à fuite contrôlée, suggérant que le goulot d'étranglement est la distribution d'entraînement, et non la capacité du modèle.

Signification et affirmations
L'article soutient que l'orthogonalité inter-modèles, plutôt que la capacité d'un modèle unique, est le levier pratique pour améliorer le criblage virtuel sur de nouvelles cibles protéiques.

Mécanisme : Le gain provient de la réduction de la variance sur des structures d'erreur statistiquement quasi-indépendantes. Ajouter un quatrième modèle de même architecture (ex: un autre scoreur basé sur ESM) produirait probablement des rendements décroissants en raison de la forte corrélation des erreurs.
Implication pratique : Une fusion post-hoc simple de modèles existants et diversifiés est plus efficace que l'entraînement d'un modèle unique plus large ou plus complexe.
Évaluation (Benchmarking) : Les auteurs préconisent le signalement systématique de sous-ensembles de « contrôle de la fuite » aux côtés des benchmarks standards pour distinguer la mémorisation de la véritable généralisation.
Portée : L'ensemble est présenté comme une solution robuste pour les cibles manquant d'homologues proches dans l'entraînement, tandis qu'un « ensemble de déploiement » (utilisant des données d'entraînement non filtrées) est recommandé pour les scénarios où des homologues sont disponibles et où le coût d'inférence est un facteur secondaire.

Les auteurs concluent que la voie à suivre pour un criblage virtuel fiable réside dans la combinaison de signaux orthogonaux et diversifiés plutôt que dans la poursuite d'augmentations incrémentielles de la capacité architecturale au sein d'une même famille de modèles.