Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

Résumé Technique : Calibrage Sensible à la Source et à la Version pour la Prédiction de la Potence de l'EGFR

Énoncé du Problème
Les modèles de potence basés sur les ligands pour le récepteur du facteur de croissance épidermique (EGFR) démontrent souvent une forte précision interne lorsqu'ils sont évalués sur des divisions aléatoires. Cependant, l'article soutient que ces métriques sont gonflées par des séries d'analogues partagées, des chimies dupliquées et des conventions d'essais spécifiques aux sources. Dans un déploiement réel en chimie médicinale, les modèles sont confrontés à de sévères décalages de domaine (domain shifts) à travers :

1. Décalages de squelettes (scaffolds) et temporels : Généralisation à de nouveaux squelettes chimiques ou à des périodes temporelles futures.
2. Décalages inter-sources : Transfert de ChEMBL vers des bases de données indépendantes comme BindingDB.
3. Décalages de versions futures : Prédiction sur des molécules ajoutées à une base de données après la date de coupure de l'entraînement (par exemple, des molécules de ChEMBL36 alors que le modèle est entraîné sur ChEMBL30).

Sous des protocoles d'évaluation stricts, l'article démontre que les modèles standards (empreintes digitales, ensembles, réseaux de neurones sur graphes, et même les modèles de paires sensibles aux sauts d'activité/activity-cliffs) s'effondrent lors de l'évaluation sur ces distributions décalées. Plus précisément, sur un panel de version future réel de 2 907 molécules non chevauchantes de ChEMBL36, les modèles entraînés sur ChEMBL30 atteignent des scores $R^2$ négatifs, performent moins bien qu'une simple ligne de base (mean baseline).

Méthodologie
L'étude emploie un cadre rigoureux et reproductible pour diagnostiquer et remédier à ces échecs :

• Curation de Données Stricte : Un benchmark de l'IC50 de l'EGFR de haute qualité a été reconstruit à partir de ChEMBL (et BindingDB) en utilisant des règles strictes : relations d'égalité exacte, unités en nM, types d'essais valides, suppression des conflits de doublons (SD > 0,5) et division basée sur les squelettes (scaffold-based splitting).
• Construction du Benchmark :
  • Panel de Version Future : L'entraînement a été verrouillé sur ChEMBL30, et l'évaluation a été réalisée sur 2 907 molécules non chevauchantes de ChEMBL36.
  • Panel Inter-Sources : Évaluation sur les données de BindingDB avec suppression stricte des chevauchements.
  • Benchmarks Publics : Évaluation sur les jeux de données de sauts d'activité (activity-cliff) de MoleculeACE et ACNet.
• Modèles de Référence (Baselines) : L'étude a testé une large gamme d'architectures, incluant les empreintes de Morgan, Ridge/RandomForest/XGBoost, et un réseau de neurones à message dirigé moderne (GINE/D-MPNN).
• Solution Proposée : Calibrage Résiduel Sensible à la Source et à la Version :
  • Au lieu de réentraîner le modèle de base, les auteurs proposent une tête de calibrage légère, sans rétropropagation.
  • Mécanisme : Un petit ensemble de labels de "support" (quelques dizaines à centaines de molécules) provenant de la distribution décalée (par exemple, BindingDB ou ChEMBL36) est utilisé pour estimer l'erreur résiduelle $r(x) = y - f(x)$ du modèle de base.
  • Têtes de Calibrage : Plusieurs estimateurs ont été testés, notamment un décalage de moyenne (mean-offset), une régression linéaire, une régression de résidus Ridge sur Morgan (régression des résidus sur les empreintes) et un kNN-résiduel de Morgan (transfert des résidus des plus proches voisins).
  • Prédiction : La prédiction calibrée est $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$.
  • Incertitude : Les intervalles de prédiction conforme par split ont été recalibrés en utilisant les résidus de l'ensemble de support décalé pour restaurer une couverture valide.

Résultats Clés

1. Effondrement du Modèle sous Décalage :

   • Sur le panel de version future ChEMBL30 $\to$ ChEMBL36, les modèles non calibrés (y compris les GNN) ont obtenu des valeurs $R^2$ allant de -0,33 à -2,52, échouant à battre la moyenne de référence.
   • Des effondrements similaires ont été observés sur BindingDB et sur les divisions temporelles externes.
   • Les objectifs de paires de sauts d'activité (pairwise activity-cliff) ont amélioré les métriques locales de SAR mais n'ont pas résolu le décalage de domaine global.

2. Récupération via le Calibrage Few-Shot :

   • En utilisant seulement un petit nombre de labels de support disjoints par squelette de la distribution décalée, la tête de calibrage résiduel a restauré un $R^2$ positif.
   • BindingDB : L'RMSE est passé de 1,5959 (zero-shot) à 0,8285 avec 512 labels de support.
   • Version Future (ChEMBL36) : L'RMSE est passé de 1,42 ($R^2$ -0,33) à 1,00 ($R^2$ +0,33) avec seulement 64 labels, et à 0,85 ($R^2$ +0,52) avec 512 labels.
   • La méthode a été efficace avec seulement 16 à 64 labels appariés à la distribution.

3. Généralisation et Efficacité :

   • Transfert de Cible : La même recette de calibrage a réussi à récupérer les performances sur des cibles kinases non-EGFR indépendantes (ABL1 et BRAF) où les valeurs $R^2$ zero-shot du modèle de base étaient respectivement de -1,81 et -2,45.
   • Efficacité de Calcul : À de faibles budgets de labels (16–64 labels), le calibrage sans rétropropagation a égalé ou surpassé le fine-tuning complet de GNN tout en nécessitant environ un ordre de grandeur de temps de calcul en moins (ex: 0,01s vs 0,38s).
   • Incertitude : Les intervalles conformes en domaine (in-domain) sous-couvraient sévèrement les données de version future. Le recalibrage du rayon de conformité sur quelques labels décalés a restauré une couverture quasi nominale (ex: cible 0,90 $\to$ couverture empirique 0,90), bien qu'avec des intervalles plus larges et plus honnêtes.

Signification et Revendications
L'article affirme que la dégradation observée de la prédiction de la potence de l'EGFR n'est pas un échec inhérent de l'apprentissage de représentation (car les GNN ont également échoué), mais un problème de décalage de domaine soluble : la contribution centrale est une recette de déploiement pratique et actionnable :

• Ne pas se fier uniquement au transfert de représentation ou aux métriques de validation interne.
• Déployer des modèles pour le triage en domaine, mais collecter un petit ensemble de support apparié à la distribution (quelques dizaines de molécules) lors du passage à des scénarios inter-sources ou de versions futures.
• Appliquer un calibrage résiduel à cet ensemble de support pour récupérer des prédictions et des estimations d'incertitude valides.

Les auteurs soulignent que cette approche transforme un modèle de progression de version "défaillant" en un modèle utilisable sans le coût de calcul ou le risque d'oubli catastrophique associés au fine-tuning complet. L'étude souligne également que les objectifs sensibles aux sauts d'activité sont précieux pour la SAR locale mais insuffisants pour l'adaptation de domaine globale sans un calibrage sensible à la source.

Limites Reconnues
L'article note que la curation stricte réduit le nombre de sauts d'activité, que le calibrage few-shot suppose la disponibilité de labels source-cible, et que bien que l'expérience ChEMBL30-vers-36 soit un test de stress rétrospectif robuste, la validation prospective réelle en laboratoire humide reste le niveau de preuve le plus élevé. De plus, les étiquettes XAI actuelles sont des annotations structurelles faibles plutôt que des pharmacophores expertement curatés.