Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

1. Énoncé du problème

Le domaine de la découverte de médicaments pilotée par l'IA est actuellement dominé par un récit « centré sur l'échelle », suggérant que les modèles de base préentraînés plus volumineux (par exemple, les grands modèles de langage, les grands réseaux de neurones graphiques) supplanteront universellement les modèles compacts et spécifiques à une tâche (par exemple, les forêts aléatoires, les QSAR classiques). Cependant, les ensembles de données de découverte de médicaments sont souvent petits, bruyants, déséquilibrés et regroupés chimiquement. L'article remet en question l'hypothèse selon laquelle une augmentation du nombre de paramètres ou de la taille du corpus de préentraînement se traduit automatiquement par une performance prédictive supérieure pour les propriétés moléculaires et les activités biologiques. La question centrale est la suivante : L'échelle du modèle prédit-elle de manière fiable la performance au niveau du point final, ou la performance est-elle déterminée par l'alignement entre le biais inductif du modèle, le régime de données et le point final biologique spécifique ?

2. Méthodologie

Portée du benchmark et ensembles de données

Les auteurs ont évalué des modèles sur 22 points finaux distincts comprenant 167 056 évaluations de tâches–molécules retenues :

• ADMET public (8 tâches) : 5 tâches de classification binaire et 3 tâches de régression (par exemple, perméabilité Caco2, solubilité) issues du Therapeutics Data Commons.
• Tox21 (12 tâches) : 12 essais de toxicité binaire avec un fort déséquilibre de classe (taux de positifs de 2,9 à 16,2 %).
• Anti-infectieux (2 tâches) :
  • Anti-TB : 49 266 molécules contre M. tuberculosis H37Rv (seuil de 1 µM).
  • Antipaludique : 2 088 molécules contre P. falciparum (souches 3D7 et Dd2, seuil de 100 nM).

Familles de modèles comparées

L'étude a comparé quatre familles de modèles distinctes couvrant plusieurs ordres de grandeur en complexité :

1. Petits modèles ML : Apprenants QSAR classiques (Forêts aléatoires, ExtraTrees, GBDT, Régression logistique) entraînés sur des caractéristiques conçues : empreintes digitales ECFP4/6, clés MACCS et descripteurs RDKit.
2. Réseaux de neurones graphiques (GNN) de taille moyenne : Modules graphiques spécifiques à une tâche (GCN, GAT, GIN, Ligandformer) avec ~10⁵–10⁶ paramètres, apprenant des représentations structurelles directement à partir de graphes moléculaires.
3. Modèles de séquences moléculaires préentraînés : Modèles basés sur Transformer (ChemBERTa, ChemBERTa2, MoLFormer) avec 10 à 77 millions de paramètres, affinés à partir d'un préentraînement sur SMILES.
4. Baselines de raisonnement LLM-SAR : Systèmes basés sur des règles (GPT5.5-SAR, Opus4.7-SAR) où des LLM de pointe génèrent des règles SAR (regex/SMARTS) basées sur les données d'entraînement, qui sont ensuite appliquées aux plis retenus. Il ne s'agit pas de prédicteurs affinés, mais de moteurs d'application de règles.

Protocole d'évaluation

• Stratégie de validation : Validation croisée à cinq plis séparée par similarité structurelle. Les molécules ont été regroupées par empreintes digitales ECFP4 en utilisant MiniBatchKMeans pour garantir que les molécules structurellement similaires (voisins chimiques) n'étaient pas réparties entre les ensembles d'entraînement et de test. Cela empêche la « fuite de voisins proches » et simule mieux la performance prospective qu'un découpage aléatoire.
• Métriques :
  • Classification : PR-AUC (critique pour les données Tox21 déséquilibrées) et ROC-AUC.
  • Régression : MAE (Erreur absolue moyenne) et corrélation de Pearson.
• Implémentation : Tous les modèles ont été optimisés avec des hyperparamètres spécifiques (par exemple, pondération des classes pour le déséquilibre) afin d'assurer une comparaison équitable au sein de leurs familles respectives.

3. Résultats clés

Gagnants globaux de la performance

Sur 167 056 évaluations, les modèles plus grands n'ont pas gagné universellement :

• ML classique (RF, ExtraTrees) : Ont remporté 10 tâches de métrique principale. Ils excellent dans la régression ADMET et de nombreux essais Tox21.
• GNN (GIN, Ligandformer) : Ont remporté 9 tâches. Ils ont montré des forces dans des points finaux ADMET spécifiques (par exemple, DILI, hERG) et la tâche antipaludique.
• Modèles de séquences préentraînés (MoLFormer, ChemBERTa2) : Ont remporté seulement 3 tâches (spécifiquement DILI, hERG et NR-AR/NR-AhR).
• Baselines LLM-SAR : N'ont remporté aucune tâche de métrique principale contre les meilleurs modèles entraînés.

Résultats spécifiques par domaine

• ADMET & Tox21 : Les modèles de ML classique sont restés hautement compétitifs ou supérieurs, en particulier dans les tâches de régression et les essais de toxicité fortement déséquilibrés. L'écart de performance entre ML et GNN était souvent modeste et dépendant du point final.
• Activité anti-infectieuse :
  • Anti-TB : RF et ExtraTrees (ECFP4) ont surpassé MoLFormer et les baselines LLM-SAR (PR-AUC ~0,565 contre ~0,448 pour MoLFormer).
  • Antipaludique : Les GNN (spécifiquement GIN) ont mené le domaine (PR-AUC 0,556), surpassant les modèles de séquence et LLM-SAR.
• Performance LLM-SAR : Bien que les baselines LLM-SAR n'aient pas atteint la précision prédictive maximale, l'ajout de « connaissances SAR dérivées du pli d'entraînement » (règles apprises à partir de l'ensemble d'entraînement) a fourni des gains mesurables mais inégaux. Par exemple, dans l'Anti-TB, le ROC-AUC LLM-SAR est passé d'environ 0,51 à environ 0,61 avec des règles apprises, mais ils sont restés en retrait par rapport aux prédicteurs supervisés.

Régression vs Classification

• Régression : Les modèles de ML classique (en particulier ExtraTrees avec des descripteurs RDKit) ont dominé les tâches de régression (Caco2, Lipophilicité, Solubilité), obtenant un MAE plus faible et une corrélation de Pearson plus élevée que les modèles de séquence.
• Sensibilité au déséquilibre : Pour Tox21, le PR-AUC était une métrique plus discriminante que le ROC-AUC. De nombreux modèles semblaient performants sous ROC-AUC mais échouaient à identifier efficacement les classes positives sous PR-AUC, soulignant le danger de se fier uniquement au ROC-AUC dans des contextes de découverte de médicaments déséquilibrés.

4. Contributions clés

1. Réfutation empirique du passage à l'échelle universel : L'article fournit des preuves rigoureuses que « plus c'est grand, mieux c'est » n'est pas une loi universelle en découverte de médicaments. Des modèles compacts et spécialisés surpassent souvent des modèles de base massifs sur des points finaux spécifiques et contraints par les données.
2. Benchmarking complet : Il établit un benchmark à grande échelle et standardisé couvrant 22 points finaux divers (publics et internes) avec un protocole de validation rigoureux séparé par structure, abordant le problème de la fuite de données courant dans les études précédentes.
3. Analyse du biais inductif : L'étude démontre que le succès prédictif dépend de l'alignement entre :
   • Représentation moléculaire : Empreintes digitales (ECFP) vs Graphes vs Tokens SMILES.
   • Biais inductif : Motifs SAR locaux (favorisés par RF) vs Motifs topologiques (favorisés par GNN) vs Régularités chimiques globales (favorisés par Transformers).
   • Régime de données : Les petits ensembles de données bruyants favorisent des modèles plus simples ; les grands ensembles de données diversifiés peuvent bénéficier du préentraînement.
4. Recadrage des LLM en découverte de médicaments : Les auteurs positionnent les LLM non pas comme des prédicteurs directs pour remplacer les modèles QSAR, mais comme des moteurs de raisonnement pour la génération d'hypothèses, l'interprétation SAR et l'extraction de règles. Ils sont précieux pour l'explicabilité mais actuellement inférieurs en précision prédictive brute lorsque des données étiquetées sont disponibles.

5. Importance et implications

• Conseils pratiques pour les praticiens : Les équipes de découverte de médicaments ne devraient pas adopter aveuglément de grands modèles de base. Pour de nombreuses tâches standard de prédiction ADMET et d'activité, l'entraînement de modèles compacts sur des empreintes digitales ou des descripteurs reste l'approche la plus efficace, rentable et robuste.
• Le protocole de validation compte : Le choix de la stratégie de validation croisée (aléatoire vs séparée par structure) modifie radicalement le classement des modèles. L'article plaide pour des découpages séparés par structure pour garantir que les modèles généralisent à de nouvelles séries chimiques plutôt que de mémoriser des analogues locaux.
• Orientation de la recherche future : La valeur des grands modèles réside dans le raisonnement zero-shot, la génération d'hypothèses mécanistiques et l'interprétation de SAR complexes, plutôt que dans le remplacement des prédicteurs supervisés pour la prédiction quantitative. Les travaux futurs devraient se concentrer sur des approches hybrides qui exploitent les capacités de raisonnement des LLM pour guider l'ingénierie des caractéristiques ou l'architecture des modèles prédictifs.

Conclusion : L'article conclut que l'échelle du modèle est une variable explicative faible pour la performance en découverte de médicaments. Au lieu de cela, le succès est déterminé par le « Model-Task Fit » (adéquation modèle-tâche) — l'alignement précis du biais inductif du modèle avec le point final biologique spécifique, les caractéristiques des données et le protocole de validation.