Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

Cette étude critique révèle que la plupart des modèles de pointe du leaderboard TDC pour la prédiction ADMET souffrent de problèmes de reproductibilité, de fuites de données ou de surajustement, soulignant ainsi la nécessité urgente de benchmarks plus rigoureux avec des ensembles de test cachés et des environnements d'inférence standardisés.

L'essentiel

🏁 Le Grand Prix de la Découverte de Médicaments

Imaginez que la découverte de nouveaux médicaments est comme une course de Formule 1. Les ingénieurs (les chercheurs) construisent des voitures (des modèles d'intelligence artificielle) pour prédire si un nouveau médicament sera sûr et efficace avant même de le fabriquer.

Pour savoir qui est le meilleur, il y a un classement officiel appelé TDC (Therapeutics Data Commons). C'est comme le tableau d'affichage de la course : il montre qui a les meilleures performances sur des circuits de test publics.

Cependant, une équipe de chercheurs (Receptor.AI) a décidé de faire un contrôle technique surprise sur les voitures qui occupent les premières places de ce classement. Leur but ? Vérifier si ces voitures sont vraiment des bolides ou si elles ont triché pour gagner.

🔍 Le Contrôle Technique : Ce qu'ils ont trouvé

L'équipe a examiné les 3 meilleures voitures pour chaque épreuve (22 épreuves au total). Voici ce qu'ils ont découvert, expliqué avec des analogies :

1. Les voitures qui ne démarrent même pas (Problèmes de reproductibilité)

Beaucoup de voitures classées en haut du tableau étaient comme des monstres de papier :

• Le code est introuvable : Certains pilotes avaient perdu les clés de leur voiture (le code source était perdu ou les liens brisés).
• Le garage est fermé : D'autres avaient des instructions de montage si confuses qu'on ne pouvait même pas assembler la voiture. C'était comme recevoir un plan de construction d'une Ferrari, mais avec des pièces manquantes et des vis de la mauvaise taille.
• Résultat : Sur les 10 modèles de pointe examinés, la plupart ne pouvaient pas être testés correctement.

2. La triche subtile : "Regarder dans le miroir" (Fuites de données)

C'est le problème le plus grave. Imaginez un pilote qui, avant la course, regarde les réponses du quiz ou voit le circuit à travers un miroir caché.

• Le cas MiniMol : Ce modèle était champion sur 7 épreuves. En fouillant, les chercheurs ont découvert que le "moteur" de cette voiture avait été entraîné avec des données qui contenaient en réalité les mêmes voitures que celles du test final. C'est comme si le pilote avait appris à conduire sur le circuit de la course avant le jour J.
• Le cas GradientBoost et XGBoost : Ces modèles avaient un problème de "porte ouverte". Lors de l'entraînement, ils avaient laissé entrer des voitures du test final dans leur salle de répétition. Ils avaient donc "mémorisé" les réponses au lieu d'apprendre à conduire.

3. La course truquée : "S'entraîner sur la ligne d'arrivée" (Surapprentissage)

Pour prouver leur point, l'équipe a créé sa propre voiture (un modèle "honnête") et a fait une expérience radicale :

• La version "Honnête" : Elle s'entraîne uniquement sur les vieux circuits d'entraînement. Elle arrive souvent dans le top 10, mais rarement en tête.
• La version "Tricheuse" : Ils ont laissé cette même voiture s'entraîner directement sur le circuit de la course finale (le jeu de données public).
• Le résultat ? La voiture "tricheuse" a bondi du milieu du peloton pour prendre la 1ère place sur plus de la moitié des épreuves !
• La leçon : Cela prouve que si vous connaissez les réponses d'avance, vous pouvez facilement obtenir un score parfait, même si votre voiture n'est pas vraiment la meilleure.

🏆 Le Verdict Final

Après tout ce nettoyage, seulement 3 voitures ont passé le contrôle technique et sont restées dignes de confiance :

1. CaliciBoost
2. MapLight
3. MapLight + GNN

Ces modèles sont robustes, leur code fonctionne, et ils n'ont pas triché. Les autres champions du classement, malgré leurs scores impressionnants, sont soit des "fantômes" (on ne peut pas les utiliser), soit des "tricheurs" (ils ont appris par cœur les réponses).

💡 Que faut-il retenir ? (La morale de l'histoire)

Cette étude dit aux scientifiques : "Arrêtez de faire confiance aveuglément au tableau d'affichage !"

Actuellement, le système de classement est comme un examen où la feuille de réponses est collée sur le mur de la salle d'examen. Bien sûr, tout le monde peut avoir 20/20, mais cela ne veut pas dire qu'ils sont intelligents.

Pour l'avenir, les chercheurs proposent :

• Des examens secrets : Le test final ne doit plus être public. Il doit rester caché jusqu'à ce que tout le monde ait fini de travailler.
• Des versions de contrôle : Comme un numéro de série unique sur chaque voiture, pour s'assurer que tout le monde utilise exactement les mêmes données.
• Des voitures prêtes à rouler : Les chercheurs doivent soumettre leur voiture toute prête (avec son garage et ses outils), pas juste un dessin.

En résumé, cette étude est un appel à la rigueur : pour sauver des vies avec de nouveaux médicaments, nous avons besoin de modèles qui fonctionnent vraiment dans le monde réel, pas seulement sur un tableau de classement truqué.

Résumé technique

1. Problématique

L'article aborde les limites critiques des pratiques d'évaluation actuelles dans le domaine de la prédiction des propriétés ADMET (Absorption, Distribution, Métabolisme, Excrétion, Toxicité) pour la découverte de médicaments. Bien que la plateforme Therapeutics Data Commons (TDC) soit considérée comme la « référence » (gold standard) pour le classement des modèles d'apprentissage automatique (ML), les auteurs soulignent plusieurs failles majeures :

• Manque de reproductibilité : De nombreux modèles classés en tête de liste ne peuvent pas être exécutés ou reproduits en raison de codes sources manquants, d'environnements d'exécution incompatibles ou d'instructions d'installation défectueuses.
• Fuites de données (Data Leakage) : La disponibilité publique des ensembles de données de test sur TDC permet un ajustement involontaire ou délibéré des modèles (surapprentissage) sur ces données spécifiques, faussant les performances réelles.
• Surajustement (Overfitting) : Certains modèles affichent une précision supérieure à la reproductibilité des assays expérimentaux eux-mêmes, suggérant qu'ils apprennent le bruit ou les erreurs systématiques du jeu de données plutôt que des principes chimiques fondamentaux.

2. Méthodologie

Les auteurs ont mené une évaluation critique rigoureuse des 22 points de terminaison (endpoints) ADMET disponibles sur TDC. Leur protocole d'analyse s'est déroulé en plusieurs étapes :

• Sélection des modèles : Identification des 3 meilleurs modèles par endpoint, aboutissant à un ensemble de 10 architectures représentatives (incluant MiniMol, MapLight, XGBoost, GradientBoost, CaliciBoost, etc.).
• Protocole d'évaluation en 4 étapes :
  1. Vérification de la reproductibilité : Tentative d'exécution locale des modèles avec re-calcul des métriques.
  2. Évaluation des fuites de données : Calcul des scores de similarité de Tanimoto (empreintes digitales Morgan) entre les ensembles d'entraînement et de test pour détecter des molécules identiques ou très similaires.
  3. Vérification des procédures d'optimisation : Analyse des publications et dépôts de code pour s'assurer qu'aucun réglage des hyperparamètres n'a été effectué sur l'ensemble de test public.
  4. Réévaluation finale : Exécution des modèles validés sur l'ensemble complet des 22 endpoints pour comparer les résultats avec le classement officiel.
• Modèles de référence internes : Développement de modèles internes basés sur l'architecture Mol2Vec et l'algorithme LightGBM, optimisés de manière « honnête » (sans accès au jeu de test) pour servir de contrôle.
• Simulation de surajustement : Création de variantes délibérément surajustées des modèles internes en utilisant l'ensemble de test public pour l'optimisation des caractéristiques et des hyperparamètres, afin de quantifier l'impact du surajustement sur le classement.

3. Résultats Clés

A. Échec de la reproductibilité et des environnements

Sur les modèles analysés, la grande majorité a échoué aux étapes préliminaires :

• Codes inaccessibles : Le modèle CFA n'avait pas de code source disponible.
• Environnements non reproductibles : Des modèles comme ADMETrix et SimGCN ne pouvaient pas être installés en raison de conflits de dépendances (versions de Python, PyTorch, etc.).
• Échec d'exécution : Le modèle ZairaChem s'installait mais échouait à l'exécution en raison d'incompatibilités de bibliothèques.
• Conclusion : Seuls 3 modèles (CaliciBoost, MapLight, MapLight+GNN) ont passé tous les contrôles et ont pu être réévalués avec succès.

B. Détection de fuites de données

• MiniMol : Bien que les auteurs aient affirmé avoir filtré les molécules du jeu de test TDC de leur jeu de pré-entraînement (LargeMix), l'analyse a révélé des fuites indirectes dues à une filtration basée uniquement sur les SMILES canoniques. Cela ne gère pas correctement la stéréochimie (isomères) ou la tautomérie, laissant des molécules chimiquement équivalentes dans les deux ensembles.
• GradientBoost et XGBoost : Une erreur de programmation dans la fonction de division des données a entraîné un chevauchement direct entre l'ensemble de validation utilisé pour le réglage des hyperparamètres et l'ensemble de test public, faussant les métriques rapportées. Après correction, leurs classements ont chuté (de 1er à 3ème pour GradientBoost, de 2ème à 8ème pour XGBoost).

C. Performance des modèles validés et impact du surajustement

• Reproductibilité des leaders : Les modèles MapLight et MapLight+GNN ont montré une excellente reproductibilité, avec des écarts métriques minimes (< 0,01) par rapport aux rapports TDC, confirmant que certains modèles sont robustes.
• Effet du surajustement délibéré : Les modèles internes « surajustés » (optimisés sur le jeu de test) ont atteint le top 3 dans 10 des 22 endpoints (soit ~45%), contre seulement 2 fois pour les modèles « honnêtes ». Cela démontre que le classement public est extrêmement sensible à l'optimisation sur le jeu de test.
• Comparaison avec les leaders TDC : Malgré la capacité du surajustement à améliorer les classements, les modèles récurrents de TDC (MapLight, MiniMol) dominent encore plus fréquemment (17/22 et 13/22 fois dans le top 3). Cela suggère que leur supériorité repose sur une architecture et des descripteurs robustes, et non uniquement sur du surajustement.

4. Contributions Majeures

1. Audit critique de TDC : Première évaluation systématique de la reproductibilité technique et méthodologique des modèles leaders sur TDC, révélant que la majorité des « champions » sont inutilisables en pratique.
2. Identification de fuites de données : Démonstration technique de la manière dont des filtrages insuffisants (stéréochimie, tautomérie) et des erreurs de splitting de données conduisent à des fuites de données massives.
3. Quantification du biais de surajustement : Preuve expérimentale que l'optimisation directe sur un jeu de test public peut artificiellement propulser des modèles médiocres dans le top 3, faussant la perception de l'état de l'art.
4. Modèles de référence : Mise à disposition de modèles internes basés sur Mol2Vec/LightGBM servant de baseline robuste et reproductible.

5. Signification et Recommandations

L'article met en lumière une crise de confiance dans les benchmarks ouverts actuels pour la découverte de médicaments. Il conclut que les classements TDC actuels ne doivent pas être pris comme une preuve directe de la puissance prédictive d'un modèle pour de nouvelles données.

Les auteurs proposent des solutions pour la prochaine génération de benchmarks :

• Jeu de test caché (Hidden Test Set) : Les données de test ne doivent pas être accessibles publiquement pour éviter le surajustement.
• Versionnement strict : Chaque version de jeu de données doit avoir un identifiant unique (checksum) pour garantir la reproductibilité exacte des résultats.
• Soumission de modèles conteneurisés : Les chercheurs doivent soumettre leurs modèles avec leur environnement d'inférence standardisé (conteneurs) plutôt que de simples métriques, permettant une validation automatique et une vérification de la reproductibilité.

En résumé, ce travail appelle à une transition d'une culture du « classement sur leaderboard » vers une méthodologie d'évaluation rigoureuse, transparente et résistante aux manipulations de données.