Budget-Sensitive Discovery Scoring: A Formally Verified Framework for Evaluating AI-Guided Scientific Selection

Cette étude présente le BSDS, un cadre d'évaluation formellement vérifié pour mesurer la qualité des propositions scientifiques sous contraintes budgétaires, démontrant par une application à la découverte de médicaments que les modèles de langage (LLMs) n'apportent aucune valeur ajoutée par rapport à un classifieur ML traditionnel pour la sélection de candidats.

L'essentiel

🧪 Le Grand Défi : Trouver l'Aiguille dans la Botte de Foin (sans se ruiner)

Imaginez que vous êtes un chercheur en pharmacie. Votre mission : trouver un nouveau médicament contre le VIH parmi 41 000 molécules différentes. C'est comme chercher une aiguille dans une botte de foin géante.

Le problème ? Tester chaque molécule en laboratoire coûte une fortune (des milliers de dollars par essai) et prend du temps. Vous avez un budget limité : vous ne pouvez tester que les 500 ou 1000 meilleures candidates.

La question est : Comment choisir les meilleures candidates sans se tromper ?

🤖 L'Arrivée des "Super-Intelligences" (IA)

Récemment, des IA très puissantes (les grands modèles de langage, comme ceux qui écrivent des poèmes ou du code) sont arrivées sur le marché. Elles peuvent "imaginer" des molécules et prédire si elles fonctionneront.

Les scientifiques se sont dit : "Super ! Utilisons ces IA pour trier les 41 000 molécules et ne garder que les meilleures."

Mais comment savoir si l'IA est vraiment meilleure que les méthodes classiques ? C'est là que cette étude intervient.

📏 La Règle du Jeu : Le "Score de Découverte" (BSDS)

Avant cette étude, on jugeait les IA avec des règles un peu floues, comme regarder si elles étaient "globalement bonnes". C'est comme juger un chef cuisinier en lui demandant de préparer un banquet pour 1000 personnes, alors qu'il n'a de budget que pour 10 assiettes.

Les auteurs ont créé un nouveau système de notation, le BSDS, qui est comme un juge de paix mathématique infaillible (vérifié par des robots mathématiciens pour être sûr qu'il n'y a pas d'erreur).

Ce juge prend en compte trois choses cruciales :

1. Le Budget : Si vous ne pouvez tester que 100 molécules, le score compte combien de "vrais succès" vous avez trouvés dans ces 100-là.
2. Le Coût des Erreurs : Se tromper et tester une molécule inutile coûte cher (argent perdu). Le score pénalise sévèrement ces erreurs.
3. L'Humilité (L'Abstention) : Si l'IA ne sait pas, elle doit avoir le courage de dire "Je ne sais pas" plutôt que de deviner au hasard. Le score récompense cette prudence.

🏆 Les Résultats : La Surprise !

L'équipe a mis en compétition 39 stratégies différentes :

• Des méthodes classiques (des algorithmes simples).
• Des versions "avancées" de l'IA (avec des exemples, des raisonnements complexes).
• Des IA de pointe (comme ChatGPT, Claude, Gemini, etc.).

Le verdict est sans appel :

1. Le Vainqueur Inattendu : La méthode la plus simple, basée sur un algorithme classique (un "Random Forest" ou "Forêt Aléatoire"), a gagné haut la main. C'est comme si un vieux camion robuste battait une Ferrari dans un parcours de boue.
2. L'Échec des IA : Aucune IA, même la plus intelligente, n'a réussi à faire mieux que la méthode simple.
   • Quand l'IA essayait de tout deviner seule (sans aide), elle faisait pire que le hasard (elle trouvait des "fausses pistes").
   • Quand on lui donnait les prédictions de l'algorithme classique pour qu'elle les "améliore", elle a souvent empiré les choses. C'est comme si un expert en cuisine essayait de corriger la recette d'un chef étoilé, mais finissait par gâcher le plat.
3. Pourquoi ? Les IA sont très douées pour parler et imiter, mais elles sont encore mauvaises pour le raisonnement chimique précis nécessaire pour prédire si une molécule va tuer un virus. Elles "hallucinent" (inventent des faits) trop souvent pour ce type de tâche critique.

💡 La Leçon à Retenir

Cette étude nous apprend deux choses importantes :

• Ne pas s'emballer pour la mode : Juste parce qu'une IA est "à la mode" ne signifie pas qu'elle est meilleure pour tout. Parfois, une vieille méthode simple et éprouvée est plus fiable, surtout quand l'argent et la sécurité sont en jeu.
• L'importance de la mesure juste : Sans ce nouveau "juge de paix" (le BSDS), on aurait pu croire que les IA étaient performantes parce qu'elles semblaient bien classer les molécules en général. Mais dès qu'on regarde le budget réel et le coût des erreurs, leur faiblesse apparaît clairement.

En résumé : Pour trouver un nouveau médicament, pour l'instant, il vaut mieux faire confiance à un bon algorithme classique qu'à une IA qui essaie de deviner. L'IA n'est pas encore le "super-héros" qu'on espérait dans ce domaine précis, mais cette nouvelle méthode de mesure nous aidera à savoir exactement quand elle sera prête à nous aider.

Résumé technique

1. Problématique et Contexte

La découverte scientifique, en particulier dans des domaines coûteux comme la découverte de médicaments, repose de plus en plus sur des systèmes d'IA pour sélectionner des candidats à valider expérimentalement. Cependant, l'évaluation de ces systèmes de sélection souffre de lacunes critiques :

• Absence de cadre budgétaire : Les métriques standard (AUROC, F1, Facteurs d'enrichissement) intègrent les performances sur l'ensemble des points de fonctionnement, masquant ainsi l'efficacité réelle à un budget expérimental spécifique (ex: tester 500 molécules sur 40 000).
• Coûts asymétriques non modélisés : Un faux positif (gaspillage d'une expérience coûteuse) et un faux négatif (manquer une découverte) ont des coûts très différents, mais les métriques actuelles ne les pondèrent pas correctement.
• Le problème des LLM : Les grands modèles de langage (LLM) génèrent des propositions scientifiques plausibles, mais il n'existe pas de métrique fiable pour évaluer s'ils apportent une valeur ajoutée réelle par rapport à des modèles ML classiques déjà entraînés, surtout dans des scénarios de déploiement réalistes où l'IA doit compléter, et non remplacer, un pipeline existant.

2. Méthodologie : Le Cadre BSDS/DQS

Les auteurs introduisent un nouveau cadre d'évaluation rigoureux et formellement vérifié.

A. Les Métriques Principales

1. BSDS (Budget-Sensitive Discovery Score) : Une métrique calculée à chaque niveau de budget $B$. Elle pénalise simultanément :
   • Les fausses découvertes (FDR pondérée par $\lambda$).
   • L'abstention excessive (écart de couverture pondéré par $\gamma$).
   • Formule : $BSDS(B) = HR@B - \lambda \cdot FDR@B - \gamma \cdot (1 - Cov@B)$.
2. DQS (Discovery Quality Score) : La moyenne du BSDS sur tout le spectre des budgets. Cela empêche les stratégies de "cherry-picking" (choisir un budget spécifique pour maximiser le score).

B. Vérification Formelle

Un aspect unique de ce travail est la vérification formelle du cadre mathématique. Les 20 théorèmes fondamentaux (bornitude, monotonie, dominance de l'oracle, etc.) ont été vérifiés par l'assistant de preuve Lean 4. Cela garantit que la métrique se comporte comme prévu mathématiquement, indépendamment du comportement imprévisible des modèles d'IA évalués.

C. Étude de Cas et Configuration Expérimentale

• Données : MoleculeNet HIV (41 127 composés, 3,5% de positifs) et d'autres jeux de données (Tox21, ClinTox, etc.) pour la généralisation.
• Stratégies évaluées : 39 "proposers" (stratégies de sélection) ont été testés :
  • 2 Baselines (Aléatoire, Greedy-ML basé sur Random Forest).
  • 11 variantes mécanistiques (ablations, recherche par similarité, ensembles).
  • 28 configurations LLM (7 modèles différents en modes Zero-shot et Few-shot, avec ou sans réordonnancement des prédictions ML).
• Protocole : 1 000 répliques de bootstrap, splits aléatoires et par squelette (scaffold), et simulation de déploiement avec coûts réels.

3. Résultats Clés

L'évaluation a conduit à cinq conclusions majeures :

1. Supériorité du modèle ML simple (RF) :
   La stratégie la plus performante est le Greedy-ML (sélection des top-B par un classifieur Random Forest entraîné), avec un DQS de -0,046.

   • Toutes les variantes MLP (réseaux de neurones) et les configurations LLM ont été inférieures.
   • L'ajout de couches de réordonnancement (reranking) par des MLP ou des LLM dégrade les performances du RF au lieu de les améliorer.

2. Aucune valeur marginale des LLM :
   Aucun LLM (en mode Zero-shot ou Few-shot) n'a surpassé la baseline Greedy-ML sur les jeux de données HIV ou Tox21.

   • En mode Direct (sans prédictions ML), les LLM se comportent presque au hasard (DQS très négatif).
   • En mode Rerank (réordonnancement des prédictions RF), les LLM améliorent légèrement les scores par rapport au mode direct, mais restent nettement en dessous du RF seul. Ils ajoutent du "bruit" plutôt que du signal orthogonal.

3. Limites des représentations pré-entraînées :
   Les modèles de fondation moléculaire (ChemBERTa, MolFormer) utilisés comme extracteurs de caractéristiques pour le RF ont sous-performé par rapport aux empreintes moléculaires classiques (ECFP4), confirmant que les représentations pré-entraînées sans fine-tuning spécifique ne capturent pas mieux les signaux discriminatifs pour cette tâche.

4. Robustesse et Généralisation :

   • La hiérarchie des stratégies (Greedy-ML > Mécanistiques > LLM) se généralise à travers 5 benchmarks MoleculeNet (avec des prévalences allant de 0,18% à 46,2%) et un domaine non-pharmaceutique (sécurité des véhicules autonomes).
   • Le classement reste stable sur une grille de 63 combinaisons de paramètres de pénalité $(\lambda, \gamma)$.

5. Révélation de compromis invisibles :
   Le BSDS/DQS distingue des stratégies que les métriques classiques (AUROC, EF) ne peuvent pas différencier. Par exemple, plusieurs stratégies utilisant le même RF ont des AUROC identiques mais des DQS très différents, révélant des compromis précis entre rappel, précision et abstention.

4. Contributions Principales

1. Cadre d'évaluation formellement vérifié : Introduction du BSDS/DQS avec 20 théorèmes prouvés par machine, offrant une garantie mathématique pour l'évaluation de la sélection de candidats sous contraintes de budget.
2. Évaluation exhaustive des LLM : Une étude à grande échelle (39 stratégies, 1000 itérations) démontrant que, dans un scénario de déploiement réaliste (amélioration d'un pipeline existant), les LLM actuels n'apportent pas de valeur ajoutée pour la sélection de candidats en découverte de médicaments.
3. Analyse des compromis budgétaires : Démonstration que les métriques traditionnelles échouent à capturer les compromis réels (précision vs rappel vs coût d'abstention) que le BSDS modélise explicitement.
4. Validation transversale : Preuve que le cadre s'applique aussi bien à la pharmacologie qu'à la sécurité des véhicules autonomes, malgré des différences de features et de coûts.

5. Signification et Implications

Ce travail remet en question l'hypothèse selon laquelle les LLM sont intrinsèquement supérieurs pour la découverte scientifique. Il suggère que pour des tâches de sélection sous contraintes de ressources, un classifieur ML classique bien entraîné (comme un Random Forest) reste l'outil le plus efficace, et que l'ajout de LLM (sans fine-tuning massif ou outils spécialisés) peut même être contre-productif.

La contribution la plus durable est le cadre BSDS lui-même. Il fournit aux chercheurs et aux praticiens un outil rigoureux pour évaluer n'importe quelle stratégie de sélection (IA ou non) en tenant compte des coûts réels de l'expérimentation et des contraintes budgétaires, évitant ainsi les conclusions trompeuses basées sur des métriques agrégées.

Conclusion : Dans le contexte actuel de la découverte de médicaments, les LLM ne surpassent pas les pipelines ML existants pour la sélection de candidats. L'avenir réside probablement dans l'intégration d'outils spécialisés (RAG, docking, prédiction ADMET) et de raisonnement structuré, plutôt que dans l'utilisation brute de LLM pour le classement de molécules.