JURY: A Comprehensive Training-Free to Fully-Supervised Framework for Evaluating Chemical Language Models

Dans la course à la découverte de nouveaux médicaments, les scientifiques sont confrontés à un goulot d'étranglement qui ralentit chaque percée : avant qu'un nouveau composé chimique ne puisse devenir un médicament, il doit passer par une série rigoureuse de contrôles de sécurité. Les chercheurs doivent savoir si le corps l'absorbera, comment il circulera dans le sang, si le foie le décomposera et s'il pourrait être toxique. Ces contrôles, connus sous le nom d'absorption, de distribution, de métabolisme, d'excrétion et de toxicité, sont coûteux et lents à réaliser en laboratoire. Pour accélérer les choses, les scientifiques se sont tournés vers l'informatique, utilisant l'intelligence artificielle pour prédire ces propriétés simplement en observant la structure d'une molécule. Pendant des années, les outils les plus performants ont été des « modèles de langage » entraînés sur des millions de formules chimiques écrites sous forme de chaînes de texte. Ces modèles apprennent à compresser une molécule complexe en une liste unique et fixe de nombres, une empreinte numérique qui capture son essence chimique. La méthode standard pour juger de la qualité de ces modèles a consisté à leur attacher un simple outil de prédiction, à entraîner cet outil sur un petit ensemble de données expérimentales, et à voir s'il devine bien la réponse. Si la supposition est bonne, le modèle obtient un score élevé.

Cependant, une nouvelle étude suggère que cette méthode standard a souvent caché une vérité cruciale. Les chercheurs ont découvert que l'outil de prédiction lui-même effectue souvent l'essentiel du travail, ce qui masque ce que le modèle sous-jacent a réellement appris. Un outil puissant peut apprendre beaucoup de choses simplement grâce aux réponses qui lui sont données, même si l'empreinte numérique qu'il lit est faible ou peu utile. Pour résoudre cela, une équipe de chercheurs allemands a développé une nouvelle façon de tester ces modèles, appelée JURY. Au lieu de s'appuyer sur un seul outil entraîné, ils ont utilisé quatre méthodes différentes pour lire les empreintes numériques des modèles. Deux de ces méthodes ne nécessitent aucun entraînement, se contentant d'observer la proximité des molécules les unes par rapport aux autres dans l'espace numérique. Les deux autres utilisent un entraînement simple, allant d'un calcul linéaire basique à un réseau restreint et flexible. En appliquant ces quatre méthodes à dix modèles chimiques différents à travers soixante-treize tests de sécurité différents, l'équipe a découvert que les modèles sont bien plus similaires les uns aux autres qu'on ne le pensait. Aucun modèle n'était le meilleur en tout. En fait, une méthode artisanale vieille de plusieurs décennies pour décrire les molécules est devenue aussi performante que les IA modernes les plus avancées dans de nombreux cas.

La découverte la plus surprenante est que les modèles ne diffèrent pas par la quantité de connaissances chimiques qu'ils détiennent, mais par la manière dont ils organisent ces connaissances. Certains modèles organisent leurs empreintes numériques de sorte que les molécules ayant des propriétés similaires se trouvent naturellement proches les unes des autres, ce qui les rend faciles à trouver sans aucun entraînement supplémentaire. D'autres modèles cachent cette même connaissance chimique d'une manière qui n'est visible qu'après qu'un prédicteur a été entraîné pour réorganiser les données. C'est comme regarder une bibliothèque où un premier bibliothécaire a déjà trié les livres par genre, tandis qu'un autre les a empilés de manière aléatoire mais sait exactement où trouver un livre spécifique si on lui pose la bonne question. L'étude a montré qu'un modèle qui excelle dans la première approche peut échouer dans la seconde, et vice versa. Cela signifie qu'un score unique ne peut pas dire si un modèle est bon ; il faut examiner son profil à travers différentes méthodes de test pour comprendre où résident ses forces.

Les chercheurs ont testé dix modèles de langage chimique différents, incluant plusieurs modèles utilisant trois familles de transformers distinctes, ainsi qu'une méthode traditionnelle artisanale connue sous le nom d'empreinte de connectivité étendue. Ils ont appliqué leurs quatre méthodes de test à soixante-treize tâches différentes, couvrant tout, de l'absorption d'un médicament à sa potentielle toxicité. En examinant les résultats, ils ont constaté que le classement des modèles changeait complètement selon la méthode de test utilisée. Un modèle qui arrivait en première place lorsqu'il était testé avec une méthode ne nécessitant aucun entraînement se retrouvait souvent en bas de la liste lorsqu'il était testé avec une méthode impliquant l'entraînement d'un prédicteur. Inversement, un modèle qui peinait sans entraînement montait en haut du classement une fois qu'un prédicteur simple était ajouté. Cette incohérence a prouvé que les modèles n'étaient pas simplement « meilleurs » ou « moins bons », mais qu'ils stockaient leurs connaissances chimiques de manières fondamentalement différentes.

Un modèle, appelé MoLFormer-XL, a démontré qu'il avait organisé son espace numérique de manière si claire que les molécules aux comportements similaires étaient déjà regroupées. Il a obtenu des performances exceptionnelles lorsque les chercheurs regardaient simplement les plus proches voisins dans l'espace numérique, sans entraîner d'outils supplémentaires. En revanche, un autre modèle, MolEncoder, a obtenu de mauvais résultats lorsque les chercheurs examinaient l'arrangement brut de l'espace. Cependant, une fois qu'un prédicteur simple a été entraîné sur ses données, MolEncoder est passé en tête du classement. Cela a montré que MolEncoder détenait la même quantité de connaissances chimiques, mais qu'elles étaient cachées dans un format nécessitant un outil entraîné pour les déverrouiller. L'étude a également révélé que la méthode traditionnelle d'empreinte artisanale, qui précède l'IA moderne, surpassait souvent les modèles les plus avancés lorsqu'aucun entraînement n'était autorisé, particulièrement pour prédire le comportement des produits chimiques dans le corps. Cela suggère que pour certaines tâches, l'ancienne façon d'organiser les données chimiques reste hautement efficace.

L'équipe a conclu que le domaine s'appuie trop sur un chiffre unique pour juger des systèmes complexes, ce qui revient à juger un musicien sur une seule chanson. Un modèle peut être excellent pour un type de prédiction mais médiocre pour un autre, selon la façon dont ses données internes sont structurées. Le nouveau cadre, JURY, remplace ce score unique par un profil détaillé qui montre comment un modèle performe à travers différents niveaux de supervision. Cela permet aux scientifiques de choisir l'outil adapté à la tâche. Si un chercheur a besoin de cribler rapidement une bibliothèque de produits chimiques sans perdre de temps à entraîner un nouvel outil, il devrait choisir un modèle qui performe bien lors des tests non entraînés. S'il dispose de beaucoup de données et souhaite entraîner un prédicteur spécifique pour une tâche à enjeux élevés, il pourrait choisir un modèle qui excelle seulement après entraînement. En comprenant où se situe la connaissance d'un modèle et comment elle est organisée, les scientifiques peuvent prendre de meilleures décisions sur les outils à utiliser, dépassant les simples classements pour atteindre une compréhension plus profonde de ce que ces intelligences artificielles ont réellement appris.