🤖 machine learning

ConRetroBert: EMA Stabilized Dual Encoders for Template-Based Single-Step Retrosynthesis

ConRetroBert est un cadre à double encodeur qui améliore la rétrosynthèse en une seule étape basée sur des modèles en la reformulant comme une tâche de recherche dense et de classement, en exploitant un pré-entraînement par contraste et une adaptation stabilisée par une moyenne mobile exponentielle pour atteindre une précision de pointe sur les benchmarks USPTO.

Auteurs originaux : Mohammad Jahid Ibna Basher, Ali Khodabandeh Yalabadi, Ivan Garibay, Ozlem Ozmen Garibay

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammad Jahid Ibna Basher, Ali Khodabandeh Yalabadi, Ivan Garibay, Ozlem Ozmen Garibay

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé tentant de recréer un plat complexe et délicieux (le Produit) simplement en observant l'assiette finale. Votre objectif est de déterminer exactement quels ingrédients (Réactifs) vous avez utilisés au départ et quelles étapes de cuisson (Modèles) vous avez suivies pour y parvenir. C'est la tâche de la rétrosynthèse en chimie : remonter d'une molécule achevée vers ses blocs de construction.

Pendant longtemps, les ordinateurs tentant de réaliser cela avaient deux approches principales :

Le Chef "Style Libre" : Devine les ingrédients à partir de zéro sans livre de recettes. C'est flexible, mais difficile d'expliquer pourquoi une hypothèse a été faite.
Le Chef "Livre de Recettes" : Consulte une règle spécifique et préétablie (un Modèle) qui dit : « Si vous avez cette forme, coupez-la ici et ajoutez cela. » C'est très clair et explicable, mais l'article soutient que ces chefs obtiennent de moins bons scores car leurs « livres de recettes » sont trop vastes et désordonnés pour être recherchés efficacement.

ConRetroBert est un nouveau système conçu pour rendre le chef du « Livre de Recettes » aussi performant que celui du « Style Libre », tout en conservant des règles claires et explicables.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Problème : La Bibliothèque de la « Queue de Distribution »

Imaginez une bibliothèque contenant des millions de fiches de recettes. La plupart du temps, vous avez besoin de l'une des 100 recettes les plus populaires (comme « Gâteau au chocolat »). Mais parfois, vous avez besoin d'une recette très rare et spécifique (comme « Soupe de mousse fermentée »).
Les anciens systèmes informatiques tentaient de choisir la bonne recette en examinant chaque fiche individuelle de la bibliothèque d'un coup et en demandant : « Est-ce celle-ci ? »

Le Problème : L'ordinateur est submergé par les cartes populaires et ignore les rares. Il perd également du temps à comparer votre plat à des recettes chimiquement impossibles.

2. La Solution : Un Moteur de Recherche en Deux Étapes

ConRetroBert change la donne. Au lieu de demander à l'ordinateur de choisir parmi toute la bibliothèque, il utilise un processus en deux étapes, comme un bibliothécaire intelligent.

Étape 1 : Le "Vibe Check" (Pré-entraînement Contrastif)
D'abord, le système apprend à comprendre l'« ambiance » d'un plat et l'« ambiance » d'une fiche de recette.

Il prend une image d'un plat et une image d'une fiche de recette et apprend à les faire correspondre.
Il crée un espace mental partagé où les plats similaires et les recettes similaires se tiennent proches les uns des autres.
Le Résultat : Lorsqu'on lui donne un nouveau plat, il peut rapidement trouver un petit tas de fiches de recettes « probables » qui correspondent à l'ambiance, en ignorant les millions qui ne correspondent pas.

Étape 2 : Le "Test de Goût" (Classement Listwise)
Maintenant, le système dispose d'un petit tas de candidats (disons 64 recettes). Il ne se contente pas de choisir la première ; il les classe soigneusement.

Il examine le tas et demande : « Laquelle de ces 64 est le meilleur ajustement ? »
Crucialement, il apprend à distinguer les recettes qui se ressemblent mais qui sont légèrement incorrectes (appelées Négatifs Durs). C'est comme un juge goûtant deux soupes très similaires et décidant laquelle est réellement la bonne.
C'est à cette étape que se produit la plus grande amélioration. Cela empêche l'ordinateur de simplement deviner la recette la plus populaire et le force à trouver la bonne pour le plat spécifique.

3. La Sauce Secrète : L'« Ombre à Mouvement Lent » (EMA)

Voici la partie délicate. Alors que l'ordinateur apprend, il veut mettre à jour sa compréhension de l'apparence d'une « fiche de recette ». Mais s'il change d'avis trop vite, le « tas de candidats » qu'il a trouvé à l'Étape 1 devient obsolète et inutile. C'est comme un bibliothécaire qui continue de déplacer les livres pendant que vous essayez encore de les trouver.

ConRetroBert résout cela avec une Ombre à Mouvement Lent (EMA) :

Imaginez que l'ordinateur possède un Bibliothécaire en Direct très actif, qui apprend vite et met à jour les classements.
Mais les Étagères de Livres (la base de données des recettes) sont gérées par un Bibliothécaire Ombre qui se déplace très lentement.
Le Bibliothécaire en Direct fait le travail difficile de classement, mais le Bibliothécaire Ombre ne met à jour les étagères qu'une fois par jour (ou une fois par « époque »).
Pourquoi cela compte : Cela maintient la recherche stable. L'ordinateur peut apprendre et s'adapter sans casser le moteur de recherche qu'il utilise pour trouver les réponses.

Les Résultats

L'article a testé cela sur un jeu de données chimique standard (USPTO-50k).

L'Ancienne Méthode : A obtenu environ 50 % de réponses correctes.
ConRetroBert Étape 1 : S'est amélioré à environ 50,5 % (juste le « vibe check »).
ConRetroBert Étape 2 : A bondi à 61,3 % simplement en ajoutant le classement par « test de goût ».
Avec le Bibliothécaire Ombre : A atteint 62,4 %.

Encore plus impressionnant, cette méthode est particulièrement bonne pour trouver des recettes rares (la « queue de distribution »). Alors que d'autres méthodes peinent avec les réactions chimiques inhabituelles, l'approche de recherche et de classement de ConRetroBert les gère beaucoup mieux.

Pourquoi Cela Compte

L'article soutient que vous n'avez pas à choisir entre précision et explicabilité.

Les modèles de style libre sont précis mais difficiles à faire confiance car vous ne savez pas pourquoi ils ont deviné ces ingrédients.
ConRetroBert est précis et transparent. Parce qu'il choisit une règle spécifique et explicite (un modèle), un chimiste humain peut examiner la sortie et dire : « Ah, je vois. Il a choisi cette règle parce qu'elle correspond à ce motif. »

En bref, ConRetroBert prouve que si vous construisez un moteur de recherche intelligent et un système de classement attentif, vous pouvez rendre l'approche du « Livre de Recettes » aussi puissante que l'approche du « Style Libre », offrant aux scientifiques le meilleur des deux mondes : une haute précision et une logique claire et inspectable.

Résumé technique de ConRetroBert

Formulation du problème
La rétrosynthèse en une étape basée sur des modèles vise à prédire des ensembles de réactifs pour un produit cible en sélectionnant et en appliquant un modèle de réaction explicite (encodé sous forme de transformation SMARTS). Bien que cette approche offre une interprétabilité et une traçabilité inhérentes — essentielles pour la planification de synthèse —, les méthodes basées sur des modèles ont historiquement été considérées comme moins performantes que les modèles sans modèle. Les auteurs soutiennent que cette limitation ne découle pas de l'utilisation des modèles eux-mêmes, mais de la formulation d'apprentissage dominante : la classification globale sur une bibliothèque à longue traîne de règles de réaction. Cette formulation crée trois problèmes : les modèles fréquents dominent la fonction de perte, le dénominateur de la fonction softmax traite les modèles non observés mais chimiquement valides comme des étiquettes négatives concurrentes (incomplétude des étiquettes), et la couche de sortie s'adapte mal aux grandes bibliothèques de modèles.

Méthodologie : ConRetroBert
L'article présente ConRetroBert, un cadre à double encodeur qui reformule la rétrosynthèse basée sur des modèles comme un problème de recherche dense et de classement plutôt que de classification globale. L'architecture utilise deux encodeurs Transformer indépendants (un pour les SMILES du produit, un pour les SMARTS du modèle) qui transforment les entrées dans un espace d'embedding partagé. Le processus d'entraînement se déroule en deux étapes :

Étape 1 : Préentraînement par contraste
Le modèle apprend un espace de représentation conjoint produit-modèle en utilisant un préentraînement par contraste symétrique (perte InfoNCE). Pour un mini-lot d'exemples appariés, l'encodeur de produit s'aligne avec son modèle correspondant, tandis que les autres exemples du lot servent de négatifs. Cela établit un espace d'embedding searchable où les modèles peuvent être récupérés par recherche du plus proche voisin.
Étape 2 : Classement listwise multi-positifs
Cette étape affine l'espace de recherche en une politique de proposition de modèles. Au lieu de classifier par rapport à l'ensemble du vocabulaire, le modèle classe un ensemble de candidats $C(x)$ pour chaque produit. Cet ensemble inclut :
- Positifs observés : Tous les modèles enregistrés avec le produit dans les données d'entraînement.
- Négatifs difficiles : Modèles chimiquement similaires récupérés à partir d'un index FAISS.
- Négatifs intra-lot : Modèles associés à d'autres produits dans le lot.
Le modèle optimise un objectif de vraisemblance négative logarithmique listwise multi-positifs, favorisant la séparation des positifs observés des négatifs difficiles chimiquement similaires. Cette formulation correspond mieux au problème de décision au moment de l'inférence, où le modèle doit choisir parmi un petit ensemble de candidats récupérés plutôt que l'ensemble de la bibliothèque.

Adaptation de modèle stabilisée par EMA
Un défi technique clé abordé est l'instabilité de l'extraction de négatifs difficiles lorsque l'encodeur de modèle est mis à jour. Si l'encodeur de modèle change trop rapidement, l'index de recherche (utilisé pour extraire les négatifs difficiles) devient obsolète. ConRetroBert résout ce problème en utilisant un mécanisme de Moyenne Mobile Exponentielle (EMA) :

Un encodeur de modèle actif est mis à jour via les gradients de la fonction de perte de classement.
Un encodeur fantôme EMA à mouvement lent (mis à jour avec $\alpha = 0,999$ ) est utilisé pour reconstruire l'index de recherche et extraire les négatifs difficiles au niveau de l'époque.
Cela permet aux représentations de modèles de s'adapter à l'objectif de classement sans déstabiliser le processus de construction des candidats.

Contributions clés

Formulation basée sur la recherche : Les auteurs reformulent la rétrosynthèse basée sur des modèles comme une recherche dense produit-modèle suivie d'un classement listwise d'ensemble de candidats, remplaçant la classification globale par un objectif aligné sur les décisions au moment de l'inférence.
Entraînement stabilisé par EMA : Ils introduisent un encodeur de modèle entraînable stabilisé par un fantôme EMA, permettant une adaptation contrôlée des représentations de modèles tout en maintenant un index de recherche stable pour l'extraction de négatifs difficiles.
Pipeline d'évaluation rigoureux : L'article fournit un protocole d'évaluation complet incluant le classement des ensembles de réactifs, l'application de modèles, la déduplication et le transfert contrôlé contre les fuites de USPTO-Full vers USPTO-50k.
Validation empirique : Grâce à des analyses locales et à longue traîne, les auteurs démontrent que le classement d'ensemble de candidats renforce considérablement la rétrosynthèse basée sur des modèles tout en conservant la traçabilité explicite des règles.

Résultats
Les expériences ont été menées sur le benchmark USPTO-50k (régime local) et via un apprentissage par transfert à partir d'un point de contrôle USPTO-Full contrôlé contre les fuites.

Performance locale sur USPTO-50k :
- Le passage de l'Étape 1 (recherche par contraste) à l'Étape 2 (classement avec encodeur de modèle figé) a amélioré la précision de réaction top-1 de 50,5 % à 61,4 %.
- L'ajout de l'adaptation de modèle stabilisée par EMA (Étape 2 EMA Mid) a encore amélioré la précision top-1 à 62,4 %.
- Le modèle a atteint des précisions top-3, top-5 et top-10 de 81,6 %, 85,3 % et 87,8 %, respectivement.
- Le gain de performance est principalement attribué à la formulation de classement d'ensemble de candidats de l'Étape 2, qui sépare mieux les positifs des négatifs difficiles que l'alignement par contraste seul.
Apprentissage par transfert :
- Le fine-tuning à partir d'un point de contrôle USPTO-Full contrôlé contre les fuites a atteint 75,4 % de précision top-1 sur USPTO-50k, démontrant l'évolutivité de l'approche avec des données de préentraînement plus importantes.
Longue traîne et fiabilité :
- La prédiction basée sur la recherche a montré une force particulière dans la longue traîne des modèles rares, surpassant le scoring basé sur la classification sur les classes rares.
- L'analyse a révélé que 42,8 % des prédictions de réactifs top-1 correctes étaient des « succès secondaires », générés par un modèle différent de l'étiquette de vérité terrain enregistrée mais chimiquement équivalent après application et déduplication. Cela souligne que le modèle apprend à récupérer des alternatives chimiquement valides, et pas seulement l'étiquette spécifique enregistrée.

Signification et revendications
L'article soutient que la rétrosynthèse basée sur des modèles n'a pas besoin de sacrifier la performance prédictive pour l'interprétabilité. En passant de la classification globale au classement basé sur la recherche avec extraction de négatifs difficiles et stabilisation par EMA, ConRetroBert remet en question l'hypothèse selon laquelle une haute précision nécessite d'abandonner les modèles de réaction explicites. Les auteurs affirment que leur méthode produit des prédictions non seulement compétitives par rapport aux modèles sans modèle et semi-modèles les plus avancés, mais qui restent également inspectables chimiquement, traçables à des règles de transformation spécifiques et compatibles avec les contraintes de planification de synthèse en aval. Le travail suggère que la « faiblesse » des méthodes basées sur des modèles est un problème de formulation soluble par des techniques modernes d'apprentissage par recherche, plutôt qu'une limitation inhérente à l'utilisation de règles explicites.