🤖 AI

PGFS++: Molecular Property Improvement under Synthesis and Diversity Constraints

Ce document présente PGFS++, un cadre d'apprentissage par renforcement sensible à la synthèse qui améliore les propriétés moléculaires tout en préservant la diversité des sorties et en fournissant des voies de synthèse explicites en s'attaquant aux limitations de sélection des réactifs et au détournement de récompense provoquant l'effondrement de la diversité observés dans son prédécesseur, PGFS+.

Auteurs originaux : Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

Publié 2026-08-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Aux premiers stades de la création de nouveaux médicaments, les scientifiques sont confrontés à un équilibre constant. Ils doivent concevoir des molécules suffisamment puissantes pour combattre la maladie, mais ils doivent également s'assurer que ces molécules peuvent réellement être construites dans un laboratoire. Pendant des années, l'intelligence artificielle a aidé à générer de nouvelles structures moléculaires, en les optimisant souvent pour des traits spécifiques, comme leur capacité à se lier à un virus ou leur innocuité pour le corps humain. Cependant, un fossé important persistait : beaucoup de ces conceptions générées par ordinateur sont chimiquement valides sur papier, mais impossibles à fabriquer avec les outils et les ingrédients disponibles dans les laboratoires du monde réel. Pour combler ce fossé, les chercheurs se sont tournés vers une méthode appelée synthèse directe (forward synthesis), qui traite la création de médicaments comme un projet de construction étape par étape, en partant d'une molécule connue et en ajoutant des pièces une par une à l'aide de réactions chimiques établies. L'objectif est de guider l'ordinateur non pas seulement vers une meilleure molécule, mais vers une meilleure molécule accompagnée d'un manuel d'instructions clair et réalisable sur la façon de la construire.

Une équipe de chercheurs de l'Université de Cambridge et de Graphcore a développé un nouveau système appelé PGFS++ pour résoudre un problème spécifique apparu lors de la tentative d'automatisation de ce processus. Leur travail s'appuie sur une méthode antérieure connue sous le nom de PGFS, qui utilisait un type d'apprentissage par intelligence artificielle appelé apprentissage par renforcement. Dans cette configuration, l'ordinateur agit comme un agent qui tente d'améliorer une molécule de départ en sélectionnant des réactions chimiques et des blocs de construction. La version précédente de ce système, une mise à niveau qu'ils ont appelée PGFS+, fonctionnait bien pour trouver des molécules aux propriétés améliorées, mais elle souffrait d'un défaut étrange. Le système devenait trop efficace pour trouver une solution unique et hautement gratifiante. Au lieu de créer une grande variété de versions améliorées pour différents matériaux de départ, il canalisait des centaines de molécules d'entrée différentes vers le même produit final. Les chercheurs appellent cela l'effet « aimant », où le système est attiré vers un résultat unique à score élevé, provoquant l'effondrement de la diversité des résultats et rendant l'outil inutile pour créer des améliorations sur mesure pour des médicaments spécifiques.

Pour corriger cela, l'équipe a introduit PGFS++, un cadre raffiné qui force l'ordinateur à maintenir la connexion entre le matériau de départ et le résultat final. Le système fonctionne toujours en sélectionant des modèles de réaction et des blocs de construction compatibles à partir d'une immense bibliothèque de plus de 118 000 ingrédients chimiques disponibles. Il utilise une carte précalculée pour identifier rapidement quels blocs de construction peuvent légalement réagir avec une partie spécifique de la molécule, réduisant ainsi des millions de possibilités à une liste gérable. L'innovation clé réside dans la manière dont le système se récompense lui-même. Dans la version précédente, l'ordinateur n'était récompensé que si la molécule finale présentait de meilleures propriétés, ce qui l'encourageait à ignorer totalement le point de départ. Dans PGFS++, le système de récompense inclut un bonus pour le maintien de la similitude structurelle avec l'entrée originale. Cela signifie que l'ordinateur est pénalisé s'il s'éloigne trop de la molécule de départ, garantissant que les améliorations sont spécifiques à ce candidat médicament particulier plutôt qu'une solution générique et universelle.

Les résultats de cette nouvelle approche ont été testés sur deux mesures courantes de la qualité d'un médicament : un score pour la dimension « médicament » d'une molécule et un score pour sa facilité de synthèse. Lorsque les chercheurs ont lancé des simulations avec des milliers de molécules de départ différentes, le nouveau système a réussi à améliorer les propriétés cibles tout en préservant la diversité des résultats. Contrairement à la version antérieure, qui produisait des molécules presque identiques pour presque chaque entrée, PGFS++ a généré une large gamme de structures uniques et améliorées. Le système a également maintenu des scores élevés pour l'accessibilité synthétique, ce qui signifie que les voies qu'il a trouvées étaient pratiques pour les chimistes. En empênant l'effondrement vers une solution unique de type « aimant », les chercheurs ont démontré qu'il est possible d'optimiser les candidats médicaments pour des besoins spécifiques sans sacrifier la variété nécessaire à l'exploration de différentes possibilités chimiques. Ce travail suggère que les futurs outils de découverte de médicaments peuvent être à la fois hautement efficaces pour améliorer les propriétés moléculaires et respectueux des points de départ uniques qui définissent la recherche réelle.

Résumé technique : PGFS++ pour l'amélioration des propriétés moléculaires

Énoncé du problème

Dans les premières étapes de la découverte de médicaments, l'amélioration des propriétés moléculaires (par exemple, la drug-likeness ou l'affinité de liaison) est critique. Cependant, les molécules optimisées dans un espace chimique non contraint peuvent manquer de valeur pratique si elles ne sont pas synthétisables. Bien que les méthodes d'apprentissage par renforcement (RL) comme PGFS (Policy Gradient for Forward Synthesis) traitent cela en contraignant la recherche à des voies de synthèse accessibles, elles souffrent de limitations spécifiques :

Sélection indirecte des réactifs : PGFS utilise un réseau de neurones pour prédire un embedding continu pour le second réactif ( $R_2$ ), suivi d'une recherche de plus proches voisins pour récupérer une molécule discrète. Cela crée un décalage entre l'action continue optimisée et la réaction discrète exécutée, ce qui peut limiter l'efficacité de l'apprentissage.
Le mode de défaillance de l'« output aimant » (Magnet Output) : Même les variantes améliorées (comme le PGFS+ proposé) peuvent voir leur diversité de sortie s'effondrer. La politique apprend à mapper des molécules d'entrée diverses vers une unique molécule « aimant » à haut rendement. Bien que cela maximise le score de la propriété cible (ex: QED), cela détruit la diversité des sorties et échoue à réaliser une amélioration moléculaire spécifique à l'entrée.

Méthodologie

Le papier propose PGFS++, un cadre de RL conscient de la synthèse conçu pour améliorer les propriétés moléculaires tout en préservant la diversité et en garantissant des voies de synthèse explicites.

1. Espace d'action amélioré et scoring (PGFS+)

Pour traiter les limitations de PGFS, les auteurs ont d'abord développé PGFS+ :

Embeddings appris : Au lieu de prédire des embeddings continus, PGFS+ utilise des tables de recherche d'embeddings entraînables pour les modèles de réaction (templates) et les seconds réactifs ( $R_2$ ).
Scoring global direct : Les molécules et les templates sont projetés dans un espace de réaction appris. Un vecteur de requête $q = \text{concat}(\phi_1(R_1), \phi_T(T))$ est utilisé pour scorer directement tous les candidats $R_2$ compatibles avec le template via un mécanisme de type attention.
Changement d'algorithme : L'algorithme à action continue (TD3) est remplacé par PPO (Proximal Policy Optimization), qui supporte naturellement une politique catégorielle sur l'espace d'action indexé de $R_2$ .
Masques pré-calculés : Pour gérer le vaste espace d'action, les auteurs pré-calculent des masques de compatibilité en utilisant la correspondance de sous-structures RDKit, réduisant l'ensemble des candidats à une taille traitable (médiane d'environ 1 000 candidats par template).

2. Atténuation de l'effondrement de la diversité (PGFS++)

Pour résoudre le problème de l'« output aimant » où des entrées diverses sont mappées vers des sorties identiques à haut rendement, PGFS++ introduit un Bonus de similitude Entrée-Sortie dans la fonction de récompense.

Shaping de la récompense : La récompense de l'épisode $r_{episode}$ est modifiée pour inclure un terme basé sur la similitude de Tanimoto entre les molécules d'entrée ( $m_{in}$ ) et de sortie ( $m_{out}$ ) :
$r_{episode} = r_{property}(m_{out}) \cdot (1 + c \cdot \text{sim}(m_{in}, m_{out}))$
Plafonnement de la récompense : Si la similitude tombe en dessous d'un seuil $\tau$ , la récompense est plafonnée pour empêcher la politique d'ignorer totalement la structure d'entrée.
Justification théorique : Les auteurs démontrent que sans cette contrainte, la politique induit un « biais d'édition vers l'intérieur » (covariance négative entre l'entrée et le déplacement de l'édition), menant à un effondrement de la diversité ( $D_{out} \to 0$ ). Le bonus de similitude resserre la limite supérieure de la chute de diversité, encourageant le modèle à produire des améliorations spécifiques à l'entrée plutôt qu'à converger vers une seule molécule aimant.

Contributions clés

Cadre PGFS++ : Un cadre de RL contraint par la synthèse qui étend PGFS en utilisant des espaces d'action discrets, des masques de compatibilité pré-calculés et un scoring basé sur l'attention globale pour la sélection des réactifs.
Identification de l'Output Aimant : Le papier identifie et caractérise un mode de défaillance spécifique dans l'amélioration moléculaire sensible à la synthèse, où des scores de propriétés élevés sont obtenus au détriment de la diversité des sorties.
Bonus de similitude Entrée-Sortie : La proposition d'un bonus de similitude multiplicatif comme mécanisme efficace pour résoudre l'effondrement de la diversité, garantissant que le modèle réalise des améliorations spécifiques à l'entrée tout en maintenant une haute diversité de sortie.

Résultats expérimentaux

Le cadre a été évalué sur un ensemble de données d'environ 118 000 molécules et 102 modèles de réaction, en se concentrant sur l'amélioration de la QED (Quantitative Estimate of Drug-likeness) et de la SEH (Synthetic Accessibility/Health).

Performance vs Baselines : PGFS++ a systématiquement surpassé PGFS et ses variantes (PGFS-TAC, PGFS-MB) tant en termes d'amélioration de propriété que de métriques de diversité. Il a obtenu des performances compétitives avec REINVENT4 (un modèle génératif) et SynFlowNet (une méthode basée sur GFlowNet), avec l'avantage distinct de fournir des voies de synthèse explicites.
Préservation de la diversité : Contrairement à PGFS+, qui a subi un effondrement de la diversité (produisant la même sortie pour ~97,8 % des entrées de test), PGFS++ a maintenu une haute diversité de sortie tout en atteignant un QED moyen élevé.
Études d'ablation : Les comparaisons entre les bonus de similitude additifs et multiplicatifs ont montré que la forme multiplicative (utilisée dans PGFS++) préserve mieux la propriété cible (QED) tout en atténuant efficacement le problème de l'output aimant.
Métriques : Le cadre a démontré une performance supérieure en matière de RAS (Route-Aware Synthesizability), de similitude entrée-sortie et de diversité structurelle par rapport aux baselines qui ignorent les contraintes de synthèse ou qui souffrent d'un effondrement de la diversité.

Signification et affirmations

Le papier affirme que PGFS++ représente une étape significative vers l'amélioration moléculaire spécifique à l'entrée. En traitant la molécule d'entrée comme le début d'une trajectoire de synthèse directe et en imposant une similitude structurelle, le cadre évite le comportement de « reward hacking » où les modèles optimisent pour un maximum global au détriment de la diversité.

Les auteurs soulignent que, tandis que les méthodes précédentes ignoraient soit les contraintes de synthèse, soit la maintenance de la diversité, PGFS++ parvient à équilibrer trois objectifs concurrents :

Amélioration des propriétés : Maximiser les métriques cibles comme la QED.
Faisabilité de synthèse : Fournir des voies de synthèse explicites et valides.
Diversité : Garantir que les molécules de sortie sont structurellement diverses et spécifiques à leurs entrées, plutôt que de converger vers une solution unique de type « aimant ».

Ce travail suggère que pour la découverte de médicaments pratique, où le maintien d'un scaffold ou de caractéristiques structurelles spécifiques d'un composé chef de file est souvent requis, les méthodes sensibles à la synthèse doivent explicitement pénaliser la perte de relation entrée-sortie pour être efficaces.