Résumé Technique : Optimisation Moléculaire Amortie via l'Optimisation de Politique Relative par Groupe (AMORTIX)

1. Énoncé du Problème

En découverte de médicaments, la conception moléculaire nécessite souvent de modifier une structure de départ fixe (par exemple, décoration de squelette, conception de liens) plutôt que de générer des molécules à partir de zéro. Ces tâches sont généralement évaluées à l'aide d'"oracles" coûteux (fonctions de scoring), allant de proxies heuristiques à des simulations haute fidélité comme la perturbation d'énergie libre.

Les méthodes actuelles les plus avancées suivent principalement un paradigme d'optimisation par instance. Des algorithmes tels que les Algorithmes Génétiques (Mol GA) et les modèles de diffusion discrète guidés (GenMol) effectuent une optimisation itérative basée sur la recherche pour chaque nouvelle structure d'entrée. Cette approche nécessite des milliers d'appels à l'oracle par tâche de conception, entraînant des coûts de calcul élevés qui augmentent linéairement avec le nombre de structures de départ.

Bien que l'optimisation amortie—apprendre une politique transférable pour générer des molécules optimisées en une seule passe avant sans appels à l'oracle au moment de l'inférence—offre une solution théorique, les méthodes existantes peinent dans la pratique. Elles échouent à se généraliser à des contraintes structurelles diverses ou souffrent d'instabilité lors de l'entraînement. Les auteurs identifient la cause racine comme étant l'hétérogénéité de la difficulté d'optimisation : certaines structures de départ produisent facilement des dérivés à haut score, tandis que d'autres sont chimiquement contraintes et produisent des scores modestes quelle que soit la modification. Les méthodes d'apprentissage par renforcement (RL) standard utilisant des baselines globales (par exemple, REINFORCE) ou des critiques de valeur apprises (par exemple, PPO) échouent à stabiliser l'entraînement face à cette variance, car les signaux de récompense deviennent incomparables entre différentes structures de départ.

2. Méthodologie : AMORTIX

Les auteurs proposent AMORTIX, un modèle de Transformer de graphe amorti conçu pour optimiser des structures moléculaires sous des contraintes structurelles strictes avec zéro appel à l'oracle au moment de l'inférence.

2.1 Architecture de la Politique

AMORTIX utilise un Transformer de graphe uniquement décodeur qui opère directement sur les représentations de graphes moléculaires. Le processus de génération est modélisé comme un Processus de Décision Markovien (MDP) séquentiel avec un espace d'actions hiérarchique :

1. Sélection d'Opération : Choisir d'ajouter un nouvel atome, modifier un atome existant ou terminer.
2. Sélection de Cible : Sélectionner l'atome spécifique dans le graphe actuel auquel se connecter.
3. Spécification de Liaison : Déterminer l'ordre de liaison (simple, double, triple, etc.).

Pour garantir la validité chimique, un masque de validité est appliqué à chaque étape, annulant les actions qui violeraient les règles de valence atomique. Cela garantit que toutes les structures générées sont chimiquement valides par construction. Le modèle est pré-entraîné sur la base de données ChEMBL par apprentissage supervisé avec enseignement forcé pour apprendre la plausibilité chimique avant le fine-tuning par RL.

2.2 Entraînement par Optimisation de Politique Relative par Groupe (GRPO)

L'innovation centrale réside dans l'adaptation de l'Optimisation de Politique Relative par Groupe (GRPO) au domaine moléculaire pour répondre à l'hétérogénéité des structures de départ.

• Formation de Groupes : Pour chaque étape d'entraînement, un lot de structures de départ est échantillonné. Pour chaque structure de départ $S_i$, la politique génère un groupe de $G$ trajectoires complétées (molécules).
• Avantage Relatif : Au lieu d'utiliser une baseline globale ou un critique de valeur, l'avantage $A_{i,j}$ pour une trajectoire $j$ issue de la structure $i$ est calculé en centrant sa récompense $R(O_{i,j})$ par rapport à la récompense moyenne $\mu_i$ de son groupe spécifique :
  $$A_{i,j} = R(O_{i,j}) - \mu_i, \quad \text{où } \mu_i = \frac{1}{G} \sum_{k=1}^{G} R(O_{i,k})$$
• Normalisation : Les auteurs omettent la division par l'écart-type du groupe et la normalisation par la longueur de la trajectoire. Cela empêche les structures où toutes les complétions obtiennent des scores similaires (soit trivialement faciles, soit quasi impossibles) de recevoir un poids de gradient disproportionné et évite de pénaliser les complétions concises.
• Mise à Jour : La politique est mise à jour en utilisant une seule étape de gradient par lot, agrégeant les contributions sur toutes les étapes de génération. Cette approche découple le signal d'apprentissage des variations de difficulté inter-structures.

3. Contributions Clés

1. Identification des Modes d'Échec : L'article identifie que la forte variance des signaux de récompense causée par l'hétérogénéité de la difficulté des structures moléculaires est un mode d'échec principal pour le RL amorti dans l'optimisation sous contraintes structurelles. Des études d'ablation démontrent que ni REINFORCE avec une baseline globale ni PPO avec un critique de valeur ne stabilisent efficacement l'entraînement dans ce contexte.
2. Cadre AMORTIX : Une politique basée sur un Transformer de graphe entraînée avec un RL relatif par groupe qui se généralise à des squelettes hors distribution avec zéro appel à l'oracle au moment de l'inférence.
3. Supériorité de Performance : AMORTIX surpasse les baselines d'optimisation amortie et par instance sur des tâches de décoration de squelette orientées vers un objectif, tout en nécessitant significativement moins d'appels totaux à l'oracle lors de la mise à l'échelle sur plusieurs structures de départ.

4. Résultats Expérimentaux

Les auteurs évaluent AMORTIX sur trois tâches distinctes :

4.1 Benchmark PMO (Efficacité Échantillonnaire)

Sur le benchmark PMO (22 tâches avec un budget de 10 000 appels à l'oracle), AMORTIX a été exécuté comme un optimiseur par instance (utilisant REINFORCE standard avec une baseline globale, car l'hétérogénéité des structures de départ est absente dans la génération de novo en tâche unique).

• Résultat : AMORTIX a obtenu un score AUC cumulatif top-10 de 16,433, se classant premier parmi les politiques amorties et deuxième au total parmi tous les paradigmes, juste derrière l'optimiseur par instance de diffusion discrète GenMol.

4.2 Décoration de Squelette Orientée vers un Objectif

Cette évaluation teste la généralisation à des squelettes non vus (hors distribution) pour l'optimisation à cible unique (GSK3$\beta$, JNK3) et multi-cibles (Kinase MPO).

• Configuration : Les squelettes ont été divisés par décomposition de Murcko et clustering pour garantir que les squelettes de test étaient topologiquement distincts des données d'entraînement.
• Résultats : AMORTIX a obtenu les scores les plus élevés sur les trois tâches, surpassant les baselines amorties (LibINVENT, GraphXForm, DrugEx v3) et les optimiseurs par instance (Mol GA, GenMol).
  • Kinase MPO : AMORTIX a obtenu un score de 0,619, surpassant significativement LibINVENT (0,455) et les optimiseurs par instance Mol GA (0,461) et GenMol (0,479).
  • Stabilité : Les études d'ablation ont confirmé que AMORTIX-REINFORCE et AMORTIX-PPO présentaient une instabilité sévère (écart-type élevé dans les estimations d'avantage) par rapport au stable AMORTIX-GRPO.
• Efficacité Coûts : Le budget d'entraînement fixe d'AMORTIX (~50 000 appels à l'oracle) est récupéré après le traitement d'environ 100 squelettes de test par rapport à Mol GA et 150 par rapport à GenMol. Au-delà de ce point d'équilibre, AMORTIX offre des coûts cumulés d'oracle inférieurs de plusieurs ordres de grandeur.

4.3 Étude de Cas : Transfert de Prodrogue

Le modèle a été fine-tuné sur seulement quatre médicaments exemplaires pour apprendre une règle de modification visant à améliorer la pénétration du système nerveux central via la conception de prodrogues.

• Résultat : Appliqué à 52 médicaments parents non vus, AMORTIX a généré avec succès des prodrogues structurellement propres. Il a récupéré trois motifs clivables distincts (ester alkyle, carbamate alkyle, ester benzylique) sans instruction explicite.
• Performance : 31 % des générations étaient des "pures" prodrogues (jonctions clivables uniquement) et 63 % contenaient au moins une poignée clivable, avec un gain moyen prédit de pénétration de la barrière hémato-encéphalique (BHE) de +0,26.

5. Signification et Revendications

L'article revendique qu'AMORTIX démontre que la charge computationnelle de l'optimisation moléculaire peut être efficacement déplacée de la recherche au moment de l'inférence vers l'apprentissage au moment de l'entraînement. En adaptant GRPO pour normaliser les récompenses au sein de groupes de complétions partageant la même structure de départ, la méthode stabilise l'apprentissage en présence de difficultés hétérogènes.

Les auteurs positionnent AMORTIX comme une alternative évolutive aux méthodes de recherche itérative, permettant une conception à haut débit sans le coût prohibitif des évaluations répétées d'oracles. Ils notent que bien que le processus d'entraînement reste intensif en appels à l'oracle, la nature amortie de la politique la rend hautement efficace pour les scénaires impliquant de nombreuses structures de départ.

6. Limitations

Les auteurs reconnaissent explicitement plusieurs limitations :

• Topologie 2D : Le cadre opère exclusivement sur des topologies moléculaires 2D, ne capturant pas explicitement la dynamique conformationnelle 3D ou la stéréochimie.
• Connectivité : Le masquage d'actions actuel suppose un squelette de départ unique et connecté. L'extension à des sous-graphes déconnectés (par exemple, liaison de fragments) nécessite des modifications architecturales.
• Actions Additives : Le processus de génération est restreint aux actions additives (ajout d'atomes/liaisons). Il ne prend pas en charge la suppression ou la substitution d'atomes, nécessaires pour des tâches comme le saut de squelette.
• Coût d'Entraînement : Bien que l'inférence soit peu coûteuse, le processus d'entraînement nécessite des dizaines de milliers d'appels à l'oracle, nécessitant une validation supplémentaire pour quantifier précisément le compromis d'amortissement pour des cas d'usage spécifiques.