Reinforcement Learning with LLM-Guided Action Spaces for Synthesizable Lead Optimization

Probleemstelling

In de geneesmiddelenontwikkeling is lead-optimatie een kritieke fase waarbij chemici de structuren van veelbelovende moleculen iteratief aanpassen om therapeutische eigenschappen (zoals potentie, selectiviteit en farmacokinetiek) te verbeteren. Bestaande computationele benaderingen kampen echter met twee fundamentele tekortkomingen:

1. Gebrek aan synthetiseerbaarheid: Veel Reinforcement Learning (RL) en generatieve modellen maximaliseren voorspelde eigenschappen zonder rekening te houden met of het voorgestelde molecuul daadwerkelijk synthetiseerbaar is. Dit leidt tot moleculen die hoge scores behalen maar geen haalbare synthese-route hebben.
2. Inefficiëntie en validiteit: Methoden die wel synthetiseerbaarheid forceren (bijv. door enumeratie over grote reactienetwerken) zijn vaak computergewijs extreem duur. Directe toepassing van Large Language Models (LLM's) voor molecuulgeneratie resulteert daarentegen vaak in chemisch ongeldige structuren of onrealistische reacties.

Er is dus een noodzaak voor een framework dat eigenschapsverbetering combineert met garantie voor synthetische haalbaarheid, zonder de rekenkosten te exploderen.

Methodologie: MOLREACT

De auteurs introduceren MOLREACT, een framework dat lead-optimatie formuleert als een Markov Decision Process (MDP) binnen een door synthese beperkte actieruimte. Het systeem bestaat uit drie kerncomponenten:

1. Dynamische Actieruimte via Tool-Augmented LLM:

   • In plaats van een vaste zoekruimte te gebruiken, fungeert een LLM-agent (gebaseerd op Llama-3.3-70B) als een dynamisch reactie-omgeving.
   • Stap 1: Template Matching: Voor een gegeven molecuul worden eerst geldige reactietemplates (een gecureerde set van 115 templates) gevonden via substructuurmatching.
   • Stap 2: LLM-gestuurde Instantiatie: De LLM-agent analyseert het molecuul met behulp van gespecialiseerde chemische tools (zoals RDKit voor functionele groepen, reactieve plekken en BRICS-fragmenten). Op basis hiervan stelt de LLM een compacte, gerichte set van maximaal 10 chemisch onderbouwde transformaties voor, inclusief de benodigde bouwstenen.
   • Dit creëert een actieruimte $A(s_t)$ die per stap varieert, maar gegarandeerd synthetisch geldig is.

2. RL-beleidstraining met GRPO:

   • Een apart beleidsmodel (gebaseerd op Qwen-3-4B) leert welke reactie uit de door de LLM voorgestelde set de beste keuze is om de langetermijnbeloning te maximaliseren.
   • Het model wordt getraind met Group Relative Policy Optimization (GRPO). Hierbij worden meerdere trajecten (trajecten van startmolecuul tot eindmolecuul) gesimuleerd. De beloning (de eigenschapsscore van het eindmolecuul) wordt gebruikt om het beleid te updaten, met een focus op trajectory-level credit assignment (toewijzing van krediet over de hele reeks stappen).
   • Het doel is om een synthetisch pad te vinden dat leidt tot een molecuul met optimale eigenschappen.

3. Efficiëntie via SMILES-caching:

   • Om de hoge inferentiekosten van het herhaaldelijk aanroepen van de LLM tijdens de RL-exploratie te verminderen, wordt een SMILES-gebaseerde caching-mechanisme gebruikt.
   • Zodra een molecuul is geanalyseerd en de mogelijke reacties zijn gegenereerd, wordt deze informatie opgeslagen. Bij terugkeer naar hetzelfde molecuul (wat vaak voorkomt in RL) wordt de LLM-call omzeild. Dit verlaagt de totale optimalisatietijd met ongeveer 43%.

Kernbijdragen

• Nieuwe Architectuur: Een hybride aanpak die de kennis van LLM's gebruikt om een synthese-beperkte actieruimte dynamisch te construeren, terwijl een gespecialiseerd RL-beleid de sequentiële beslissingen neemt.
• Garantie voor Synthetiseerbaarheid: Elke stap in de optimalisatie is gebaseerd op gevalideerde reactietemplates, wat garandeert dat het eindresultaat een expliciete, haalbare synthese-route heeft.
• Tool-Augmented Reasoning: Integratie van chemische analyse-tools in de LLM-prompting om chemisch ongeldige voorstellen te voorkomen en de kwaliteit van de voorgestelde bouwstenen te verhogen.
• Efficiëntie: De combinatie van caching en GRPO maakt het mogelijk om complexe multi-stap optimalisaties uit te voeren binnen praktische rekenbudgetten.

Resultaten

Het framework werd getest op 14 taken, waaronder 13 eigenschapsoptimalisatietaken uit de Therapeutic Data Commons (TDC) en één op binding gebaseerde docking-taak (sEH).

• Prestaties: MOLREACT behaalde een gemiddelde Top-10 score van 0,563. Dit is een verbetering van 10,4% ten opzichte van de sterkste synthetiseerbare baseline (SynFormer, score 0,510).
• Steekproefefficiëntie: MOLREACT behaalde de beste sample-efficiëntie (gemeten via AUC10) op 10 van de 14 taken. Dit betekent dat het framework sneller convergeren naar hoge scores met minder "oracle calls" (evaluaties).
• Ablatiestudies:
  • Het gebruik van tools door de LLM verbeterde de kwaliteit van de voorgestelde reacties aanzienlijk ten opzichte van een "vanilla" LLM of willekeurige selectie.
  • Het GRPO-beleid (trajectoptimalisatie) presteerde significant beter dan greedige zoekstrategieën, wat aantoont dat het model in staat is om lokale optima te vermijden en langetermijnstrategieën te leren.
• Synthetische Haalbaarheid: Een analyse toonde aan dat 66-76% van de voorgestelde bouwstenen direct beschikbaar is bij commerciële leveranciers (Enamine catalogus). Voor de overige bouwstenen waren de synthetische toegankelijkheidsscores (SA) laag, wat aangeeft dat ze eenvoudig te synthetiseren zijn.

Beteekenis en Impact

MOLREACT vormt een belangrijke doorbraak in het veld van computationele geneesmiddelenontdekking door de kloof tussen theoretische eigenschapsoptimalisatie en praktische synthese te dichten.

• Het lost het probleem op van "onbereikbare" moleculen die vaak door generatieve AI worden geproduceerd.
• Het biedt niet alleen een geoptimaliseerd molecuul, maar ook een expliciete, template-gebaseerde synthetische route, wat direct bruikbaar is voor medische chemici.
• De methode demonstreert hoe LLM's effectief kunnen worden ingezet als dynamische omgevingen voor RL, in plaats van alleen als generatoren, wat een veelbelovende richting is voor toekomstig onderzoek in wetenschappelijke AI.

Kortom, MOLREACT levert moleculen op die niet alleen betere eigenschappen hebben, maar ook daadwerkelijk in het laboratorium kunnen worden gemaakt.