Multi-Objective Reinforcement Learning for Generating Covalent Inhibitor Candidates

Probleemstelling

Het rationeel ontwerpen van covalente remmers (inhibitoren) is een complex meerdoelprobleem. In tegenstelling tot niet-covalente remmers vereist het ontwerp niet alleen een hoge bindingsaffiniteit, maar ook een zorgvuldige integratie van de bindingsgeometrie en de elektrofiele reactiviteit van een "warhead" (reactieve groep). Deze warhead moet zich in de juiste positie bevinden om een irreversibele reactie met een nucleofiel residu in het doelwit-eiwit aan te gaan.
Conventionele virtuele screening is beperkt tot bestaande chemische bibliotheken en kan moeilijk nieuwe, niet-geëxploreerde chemische ruimtes verkennen. Er is behoefte aan generatieve modellen die kunnen sturen naar meerdere, soms tegenstrijdige doelen tegelijkertijd: synthetische toegankelijkheid, voorspelde covalente activiteit, residu-afiniteit en docking-scores, zonder vast te lopen in de trainingsverdeling.

Methodologie

De auteurs presenteren een machine learning-pijplijn die Multi-Objective Reinforcement Learning (RL) combineert met een generatief model, specifiek toegespitst op covalente drugdiscovery.

1. Generatief Model:

   • Er wordt gebruikgemaakt van een vooraf getrainde LSTM (Long Short-Term Memory) op basis van SMILES-strings, geïmplementeerd in het DrugEx-framework.
   • Het model is getraind op het grote Papyrus-dataset (1,27 miljoen unieke structuren) en dient als startpunt voor het genereren van nieuwe moleculen.

2. Scoring Functies (Beloningssysteem):
   De RL-algoritme optimaliseert de generator om een gewogen som van meerdere geschorste scores te maximaliseren. De belangrijkste scorers zijn:

   • Validiteit & Synthetische Toegankelijkheid (SA): Garandeert chemisch geldige en synthetiseerbare moleculen.
   • Covalente Activiteit: Een GCNII-classificator (Graph Convolutional Network) die de waarschijnlijkheid van covalente activiteit voorspelt.
   • Residu-Afiniteit: Een nieuw ontwikkeld GAT-model (Graph Attention Network) dat de waarschijnlijkheid voorspelt dat een molecuul reageert met specifieke residu-classes (Cys, Ser/Thr).
   • Docking Score Benadering: In plaats van tijdrovende volledige docking, worden GNN-modellen getraind om de AutoDock Vina scores te benaderen voor EGFR en ACHE.
   • Overlappings- en Similariteitscores: Om de generatie te sturen naar bekende farmacoforen (bijv. osimertinib voor EGFR, malathion voor ACHE) en quinoline-achtige scaffolds.

3. Reinforcement Learning Strategie:

   • Policy Gradient: De generator wordt geoptimaliseerd via policy gradient (volgens de methode van Šícho et al.).
   • Multi-Objective Balancing: Om de beloning te balanceren tussen concurrerende doelen, wordt Pareto Crowding Distance (PCD) toegepast. Dit zorgt ervoor dat de optimizer oplossingen prefereert die goed gespreid zijn over het Pareto-front, waardoor de populatie divers blijft en niet in lokale optima vastloopt.
   • Warhead-Tagging: Om de afstand tussen de warhead en het doelwit-residu te schatten, wordt GradCAM (Gradient-weighted Class Activation Mapping) gebruikt op het GCNII-model om de reactieve atomen te identificeren.

4. Doelwitten:
   De pijplijn is getest op twee eiwitten:

   • EGFR (Epidermal Growth Factor Receptor), targeting Cys797.
   • ACHE (Acetylcholinesterase), targeting Ser200.

Belangrijkste Resultaten

• Rediscovery van Bekende Remmers:
  De pijplijn slaagde erin om bekende covalente remmers te herontdekken uit de trainingsdata.

  • Voor EGFR: Een rediscovery rate van 0,50% (EGFR-3 model).
  • Voor ACHE: Een rediscovery rate van 0,74% (ACHE-3 model).
  • Dit gebeurde binnen runs van 10.000 gegenereerde structuren.

• Geometrische Validatie:
  Na nadere filtering en docking bleken de beste kandidaten een realistische warhead-residu-afstand te hebben:

  • EGFR: 5,5 Å (vergelijkbaar met de kristalstructuur van osimertinib op 3,35 Å).
  • ACHE: 3,2 Å (voor de carbonyl-pad).

• Ontdekking van Atypische Warheads (Kernresultaat):
  Het meest opmerkelijke resultaat is dat het systeem spontaan structuren genereerde met warhead-motieven die niet voorkwamen in de trainingsdata (ProteinReactiveDB), maar wel ondersteund worden door de literatuur:

  • Allenen: Gerapporteerd als warheads voor histidine-residuen.
  • 3-Oxo-β-sultams: Sulfonylerende elektrofielen die serine-residuen aanvallen.
  • α-Methyleen-β-lactonen: Dubbele elektrofiele warheads die met meerdere nucleofiele residu-types kunnen reageren.
    Dit bewijst dat het RL-model chemische ruimtes kan verkennen die buiten de trainingsverdeling liggen.

Bijdragen en Significantie

1. Overbrugging van de Kruis: De studie toont aan dat Multi-Objective RL effectief kan worden ingezet voor het ontwerpen van covalente remmers, waarbij zowel bindingsgeometrie als chemische reactiviteit gelijktijdig worden geoptimaliseerd.
2. Extrapolatie van Chemische Ruimte: In tegenstelling tot veel generatieve modellen die alleen interpoleren binnen de trainingsdata, demonstreert deze pijplijn het vermogen tot extrapolatie. Het genereert geldige, chemisch interessante scaffolds (zoals de genoemde atypische warheads) die niet in de dataset zaten, wat wijst op een dieper begrip van chemische regels door het model.
3. Praktische Toepasbaarheid: De combinatie van snelle GNN-benaderingen (voor docking en residu-afiniteit) met RL maakt het mogelijk om duizenden kandidaten te screenen, wat een waardevol hulpmiddel biedt voor medische chemici om de zoekruimte voor covalente geneesmiddelen te verbreden.
4. Validatie van Methodologie: De succesvolle herontdekking van bekende remmers en de correcte voorspelling van warhead-afstanden bevestigen de robuustheid van de gebruikte scorers en het RL-framework.

Conclusie:
Deze research biedt een krachtig raamwerk voor de de novo generatie van covalente inhibitor-kandidaten. Het bewijst dat AI-gestuurde generatie niet alleen bekende moleculen kan nabootsen, maar ook nieuwe, chemisch valide en potentieel effectieve warhead-scaffolds kan ontdekken die verder gaan dan de huidige kennis in trainingsdatasets.