Technische Samenvatting: Geamortiseerde Moleculaire Optimalisatie via Groepsrelatieve Beleidsoptimalisatie (AMORTIX)

1. Probleemstelling

Bij de ontdekking van geneesmiddelen vereist moleculair ontwerp vaak het aanpassen van een vaste startstructuur (bijvoorbeeld decoratie van een skelet of ontwerp van een linker) in plaats van het genereren van moleculen vanaf nul. Deze taken worden doorgaans geëvalueerd met behulp van kostbare "orakels" (scorefuncties), variërend van heuristische proxies tot hoogwaardige simulaties zoals vrije-energierelatie.

Huidige state-of-the-art-methoden volgen voornamelijk een paradigma van instantie-optimalisatie. Algoritmen zoals genetische algoritmen (Mol GA) en begeleide discrete diffusiemodellen (GenMol) voeren voor elke nieuwe invoerstructuur een iteratieve, zoekgebaseerde optimalisatie uit. Deze aanpak vereist duizenden orakeloproepen per ontwerptaken, wat resulteert in hoge rekenkosten die lineair schalen met het aantal startstructuren.

Hoewel geamortiseerde optimalisatie—het leren van een overdraagbaar beleid om geoptimaliseerde moleculen in één forward pass te genereren zonder orakeloproepen tijdens de inferentie—een theoretische oplossing biedt, worstelen bestaande methoden in de praktijk. Ze falen in het generaliseren naar diverse structurele beperkingen of lijden aan trainingsinstabiliteit. De auteurs identificeren de oorzaak als heterogeniteit in optimalisatiemoeilijkheid: sommige startstructuren leveren gemakkelijk hoge scores op bij afgeleiden, terwijl andere chemisch beperkt zijn en ongeacht de modificatie bescheiden scores opleveren. Standaard versterkingsleer (RL)-methoden met globale baselines (bijvoorbeeld REINFORCE) of geleerde waardecritici (bijvoorbeeld PPO) falen in het stabiliseren van training onder deze variantie, aangezien de beloningssignalen niet vergelijkbaar worden tussen verschillende startstructuren.

2. Methodologie: AMORTIX

De auteurs stellen AMORTIX voor, een geamortiseerd Graph Transformer-model dat is ontworpen om moleculaire structuren te optimaliseren onder strikte structurele beperkingen met nul orakeloproepen tijdens de inferentie.

2.1 Beleidarchitectuur

AMORTIX maakt gebruik van een decoder-only Graph Transformer die direct werkt op moleculaire grafische representaties. Het generatieproces wordt gemodelleerd als een sequentieel Markov-besluitproces (MDP) met een hiërarchische actieruimte:

1. Operatie-selectie: Kies om een nieuw atoom toe te voegen, een bestaand atoom te modificeren, of te beëindigen.
2. Doelselectie: Selecteer het specifieke atoom in de huidige grafiek waaraan verbonden moet worden.
3. Bindingsspecificatie: Bepaal de bindingsorde (enkel, dubbel, drievoudig, enzovoort).

Om chemische geldigheid te waarborgen, wordt op elke stap een geldigheidsmasker toegepast, waarbij acties die atomaire valentie-regels zouden schenden, worden geneutraliseerd. Dit garandeert dat alle gegenereerde structuren bij constructie chemisch geldig zijn. Het model wordt vooraf getraind op de ChEMBL-database via toezicht met teacher forcing om chemische plausibiliteit te leren voordat RL-finetuning plaatsvindt.

2.2 Training via Groepsrelatieve Beleidsoptimalisatie (GRPO)

De kerninnovatie ligt in het aanpassen van Groepsrelatieve Beleidsoptimalisatie (GRPO) aan het moleculaire domein om de heterogeniteit van startstructuren aan te pakken.

• Groepsvorming: Voor elke trainingsstap wordt een batch van startstructuren bemonsterd. Voor elke startstructuur $S_i$ genereert het beleid een groep van $G$ voltooide trajecten (moleculen).
• Relatief Voordeel: In plaats van een globale baseline of een waardecriticus te gebruiken, wordt het voordeel $A_{i,j}$ voor een traject $j$ van structuur $i$ berekend door de beloning $R(O_{i,j})$ te centreren ten opzichte van de gemiddelde beloning $\mu_i$ van zijn specifieke groep:
  $$A_{i,j} = R(O_{i,j}) - \mu_i, \quad \text{waarbij } \mu_i = \frac{1}{G} \sum_{k=1}^{G} R(O_{i,k})$$
• Normalisatie: De auteurs laten de deling door de groepstandaardafwijking en de normalisatie van de trajectlengte achterwege. Dit voorkomt dat structuren waarbij alle voltooilingen vergelijkbaar scoren (ofwel triviaal makkelijk of bijna onmogelijk) een disproportioneel grote gradiëntgewicht krijgen en voorkomt het straffen van beknopte voltooilingen.
• Update: Het beleid wordt bijgewerkt met één gradiëntstap per batch, waarbij bijdragen over alle generatiestappen worden geaggregeerd. Deze aanpak ontkoppelt het leersignaal van variaties in moeilijkheid tussen structuren.

3. Belangrijkste Bijdragen

1. Identificatie van Falingsmodi: Het artikel identificeert dat hoge variantie in beloningssignalen veroorzaakt door heterogene moeilijkheidsgraden van moleculaire structuren een primaire falingsmodus is voor geamortiseerde RL in structureel beperkte optimalisatie. Ablatiestudies tonen aan dat noch REINFORCE met een globale baseline, noch PPO met een waardecriticus de training in deze setting effectief stabiliseert.
2. AMORTIX-raamwerk: Een op Graph Transformer gebaseerd beleid dat is getraind met groepsrelatieve RL en generaliseert naar scaffolds buiten de verdeling met nul orakeloproepen tijdens de inferentie.
3. Superieure Prestaties: AMORTIX presteert beter dan zowel geamortiseerde als instantie-optimalisatie-baselines bij doorgestuurde taken voor het decoreren van scaffolds, terwijl het aanzienlijk minder totale orakeloproepen vereist bij schaling naar meerdere startstructuren.

4. Experimentele Resultaten

De auteurs evalueren AMORTIX op drie distincte taken:

4.1 PMO-benchmark (Stalefficiëntie)

Op de PMO-benchmark (22 taken met een budget van 10.000 orakeloproepen) werd AMORTIX uitgevoerd als instantie-optimizer (met standaard REINFORCE en een globale baseline, aangezien heterogeniteit van startstructuren afwezig is bij single-task de-novo-generatie).

• Resultaat: AMORTIX behaalde een cumulatieve top-10 AUC-score van 16,433, wat eerste plaats opleverde onder geamortiseerde beleidslijnen en tweede overall over alle paradigma's, slechts achtervolgd door de discrete diffusie-instantie-optimizer GenMol.

4.2 Doorgestuurde Scaffolddisdecoratie

Deze evaluatie test generalisatie naar onbekende scaffolds (buiten de verdeling) voor single-target (GSK3$\beta$, JNK3) en multi-target (Kinase MPO) optimalisatie.

• Opzet: Scaffolds werden gesplitst via Murcko-decompositie en clustering om ervoor te zorgen dat testscaffolds topologisch onderscheiden waren van de trainingsdata.
• Resultaten: AMORTIX behaalde de hoogste scores op alle drie de taken, presterend beter dan geamortiseerde baselines (LibINVENT, GraphXForm, DrugEx v3) en instantie-optimizers (Mol GA, GenMol).
  • Kinase MPO: AMORTIX scoorde 0,619, aanzienlijk beter dan LibINVENT (0,455) en instantie-optimizers Mol GA (0,461) en GenMol (0,479).
  • Stabiliteit: Ablatiestudies bevestigden dat AMORTIX-REINFORCE en AMORTIX-PPO ernstige instabiliteit vertoonden (hoge standaardafwijking in voordeelschattingen) in vergelijking met de stabiele AMORTIX-GRPO.
• Kostenefficiëntie: Het vaste trainingsbudget van AMORTIX (~50.000 orakeloproepen) wordt terugverdiend na het verwerken van ongeveer 100 testscaffolds ten opzichte van Mol GA en 150 ten opzichte van GenMol. Voorbij dit break-evenpunt biedt AMORTIX cumulatieve orakelkosten die een orde van grootte lager liggen.

4.3 Casestudie: Prodrug-overdracht

Het model werd gefinetuned op slechts vier voorbeeldgeneesmiddelen om een modificatieregel te leren voor het verbeteren van CNS-penetratie via prodrugontwerp.

• Resultaat: Toegepast op 52 onbekende oudergeneesmiddelen, genereerde AMORTIX succesvol structureel schone prodrugs. Het herstelde drie verschillende afbreekbare motieven (alkylester, alkylcarbaamaat, benzylester) zonder expliciete instructie.
• Prestaties: 31% van de generaties waren "pure" prodrugs (uitsluitend afbreekbare verbindingen), en 63% bevatte ten minste één afbreekbaar handvat, met een gemiddelde voorspelde bloed-hersenbarrière (BBB)-penetratieverhoging van +0,26.

5. Betekenis en Claims

Het artikel stelt dat AMORTIX aantoont dat de rekenlast van moleculaire optimalisatie effectief kan worden verschoven van zoekopdrachten tijdens de inferentie naar leren tijdens de training. Door GRPO aan te passen om beloningen te normaliseren binnen groepen voltooilingen die dezelfde startstructuur delen, stabiliseert de methode het leren in aanwezigheid van heterogene moeilijkheid.

De auteurs positioneren AMORTIX als een schaalbaar alternatief voor iteratieve zoekmethoden, waardoor high-throughput ontwerp mogelijk wordt zonder de verbodsdrempel van herhaalde orakel-evaluaties. Zij merken op dat hoewel het trainingsproces orakel-intensief blijft, het geamortiseerde karakter van het beleid het zeer efficiënt maakt voor scenario's met veel startstructuren.

6. Beperkingen

De auteurs erkennen expliciet enkele beperkingen:

• 2D-topologie: Het raamwerk werkt uitsluitend op 2D-moleculaire topologieën en vangt geen 3D-conformatiedynamica of stereochemie expliciet op.
• Connectiviteit: De huidige actiemaskering gaat uit van één enkele, verbonden start-scaffold. Uitbreiding naar onverbonden subgrafieken (bijvoorbeeld fragmentkoppeling) vereist architecturale aanpassingen.
• Additieve acties: Het generatieproces is beperkt tot additieve acties (atomen/bindingen toevoegen). Het ondersteunt geen atoomverwijderingen of substituties, die noodzakelijk zijn voor taken zoals scaffold-hopping.
• Trainingskosten: Hoewel inferentie goedkoop is, vereist het trainingsproces tienduizenden orakeloproepen, wat verdere validatie noodzakelijk maakt om de amortisatie-trade-off voor specifieke use-cases nauwkeurig te kwantificeren.