Riepilogo Tecnico: Ottimizzazione Molecolare Amortizzata tramite Ottimizzazione della Politica Relativa di Gruppo (AMORTIX)

1. Enunciato del Problema

Nella scoperta di farmaci, la progettazione molecolare richiede spesso la modifica di una struttura di partenza fissa (ad esempio, decorazione dello scaffold, progettazione del linker) piuttosto che la generazione di molecole da zero. Questi compiti sono tipicamente valutati utilizzando costosi "oracoli" (funzioni di punteggio), che vanno da proxy euristici a simulazioni ad alta fedeltà come la perturbazione dell'energia libera.

I metodi all'avanguardia attuali seguono prevalentemente un paradigma di ottimizzazione per istanza. Algoritmi come gli Algoritmi Genetici (Mol GA) e i modelli di diffusione discreta guidati (GenMol) eseguono un'ottimizzazione iterativa basata sulla ricerca per ogni nuova struttura di input. Questo approccio richiede migliaia di chiamate all'oracolo per ogni compito di progettazione, risultando in elevati costi computazionali che scalano linearmente con il numero di strutture di partenza.

Sebbene l'ottimizzazione amortizzata—imparare una politica trasferibile per generare molecole ottimizzate in un singolo passaggio in avanti senza chiamate all'oracolo durante l'inferenza—offra una soluzione teorica, i metodi esistenti faticano nella pratica. Non riescono a generalizzare a vincoli strutturali diversificati o soffrono di instabilità nell'addestramento. Gli autori identificano la causa radice come eterogeneità nella difficoltà di ottimizzazione: alcune strutture di partenza producono derivati ad alto punteggio facilmente, mentre altre sono vincolate chimicamente e producono punteggi modesti indipendentemente dalla modifica. I metodi standard di apprendimento per rinforzo (RL) che utilizzano baseline globali (ad esempio, REINFORCE) o critici di valore appresi (ad esempio, PPO) non riescono a stabilizzare l'addestramento sotto questa varianza, poiché i segnali di ricompensa diventano incomparabili tra diverse strutture di partenza.

2. Metodologia: AMORTIX

Gli autori propongono AMORTIX, un modello Graph Transformer amortizzato progettato per ottimizzare strutture molecolari sotto vincoli strutturali rigorosi con zero chiamate all'oracolo durante l'inferenza.

2.1 Architettura della Politica

AMORTIX impiega un Graph Transformer solo-decodificatore che opera direttamente sulle rappresentazioni dei grafi molecolari. Il processo di generazione è modellato come un Processo Decisionale di Markov (MDP) sequenziale con uno spazio di azioni gerarchico:

1. Selezione dell'Operazione: Scegliere di aggiungere un nuovo atomo, modificare un atomo esistente o terminare.
2. Selezione del Target: Selezionare l'atomo specifico nel grafo corrente a cui connettersi.
3. Specificazione del Legame: Determinare l'ordine del legame (singolo, doppio, triplo, ecc.).

Per garantire la validità chimica, una maschera di validità viene applicata ad ogni passo, azzerando le azioni che violerebbero le regole di valenza atomica. Questo garantisce che tutte le strutture generate siano chimicamente valide per costruzione. Il modello è pre-addestrato sul database ChEMBL tramite teacher forcing supervisionato per apprendere la plausibilità chimica prima della fine-tuning con RL.

2.2 Addestramento tramite Ottimizzazione della Politica Relativa di Gruppo (GRPO)

L'innovazione principale risiede nell'adattare l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) al dominio molecolare per affrontare l'eterogeneità delle strutture di partenza.

• Formazione del Gruppo: Per ogni passo di addestramento, viene campionata una batch di strutture di partenza. Per ogni struttura di partenza $S_i$, la politica genera un gruppo di $G$ traiettorie completate (molecole).
• Vantaggio Relativo: Invece di utilizzare una baseline globale o un critico di valore, l'avvantaggio $A_{i,j}$ per una traiettoria $j$ dalla struttura $i$ è calcolato centrando la sua ricompensa $R(O_{i,j})$ rispetto alla ricompensa media $\mu_i$ del suo gruppo specifico:
  $$A_{i,j} = R(O_{i,j}) - \mu_i, \quad \text{dove } \mu_i = \frac{1}{G} \sum_{k=1}^{G} R(O_{i,k})$$
• Normalizzazione: Gli autori omettono la divisione per la deviazione standard del gruppo e la normalizzazione per la lunghezza della traiettoria. Questo impedisce che strutture in cui tutte le completazioni ottengono punteggi simili (o trivialmente facili o quasi impossibili) ricevano un peso del gradiente sproporzionato ed evita di penalizzare completamenti concisi.
• Aggiornamento: La politica viene aggiornata utilizzando un singolo passo di gradiente per batch, aggregando i contributi attraverso tutti i passi di generazione. Questo approccio disaccoppia il segnale di apprendimento dalle variazioni di difficoltà tra le strutture.

3. Contributi Chiave

1. Identificazione delle Modalità di Fallimento: Il documento identifica che l'alta varianza nei segnali di ricompensa causata dall'eterogeneità della difficoltà delle strutture molecolari è una modalità di fallimento primaria per il RL amortizzato nell'ottimizzazione vincolata strutturalmente. Studi di ablazione dimostrano che né REINFORCE con una baseline globale né PPO con un critico di valore stabilizzano efficacemente l'addestramento in questo contesto.
2. Framework AMORTIX: Una politica basata su Graph Transformer addestrata con RL relativo al gruppo che generalizza a scaffold fuori distribuzione con zero chiamate all'oracolo durante l'inferenza.
3. Superiorità delle Prestazioni: AMORTIX supera sia le baseline di ottimizzazione amortizzata che quelle per istanza nei compiti di decorazione dello scaffold orientati agli obiettivi, richiedendo significativamente meno chiamate totali all'oracolo quando si scala a più strutture di partenza.

4. Risultati Sperimentali

Gli autori valutano AMORTIX su tre compiti distinti:

4.1 Benchmark PMO (Efficienza del Campione)

Sul benchmark PMO (22 compiti con un budget di 10.000 chiamate all'oracolo), AMORTIX è stato eseguito come ottimizzatore per istanza (utilizzando REINFORCE standard con una baseline globale, poiché l'eterogeneità della struttura di partenza è assente nella generazione de-novo a singolo compito).

• Risultato: AMORTIX ha ottenuto un punteggio AUC cumulativo top-10 di 16.433, classificandosi primo tra le politiche amortizzate e secondo in assoluto tra tutti i paradigmi, preceduto solo dall'ottimizzatore per istanza a diffusione discreta GenMol.

4.2 Decorazione dello Scaffold Orientata agli Obiettivi

Questa valutazione testa la generalizzazione a scaffold non visti (fuori distribuzione) per l'ottimizzazione a singolo target (GSK3$\beta$, JNK3) e multi-target (Kinase MPO).

• Configurazione: Gli scaffold sono stati divisi tramite decomposizione di Murcko e clustering per garantire che gli scaffold di test fossero topologicamente distinti dai dati di addestramento.
• Risultati: AMORTIX ha ottenuto i punteggi più alti su tutti e tre i compiti, superando le baseline amortizzate (LibINVENT, GraphXForm, DrugEx v3) e gli ottimizzatori per istanza (Mol GA, GenMol).
  • Kinase MPO: AMORTIX ha ottenuto 0.619, superando significativamente LibINVENT (0.455) e gli ottimizzatori per istanza Mol GA (0.461) e GenMol (0.479).
  • Stabilità: Gli studi di ablazione hanno confermato che AMORTIX-REINFORCE e AMORTIX-PPO hanno mostrato grave instabilità (alta deviazione standard nelle stime dell'avvantaggio) rispetto al stabile AMORTIX-GRPO.
• Efficienza dei Costi: Il budget di addestramento fisso di AMORTIX (~50.000 chiamate all'oracolo) viene recuperato dopo aver elaborato circa 100 scaffold di test rispetto a Mol GA e 150 rispetto a GenMol. Oltre questo punto di pareggio, AMORTIX offre costi cumulativi dell'oracolo inferiori di ordini di grandezza.

4.3 Studio di Caso: Trasferimento di Prodrug

Il modello è stato fine-tuned su solo quattro farmaci esemplari per apprendere una regola di modifica per migliorare la penetrazione nel SNC tramite la progettazione di prodrug.

• Risultato: Applicato a 52 farmaci genitori non visti, AMORTIX ha generato con successo prodrug strutturalmente puliti. Ha recuperato tre motivi clivabili distinti (estere alchilico, carbammato alchilico, estere benzilico) senza istruzioni esplicite.
• Prestazioni: Il 31% delle generazioni sono state prodrug "puri" (solo giunzioni clivabili) e il 63% conteneva almeno un maniglia clivabile, con un aumento medio previsto della penetrazione della barriera emato-encefalica (BBB) di +0.26.

5. Significato e Affermazioni

Il documento afferma che AMORTIX dimostra che il carico computazionale dell'ottimizzazione molecolare può essere efficacemente spostato dalla ricerca durante l'inferenza all'apprendimento durante l'addestramento. Adattando GRPO per normalizzare le ricompense all'interno di gruppi di completamenti che condividono la stessa struttura di partenza, il metodo stabilizza l'apprendimento in presenza di difficoltà eterogenea.

Gli autori posizionano AMORTIX come un'alternativa scalabile ai metodi di ricerca iterativa, consentendo la progettazione ad alto rendimento senza il costo proibitivo di valutazioni ripetute dell'oracolo. Osservano che, sebbene il processo di addestramento rimanga intensivo per l'oracolo, la natura amortizzata della politica la rende altamente efficiente per scenari che coinvolgono molte strutture di partenza.

6. Limitazioni

Gli autori riconoscono esplicitamente diverse limitazioni:

• Topologia 2D: Il framework opera esclusivamente su topologie molecolari 2D, non catturando esplicitamente la dinamica conformazionale 3D o la stereochimica.
• Connettività: L'attuale mascheramento delle azioni assume uno scaffold di partenza singolo e connesso. L'estensione a sottografi sconnessi (ad esempio, collegamento di frammenti) richiede modifiche architetturali.
• Azioni Additive: Il processo di generazione è limitato ad azioni additive (aggiunta di atomi/legami). Non supporta la cancellazione o la sostituzione di atomi, necessarie per compiti come lo scaffold hopping.
• Costo di Addestramento: Sebbene l'inferenza sia economica, il processo di addestramento richiede decine di migliaia di chiamate all'oracolo, rendendo necessaria un'ulteriore validazione per quantificare precisamente il compromesso dell'amortizzazione per casi d'uso specifici.