Riepilogo Tecnico: Benefici Sinergici della Generazione Congiunta di Molecole e della Predizione delle Proprietà

Formulazione del Problema

Il documento affronta una sfida di lunga data nell'apprendimento automatico: sviluppare modelli che eccellano simultaneamente in compiti generativi e predittivi. Nel campo della progettazione di farmaci, il successo dipende dall'equilibrio tra la generazione di molecole nuove da spazi chimici inesplorati e una predizione robusta delle proprietà in grado di estrapolare a queste nuove molecole. Attualmente, la generazione di molecole e la predizione delle proprietà sono affrontate prevalentemente in modo separato. Sebbene i modelli basati su transformer siano all'avanguardia per entrambi i compiti singolarmente, l'addestramento congiunto pone sfide significative a livello architetturale e di ottimizzazione. La combinazione di parti generative e predittive in un unico modello spesso porta a una sovraregolamentazione o a interferenze dei gradienti tra gli obiettivi generativi e predittivi, causando il mancato sfruttamento dei potenziali benefici sinergici dell'apprendimento congiunto.

Metodologia: Hyformer

Per affrontare queste sfide, gli autori propongono Hyformer, un modello congiunto basato su transformer che unifica le funzionalità generative e predittive all'interno di un unico insieme di parametri condivisi.

Architettura

Hyformer combina un decoder transformer autoregressivo con un encoder transformer bidirezionale. L'innovazione centrale risiede in un meccanismo di attenzione alternata controllato da un token di attività $[TASK] \in \{[LM], [PRED], [MLM]\}$:

• Modalità Generativa ($[LM]$): Il modello agisce come decoder utilizzando una maschera di attenzione causale ($M_\rightarrow$), limitando ogni token ad attendere solo il suo contesto sinistro.
• Modalità Predittiva/Pre-addestramento ($[PRED], [MLM]$): Il modello agisce come encoder utilizzando una maschera di attenzione bidirezionale ($M_\leftrightarrow$), consentendo l'accesso completo al contesto.

Questo schema alternato allevia l'interferenza dei gradienti tipica dei modelli congiunti. Il Jacobiano della funzione softmax sotto una maschera causale altera i gradienti del modulo di attenzione in modo diverso rispetto a una maschera bidirezionale, impedendo che gli obiettivi entrino in conflitto durante gli aggiornamenti.

Strategia di Addestramento

Hyformer impiega un processo di addestramento in due fasi:

1. Pre-addestramento Congiunto: Il modello viene pre-addestrato su dati non etichettati utilizzando una funzione di perdita combinata:
   $$\ell_{Hyformer} = \ell_{LM} + \mu\ell_{MLM} + \eta\ell_{PRED}$$
   Qui, $\ell_{LM}$ è la perdita di modellazione linguistica, $\ell_{MLM}$ è la perdita di modellazione linguistica mascherata e $\ell_{PRED}$ è una perdita predittiva basata su descrittori molecolari calcolabili analiticamente (ad esempio, peso molecolare, idrofobicità). L'equilibrio tra i compiti è controllato da un vettore di probabilità di attività $p_{[TASK]}$.
2. Fine-tuning: Il modello viene affinato su compiti downstream etichettati utilizzando una perdita congiunta:
   $$\ell_{Hyformer} = \ell_{LM} + \lambda\ell_{pred}$$
   Il modello alterna compiti generativi e predittivi durante il fine-tuning in base alle probabilità di attività, omettendo la perdita di modellazione linguistica mascherata per concentrarsi sul compito downstream mantenendo al contempo le capacità generative.

Campionamento

Hyformer supporta sia il campionamento incondizionato che quello condizionato:

• Incondizionato: Campiona molecole $x \sim p_\theta(x)$ utilizzando la parte autoregressiva.
• Condizionato: Per generare molecole che soddisfano una condizione di proprietà $Y$, il modello campiona $K$ candidati da $p_\theta(x)$ e accetta quelli per cui il predittore addestrato congiuntamente $p_\theta(y|x)$ li classifica come aventi la proprietà $Y$. Questo è inquadrato come una variante del campionamento best-of-$K$, sfruttando lo spazio di rappresentazione unificato per un allineamento più stretto tra generazione e controllo.

Contributi Chiave

1. Nuovo Modello Congiunto: Introduzione di Hyformer, che unifica compiti generativi e predittivi in un unico insieme di parametri utilizzando un meccanismo di attenzione alternata.
2. Dimostrazione dei Benefici Sinergici: Evidenza empirica che mostra Hyformer supera le linee di base in:
   • Generazione condizionata di molecole.
   • Predizione di proprietà fuori distribuzione (OOD).
   • Apprendimento di rappresentazioni molecolari (tramite probing).
3. Parità di Prestazioni: Dimostrazione che Hyformer rivaleggia con le prestazioni dei modelli puramente generativi e puramente predittivi all'avanguardia, provando che l'addestramento congiunto non richiede un sacrificio delle prestazioni dei singoli compiti.
4. Applicazione nel Mondo Reale: Un caso d'uso nella scoperta di nuovi peptidi antimicrobici (AMP), che dimostra l'utilità della modellazione congiunta nella progettazione di farmaci.

Risultati Sperimentali

Generazione Condizionata di Molecole

Valutato sul dataset GuacaMol, l'Hyformer affinato congiuntamente ha raggiunto la minima Deviazione Assoluta Media (MAD) e Deviazione Standard (SD) tra le proprietà target (QED, SA, logP) mantenendo un'alta validità. Ha superato significativamente le varianti non congiunte e le linee di base come MolGPT e GraphGPT, confermando che il fine-tuning congiunto migliora la controllabilità.

Predizione di Proprietà Fuori Distribuzione (OOD)

Sul compito di Identificazione di Hit del benchmark Lo-Hi, Hyformer ha raggiunto la media AUPRC più alta su tutti i dataset (DRD2, HIV, KDR, Sol), superando le linee di base basate su impronte digitali (k-NN, GB, SVM, MLP) e i modelli di deep learning (Chemformer, Graphformer). Ciò dimostra la capacità del modello di generalizzare a scaffold molecolari non visti durante l'addestramento.

Apprendimento di Rappresentazioni

Utilizzando un nuovo protocollo di probing sul benchmark MoleculeNet, le rappresentazioni estratte da Hyformer pre-addestrato congiuntamente sono state le più predittive sia nel probing lineare che in quello KNN. Hyformer ha ottenuto le migliori prestazioni su 4 dataset su 10 per il probing lineare e su 5 dataset su 10 per il probing KNN, superando modelli predittivi all'avanguardia come Uni-Mol e altri modelli congiunti.

Generazione Incondizionata e Progettazione di AMP

• Generazione Incondizionata: Su GuacaMol e sui benchmark MOSES, Hyformer si è posizionato costantemente sul fronte di Pareto, bilanciando fedeltà distributiva (FCD, divergenza KL), validità e unicità, rivaleggiando con modelli basati su SMILES e grafici all'avanguardia.
• Progettazione di Peptidi Antimicrobici: In un compito reale di progettazione di farmaci, Hyformer ha generato peptidi con alta idoneità e probabilità AMP, superando significativamente le linee di base (PepCVAE, AMPGAN, HydrAMP, AMP-Diffusion) mantenendo al contempo una perplessità e una diversità competitive. L'analisi dell'attenzione ha rivelato che il modello ha dato priorità ad amminoacidi biologicamente rilevanti (Arginina, Lisina, Triptofano, Prolina) associati all'attività antimicrobica.

Significato e Affermazioni

Il documento afferma che Hyformer unisce con successo la generazione molecolare e la predizione delle proprietà per rappresentazioni basate su SMILES, aprendo la strada all'integrazione in pipeline reali di scoperta di farmaci. Gli autori sottolineano che i benefici sinergici dell'apprendimento congiunto — in particolare un miglior controllo sul processo generativo, la robustezza ai dati OOD e l'apprendimento di rappresentazioni predittive di alto livello — sono raggiungibili senza sacrificare le prestazioni dei singoli compiti.

Gli autori riconoscono i compromessi intrinseci, notando che i parametri condivisi possono limitare la specializzazione specifica del compito. Suggeriscono che un lavoro futuro potrebbe esplorare architetture di attenzione dinamiche o modulari per allocare la capacità in modo più flessibile. Inoltre, notano che la misura in cui questi benefici sinergici si applicano ad altre modalità, come le strutture 3D o la trascrittomica, rimane una domanda aperta. Il lavoro è presentato come un passo verso strumenti che facilitano la progettazione di nuovi potenziali farmaci, piuttosto che una soluzione per applicazioni malevole.