Sintesi Tecnica: Una Valutazione Sistematica delle Rappresentazioni dei Modelli di Co-piegamento per l'Apprendimento di Molecole Piccole

Enunciato del Problema

I modelli fondazionali per molecole piccole sono tipicamente preaddestrati su dati molecolari autonomi, apprendendo rappresentazioni basate su molecole isolate associate a supervisione a livello di molecola (ad esempio, etichette di saggi biologici, proprietà chimico-fisiche). Ciò contrasta con i domini della visione e del linguaggio, dove forti rappresentazioni emergono spesso da supervisione cross-modale o relazionale. Sebbene le strutture di co-piegamento proteina-legante forniscano un analogo molecolare a tale supervisione relazionale, esponendo i modelli a interazioni a livello atomico (ad esempio, legami idrogeno, forze elettrostatiche) all'interno di un contesto legato, non è ancora chiaro se i modelli di co-piegamento possano produrre rappresentazioni robuste e trasferibili per compiti di molecole piccole autonome. Inoltre, l'utilità più ampia dei moderni modelli di co-piegamento (come AlphaFold3 e Boltz) è oggetto di dibattito, con alcuni che suggeriscono che si basino pesantemente su pattern evolutivi piuttosto che su una genuina comprensione a livello atomico. Questo articolo mira a valutare sistematicamente se il riutilizzo di un moderno modello di co-piegamento per l'apprendimento di rappresentazioni di molecole piccole sia fattibile ed efficace.

Metodologia

Gli autori investigano Boltz2, un moderno modello di co-piegamento da 1 miliardo di parametri progettato per la previsione della struttura proteina-legante, come fonte di rappresentazioni a livello atomico per molecole piccole. La metodologia principale prevede l'estrazione di rappresentazioni dei leganti da Boltz2 (omettendo gli input proteici per compiti autonomi) e la valutazione della loro trasferibilità attraverso tre distinti domini a valle:

1. Trasferimento Predittivo (ADMET): Gli autori applicano il "probing" per valutare le rappresentazioni a livello atomico di Boltz2 sul benchmark ADMET del Therapeutics Data Commons (TDC). Estraggono rappresentazioni di coppie da specifici livelli ({16, 32, 48, 64}) del tronco Pairformer a 64 livelli, applicano una strategia di pooling ibrida (concatenando voci diagonali, legate e tutte le voci) e immettono il vettore aggregato in un Perceptron Multistrato (MLP) per la previsione delle proprietà. Confrontano questi risultati con modelli fondazionali specializzati (MolE, MiniMol, KPGT, QIP, UniMol2, MolGPS, UniQSAR).
2. Trasferimento Generativo: Gli autori impiegano la distillazione basata sull'allineamento delle rappresentazioni per trasferire le rappresentazioni di Boltz2 in modelli generativi molecolari all'avanguardia (in particolare GruM). Addestrano il modello generativo per massimizzare la similarità coseno tra le sue rappresentazioni nascoste di molecole rumorose e le corrispondenti rappresentazioni pulite provenienti da Boltz2. Ciò viene valutato sul dataset ZINC250k utilizzando metriche come validità, Distanza Fréchet ChemNet (FCD) e novità.
3. Trasferimento per Ottimizzazione (Scoperta Guidata dalla Struttura): Gli autori estendono l'allineamento delle rappresentazioni all'apprendimento per rinforzo online per la scoperta di leganti. Utilizzando la pipeline SynFlowNet-Boltz, trattano Boltz2 non solo come un oracolo di ricompensa scalare in scatola nera (affinità di legame), ma come un insegnante "in scatola bianca". Oltre alle ricompense scalari, la rete politica è guidata da una supervisione densa a livello di rappresentazione (allineamento con le rappresentazioni intermedie dei leganti di Boltz2) per migliorare l'assegnazione del credito e l'efficienza del campione nella scoperta di leganti ad alta affinità.

Contributi Chiave

L'articolo presenta quattro risultati principali che posizionano i moderni modelli di co-piegamento come basi solide per i modelli fondazionali di molecole piccole:

• Prestazioni Predittive: Le rappresentazioni di Boltz2 eguagliano o superano i modelli fondazionali specializzati per molecole piccole sull'esteso benchmark TDC ADMET. In particolare, Boltz2 ottiene le migliori prestazioni su 9 compiti su 22 senza alcun preaddestramento autonomo su molecole piccole, suggerendo che la supervisione da co-piegamento fornisce segnali non catturati solo dall'espansione dell'architettura o dal volume dei dati.
• Accelerazione Generativa: L'allineamento delle rappresentazioni con Boltz2 accelera significativamente l'addestramento dei modelli generativi molecolari (2 volte più veloce) e produce molecole di qualità superiore su più metriche (validità, FCD, NSPDK) rispetto all'allineamento con altri modelli fondazionali. Ciò indica che i modelli di co-piegamento forniscono una supervisione strutturale superiore per la generazione.
• Efficienza del Campione nell'Ottimizzazione: Nella scoperta di leganti guidata dalla struttura online, l'inclusione di supervisione densa a livello di rappresentazione da Boltz2 migliora l'efficienza del campione nel trovare molecole ad alta ricompensa rispetto all'uso di sole ricompense scalari. Questo segna la prima applicazione dell'allineamento delle rappresentazioni per migliorare l'apprendimento per rinforzo online nella scoperta di farmaci.
• Complementarità delle Rappresentazioni: Boltz2 produce uno spazio di rappresentazione distinto e complementare rispetto ai modelli fondazionali molecolari esistenti. Gli autori dimostrano che l'ensemble di Boltz2 con un modello meno allineato (MolE) produce guadagni di prestazioni superiori su certi benchmark rispetto all'ensemble con un modello più allineato (MiniMol), suggerendo una strategia pratica per la fusione delle rappresentazioni.

Risultati

• Benchmark ADMET: Boltz2 ha ottenuto la migliore prestazione media su 9 compiti su 22 tra i metodi non ensemble. Quando combinato con MiniMol (Boltz2Mini.), ha anche guidato su 9 compiti. Boltz2 ha superato significativamente UniMol2 (che utilizza la stessa architettura Pairformer da 1 miliardo di parametri ma è preaddestrato su strutture 3D autonome), evidenziando il valore della supervisione da co-piegamento.
• Generazione Molecolare: I modelli distillati con le rappresentazioni di Boltz2 hanno ottenuto i punteggi migliori simultaneamente su validità, FCD e NSPDK, mentre i modelli di diffusione di base eccellevano tipicamente solo su un sottoinsieme di queste metriche.
• Scoperta di Leganti: In compiti di scoperta guidata dalla struttura su sette proteine target, la politica allineata alle rappresentazioni ha scoperto più molecole ad alta ricompensa ed esplorato modalità più diverse (molecole distinte ad alto punteggio) rispetto alla politica standard sotto lo stesso budget di valutazione della ricompensa.
• Analisi di Complementarità: I punteggi CKNNA (Centered Kernel Nearest-Neighbor Alignment) hanno mostrato che Boltz2 ha un allineamento relativamente debole con i modelli esistenti. Tuttavia, l'ensemble di Boltz2 con MolE (basso allineamento) ha superato l'ensemble con MiniMol (allineamento più alto) su specifici compiti metabolici, confermando la natura complementare delle rappresentazioni.

Significato e Affermazioni

L'articolo posiziona il co-piegamento proteina-legante come un paradigma di preaddestramento promettente per l'apprendimento di rappresentazioni di molecole piccole. Sostiene che i modelli di co-piegamento come Boltz2 apprendono pattern di interazione a livello atomico (ad esempio, conformazioni di legame) che si trasferiscono efficacemente a compiti autonomi, offrendo un modello fondazionale robusto e pronto all'uso per la scoperta di farmaci.

Gli autori affermano di essere i primi a dimostrare che:

1. Rappresentazioni molecolari informative provenienti da modelli di co-piegamento possono migliorare la generazione molecolare e l'ottimizzazione.
2. La distillazione basata sull'allineamento delle rappresentazioni è efficace per l'apprendimento per rinforzo online, fornendo segnali densi che completano le ricompense scalari.
3. Combinare rappresentazioni debolmente allineate (ad esempio, Boltz2 + MolE) può essere una strategia più efficace per la fusione delle rappresentazioni rispetto alla combinazione di quelle fortemente allineate.

Limitazioni Riconosciute:
Gli autori notano modestamente che i modelli di co-piegamento potrebbero mancare di una comprensione completa a livello atomico dei meccanismi locali, come dimostrato dal loro scarso rendimento nei compiti di previsione dei substrati metabolici (una debolezza condivisa da UniMol2, che suggerisce una limitazione più ampia dell'apprendimento basato su strutture 3D). Notano inoltre che i loro esperimenti utilizzano un'impostazione a backbone congelato tramite probing e distillazione, lasciando il fine-tuning del backbone per lavori futuri.