💻 informatica

Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA

Questo articolo dimostra che, sebbene il preaddestramento auto-supervisionato basato su LeJEPA produca rappresentazioni molecolari di alta qualità che superano significativamente l'inizializzazione casuale nel frozen probing e completino i fingerprint tradizionali, i suoi benefici non si traducono in modo robusto in guadagni di prestazioni a valle attraverso il fine-tuning standard, suggerendo che la combinazione a livello di feature sia la strategia ottimale per sfruttare questi embedding preaddestrati.

Autori originali: Michał Kulczykowski, Rafał Łabędzki

Pubblicato 2026-10-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Michał Kulczykowski, Rafał Łabędzki

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Le molecole sono i mattoni fondamentali della vita e della medicina, ma per un computer, un farmaco è solo una complessa mappa di atomi collegati da legami. Per decenni, gli scienziati hanno cercato di insegnare all'intelligenza artificiale a leggere queste mappe, sperando di prevedere quali nuove strutture chimiche diventeranno medicinali efficaci. La sfida è che, sebbene esistano centinaia di milioni di possibili molecole simili a farmaci, i dati di cui disponiamo su quali di esse funzionino realmente sono scarsi e costosi da produrre. Per risolvere questo problema, i ricercatori si sono rivolti a una strategia presa in prestito dal modo in cui gli esseri umani apprendono: il pre-addestramento. Proprio come un bambino impara concetti generali sul mondo prima di studiare materie specifiche, un modello informatico può essere addestrato su una vasta libreria di strutture chimiche non etichettate per apprendere le regole base della chimica, con la speranza che questa conoscenza generale possa aiutarlo a risolvere problemi specifici in seguito, come la scoperta di un nuovo antibiotico.

Un team di ricercatori ha deciso di testare un nuovo modo snello per insegnare a questi modelli, utilizzando un metodo chiamato LeJEPA. Invece di cercare di ricostruire ogni minimo dettaglio di una molecola o di confrontarla con migliaia di altri esempi, questo metodo chiede al computer di prevedere l'immagine intera basandosi su una visione parziale. Immaginate di mostrare a un modello un frammento di una molecola e di chiedergli di indovinare le proprietà dell'intera struttura. Per evitare che il modello si affidi a schemi semplici, i ricercatori hanno aggiunto una regola matematica che costringe la comprensione interna delle molecole del computer a essere diversificata e ben organizzata, anziché collassare in un'unica, inutile risposta. Hanno testato questo approccio su due grandi sfide: un benchmark standard per la previsione dell'attività dei farmaci contro l'HIV e un dataset specifico per la ricerca di nuovi antibiotici, dove solo una minuscola frazione dei composti testati è effettivamente efficace.

I risultati hanno rivelato una svolta sorprendente nel modo in cui questi modelli apprendono. Quando i ricercatori hanno "congelato" il cervello del computer dopo il pre-addestramento e gli hanno semplicemente chiesto di classificare le molecole senza ulteriore insegnamento, il modello pre-addestrato è stato significativamente migliore di un modello che partiva da zero. Sul benchmark dell'HIV, il modello pre-addestrato ha ottenuto un punteggio di 0,788, un salto sostanziale rispetto al punteggio di 0,665 della versione non addestrata. Ciò ha dimostrato che il metodo aveva appreso con successo una rappresentazione ricca e utile delle strutture chimiche. Tuttavia, quando i ricercatori hanno cercato di usare questa conoscenza per migliorare le prestazioni del modello attraverso il fine-tuning, il vantaggio è ampiamente svanito. Sul dataset degli antibiotici, il modello pre-addestrato non ha superato costantemente quello non addestrato e, sul benchmark dell'HIV, il miglioramento è scomparso del tutto una volta che al modello è stato permesso di regolare i propri pesi. L'unico caso in cui il modello pre-addestrato ha mostrato un beneficio chiaro e affidabile è stato in un test specifico e difficile, dove le strutture chimiche erano completamente nuove rispetto ai dati di addestramento, e anche in quel caso, il miglioramento era fragile e dipendeva fortemente da come i dati venivano suddivisi.

I ricercatori hanno scoperto che il vero valore di questo pre-addestramento non risiede nel sostituire gli strumenti esistenti, ma nel completarli. Hanno scoperto che la comprensione della chimica appresa dal computer era più efficace quando veniva combinata con una descrizione chimica tradizionale, creata manualmente, nota come "impronta digitale" (fingerprint). Quando hanno preso la parte più utile della conoscenza del modello pre-addestrato e l'hanno attaccata a questa impronta digitale standard, il sistema combinato ha performato meglio di ciascuna parte da sola. Questo approccio ibrido ha elevato il tasso di successo sul benchmark dell'HIV a 0,830, un miglioramento significativo che né l'impronta digitale né il modello pre-addestrato potevano raggiungere singolarmente. Lo studio suggerisce che, sebbene il nuovo metodo di pre-addestramento apprenda una comprensione della chimica più profonda e robusta che sopravvive ai cambiamenti della struttura chimica, esso non si traduce automaticamente in prestazioni migliori quando viene utilizzato nel modo standard. Al contrario, il suo potere più grande risiede nell'aggiungere uno strato di intuizione strutturale che funziona meglio se accoppiato con metodi consolidati, offrendo un nuovo modo per costruire strumenti più affidabili per la scoperta di farmaci.

Sintesi Tecnica: Preaddestramento Auto-Supervisionato di Encoder di Grafi Molecolari con LeJEPA

Problematica
Sebbene il preaddestramento auto-supervisionato abbia rivoluzionato i modelli linguistici e della visione, la sua utilità per le reti neurali su grafi molecolari (GNN) rimane controversa. In chimica, i dati etichettati sono scarsi e costosi, sebbene lo spazio delle molecole sintetizzabili sia vastissimo. Il paradigma prevalente "pretrain-then-finetune" (preaddestramento e poi fine-tuning), di successo in altri domini, ha prodotto risultati alterni nella predizione delle proprietà molecolari. Gli esistenti obiettivi auto-supervisionati (contrastivi, generativi e predittivi) spesso faticano a fornire miglioramenti robusti rispetto ai baseline supervisionati ben calibrati che utilizzano descrittori artigianali. Questo lavoro investiga se l'addestramento di un encoder di grafi molecolari su un ampio corpus non etichettato utilizzando un'architettura specifica, LeJEPA, migliori la predizione delle proprietà a valle e, in caso affermativo, come si manifesti tale beneficio.

Metodologia
Gli autori adattano LeJEPA (Latent-Euclidean Joint Embedding Predictive Architecture) ai grafi molecolari. A differenza dei JEPA tradizionali che si affidano ad architetture asimmetriche (momentum teachers, stop-gradients e reti predittive), LeJEPA impiega un design privo di predittore regolarizzato da Sketched Isotropic Gaussian Regularisation (SIGReg).

Architettura: L'encoder mappa un grafo molecolare $G$ $G$ in un embedding $K$ $K$ -dimensionale $z$ $z$ . Sono state valutate due architetture backbone:
1. GPS Graph Transformer: Un modello ibrido che combina il passaggio di messaggi GINE locale con l'attenzione globale multi-testa (multi-head self-attention), utilizzando codifiche posizionali random-walk.
2. Chemprop-style D-MPNN: Una rete di passaggio di messaggi diretti.
Obiettivo di Preaddestramento: Il modello è addestrato su circa 2,9 milioni di molecole curate per la bioattività da ChEMBL. L'obiettivo minimizza una somma pesata di due termini:
1. Perdita di Predizione ( $L_{pred}$ ): Per ogni molecola, vengono generate molteplici viste (2 viste globali con corruzione leggera e 8 viste locali tramite sottografi BFS). L'encoder deve predire il centroide degli embedding delle viste globali a partire dagli embedding delle viste locali. Fondamentalmente, i descrittori fisico-chimici (RDKit) sono allegati solo alle viste globali per evitare soluzioni banali in cui il modello ignora la struttura.
2. Perdita SIGReg ( $L_{SIGReg}$ ): Questo regolarizzatore previene il collasso della rappresentazione guidando la distribuzione degli embedding del batch verso una Gaussiana isotropa $N(0, I)$ . Utilizza la statistica di Epps–Pulley per confrontare la funzione caratteristica empirica delle proiezioni 1D degli embedding rispetto a una distribuzione normale standard attraverso 1024 direzioni casuali.
Protocollo di Valutazione: Gli encoder preaddestrati sono stati valutati su due compiti sotto protocolli rigorosi basati su multi-seed e bootstrap:
1. Attività Antibiotica: Un dataset di 39.312 composti contro Staphylococcus aureus (Wong et al.), utilizzando sia split casuali che split per scaffold (Bemis-Murcko).
2. ogbg-molhiv: Un benchmark standard per l'inibizione della replicazione dell'HIV con uno split per scaffold fisso.
- Sonde: La valutazione ha incluso "frozen probes" (adattamento di una testa su embedding fissi) e "full finetuning" (aggiornamento dei pesi dell'encoder). I confronti sono stati effettuati contro l'inizializzazione casuale e i baseline artigianali (descrittori RDKit, impronte digitali di Morgan).

Risultati Chiave

Qualità della Rappresentazione vs. Finetuning:
- Frozen Probes: Il preaddestramento produce una rappresentazione significativamente migliore. Su ogbg-molhiv, un embedding LeJEPA con parametri fissi ha ottenuto un ROC-AUC di 0,788 rispetto a 0,665 per un encoder con inizializzazione casuale (un incremento di +0,123), raggiungendo la fascia dei GNN auto-supervisionati pubblicati. Sul compito antibiotico, l'embedding preaddestrato con parametri fissi (AUPRC 0,159) ha superato sia l'inizializzazione casuale (0,082) che i soli descrittori RDKit (0,112).
- Finetuning: Questo vantaggio rappresentazionale non si traduce in modo robusto in guadagni di finetuning a valle.
  - Sullo split casuale dell'antibiotico, il finetuning non ha mostrato guadagni rispetto all'addestramento da zero.
  - Sullo split per scaffold dell'antibiotico, una singola partizione canonica ha mostrato un guadagno significativo (+0,041 AUPRC), ma questo effetto è svanito quando è stato replicato su cinque diverse partizioni di scaffold ( $\Delta$ aggregato = +0,013, $p=0,095$ ).
  - Su ogbg-molhiv e con l'architettura D-MPNN, i guadagni del finetuning sono stati nulli.
Complementarità con le Impronte Digitali (Fingerprints):
- Gli autori hanno scoperto che l'embedding preaddestrato è complementare alle impronte digitali di Morgan artigianali, ma solo quando lo spazio informativo dell'embedding è isolato.
- L'embedding satura a 16–32 dimensioni effettive, mentre le impronte digitali migliorano fino a 1024 bit.
- A parità di dimensionalità (128), l'impronta digitale ha superato l'embedding sugli split di validazione, ma è stata superata dall'embedding su shift di scaffold nel test. L'embedding ha mostrato una robustezza superiore agli shift di scaffold.
- Combinazione a livello di Feature: Troncare l'embedding preaddestrato a 32 dimensioni (tramite PCA) e concatenarlo con un'impronta digitale di Morgan a 1024 bit ha aumentato l'ROC-AUC del test di ogbg-molhiv da 0,803 a 0,830 ( $\Delta$ = +0,027, $p=0,014$ ).
- Crucialmente, questo guadagno era specifico per l'embedding preaddestrato; concatenare un embedding non addestrato (casuale) non ha fornito alcun beneficio, confermando che il guadagno deriva dalla struttura appresa, non semplicemente dall'aggiunta di dimensioni.
Performance dei Baseline:
- Sul compito antibiotico, un semplice insieme ad albero (tree ensemble) su 217 descrittori RDKit (senza alcuna rete a grafi) ha eguagliato o superato le prestazioni di un modello Chemprop basato su grafi e il baseline pubblicato, suggerendo che le reti a grafi non siano strettamente necessarie per questo specifico compito.

Significatività e Rivendicazioni
L'articolo conclude che il preaddestramento LeJEPA produce una rappresentazione molecolare misurabilmente migliore che cattura la struttura fisico-chimica e generalizza bene a nuovi chemotipi (come dimostrato dalle sonde fisse e dalla robustezza agli shift di scaffold). Tuttavia, gli autori sostengono che questo beneficio non si realizza attraverso il fine-tuning standard, che spesso non riesce a sfruttare i pesi preaddestrati meglio dell'inizializzazione casuale o delle feature artigianali.

Invece, il valore del preaddestramento si realizza attraverso la combinazione a livello di feature. L'embedding preaddestrato fornisce robustezza agli shift di distribuzione (cambi di scaffold) che mancano alle impronte digitali artigianali, ma solo quando l'embedding è troncato al suo spazio informativo e combinato con rappresentazioni consolidate. Gli autori posizionano il loro lavoro come uno studio meccanicistico che dimostra come, sebbene la rappresentazione sia superiore, la sua utilità a valle sia condizionata dal modo in cui viene integrata, piuttosto che essere un sostituto universale dei baseline supervisionati. Il lavoro sottolinea che il "guadagno" è spesso invisibile negli split di validazione e appare solo sotto shift di distribuzione, rendendo difficile la selezione tramite la standard ottimizzazione degli iperparametri.

Limitazioni Riconosciute
Gli autori osservano che l'evidenza del finetuning è la parte più debole dello studio, poiché il singolo risultato significativo dello split per scaffold non si è replicato attraverso molteplici partizioni. Riconoscono inoltre che il loro encoder compatto non raggiunge i punteggi assoluti allo stato dell'arte nei benchmark rispetto a modelli supervisionati più grandi, e che il corpus di preaddestramento non copre completamente lo spazio chimico a valle, ponendo un limite al potenziale di trasferimento.

Sintesi Tecnica: Preaddestramento Auto-Supervisionato di Encoder di Grafi Molecolari con LeJEPA

Articoli simili