SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

Il paper introduce SELFormerMM, un framework di apprendimento multimodale che integra notazioni SELFIES, strutture molecolari, descrizioni testuali e dati di reti di interazione biologica per generare rappresentazioni molecolari più ricche e accurate, superando le prestazioni dei modelli unimodali esistenti in diverse attività di previsione delle proprietà.

L'essenziale

Immagina di voler descrivere un'auto a qualcuno che non ne sa nulla.

• Se gli dai solo il codice VIN (il numero di serie), lui sa che esiste, ma non sa com'è fatta.
• Se gli mostri solo una foto, vede il colore e la forma, ma non sa come funziona il motore.
• Se gli leggi il manuale, capisce come guidarla, ma non la "vede".
• Se gli parli di dove l'auto è stata usata (es. "ha corso in F1" o "ha fatto il taxi a Milano"), capisci il suo comportamento nella vita reale.

Fino a poco tempo fa, i computer che cercano nuovi farmaci (o nuove molecole) guardavano solo una di queste cose alla volta. O solo il codice, o solo la foto. Il risultato? Capivano la molecola a metà, come se cercassero di indovinare un film guardando solo un fotogramma.

Cos'è SELFormerMM?

SELFormerMM è come un "super detective" o un "chef stellato" che decide di mescolare tutte queste informazioni insieme per capire davvero cos'è una molecola.

Il nome è un po' complicato, ma il concetto è semplice:

1. SELFIES (La ricetta sicura): Invece di usare la vecchia ricetta chimica (SMILES) che a volte si rompe o crea errori, usano una versione nuova e infallibile chiamata SELFIES. È come se avessero inventato un linguaggio che non può mai essere scritto male.
2. Struttura (La foto 3D): Guardano come sono collegati gli atomi, come se fosse un'architettura.
3. Testo (Il manuale): Leggono le descrizioni scritte dagli scienziati su cosa fa quella molecola.
4. Grafo della Conoscenza (La mappa delle relazioni): Guardano chi "conosce" la molecola: con quali proteine interagisce? Con quali geni? È come guardare la sua "rete di amici" biologici.

Come funziona la magia?

Immagina di avere quattro esperti in una stanza:

• L'esperto di codici (SELFIES).
• L'esperto di forme (Grafica).
• L'esperto di parole (Testo).
• L'esperto di relazioni (Grafo).

Ognuno di loro osserva la stessa molecola e ne fa un riassunto. SELFormerMM è il capo che li mette d'accordo. Li addestra a dire: "Ehi, quello che vedi tu nel codice corrisponde a quello che vedi tu nella foto e a quello che dice il manuale!".

Se tutti e quattro concordano, il computer crea una rappresentazione super potente della molecola. È come se la molecola avesse finalmente una "carta d'identità" completa, con foto, indirizzo, storia e amici.

Perché è importante?

Prima, se volevi prevedere se un farmaco sarebbe passato attraverso la barriera del cervello (per curare malattie neurologiche) o se sarebbe stato tossico, dovevi fare molte congetture basate su una sola informazione.

Con SELFormerMM:

• È più preciso: Ha vinto molte gare contro altri modelli che usavano solo una parte delle informazioni.
• È più intelligente: Capisce il "contesto". Sa che una molecola non è solo una forma, ma ha una storia e delle relazioni.
• È robusto: Anche se manca un pezzo di informazione (per esempio, non c'è la descrizione testuale per quella molecola), il modello sa comunque lavorare bene usando le altre tre fonti, proprio come un detective che risolve un caso anche se manca un testimone, grazie alle prove fisiche e alle telefonate intercettate.

In sintesi

SELFormerMM è come passare da un'indagine fatta con una sola lente d'ingrandimento a una visione a 360 gradi. Unisce la chimica, la biologia e il linguaggio umano per creare una mappa molto più chiara del mondo delle molecole.

Questo significa che gli scienziati possono trovare nuovi farmaci più velocemente e con meno errori, perché il computer li aiuta a vedere il quadro completo, non solo un pezzo di puzzle.

Il team ha anche reso tutto questo disponibile gratuitamente su internet, così che chiunque possa usare questo "super detective" per scoprire nuove cure.

Sommario tecnico

1. Il Problema

L'apprendimento della rappresentazione molecolare è fondamentale per la scoperta di farmaci computazionale. Tuttavia, la maggior parte dei modelli esistenti si basa su input unimodali (es. solo sequenze chimiche come SMILES o solo grafi strutturali), catturando solo aspetti limitati del comportamento molecolare.
Le sfide principali identificate sono:

• Limitazioni delle rappresentazioni unimodali: Le sequenze (come SMILES) possono generare stringhe sintatticamente valide ma chimicamente non valide, mentre i grafi catturano la topologia ma mancano del contesto semantico e biologico.
• Mancanza di integrazione: Unificare diverse modalità (sequenze, struttura, descrizioni testuali e reti di interazione biologica) in un unico framework coerente è complesso.
• Perdita di informazioni complementari: I modelli attuali spesso non sfruttano sinergicamente le informazioni provenienti da fonti eterogenee, come le descrizioni testuali dei database o le reti di interazione proteina-farmaco.

2. Metodologia

Il paper propone SELFormerMM, un framework di apprendimento della rappresentazione molecolare multimodale che integra quattro modalità distinte in uno spazio latente condiviso:

1. SELFIES (Sequenze): Utilizza la notazione SELFIES (Self-Referencing Embedded Strings) invece di SMILES, garantendo il 100% di validità sintattica e robustezza.
2. Grafo Strutturale (2D): Rappresentazione del grafo molecolare derivata direttamente dalle strutture chimiche.
3. Testo: Descrizioni in linguaggio naturale delle molecole (estratte da database e generati da LLM).
4. Grafo della Conoscenza (KG): Dati di interazione biologica (es. interazioni farmaco-target, proteine, geni) estratti dal grafo CROssBARv2-KG.

Architettura e Addestramento:
Il modello è addestrato in due fasi:

• Fase di Pre-addestramento Multimodale:
  • Utilizza un approccio di apprendimento contrastivo supervisionato (Multi-view Multi-positive) per allineare le rappresentazioni delle diverse modalità della stessa molecola nello stesso spazio latente.
  • L'obiettivo di perdita è SINCERELoss, una variante estesa dell'InfoNCE che gestisce più viste positive per istanza.
  • Encoder:
    • Sequenza: SELFormer (basato su RoBERTa) addestrato su SELFIES.
    • Testo: SciBERT (pre-addestrato su testo scientifico).
    • Grafo Strutturale: Uni-Mol (pre-addestrato su conformazioni 3D).
    • Grafo della Conoscenza: DMGI (Deep Mutual Graph Infomax) su un sottografo focalizzato di CROssBARv2.
  • I modelli encoder per testo, grafo e KG sono inizializzati da checkpoint pre-addestrati e mantenuti frozen (congelati), mentre vengono utilizzati dei network di proiezione (MLP) non lineari per mappare le loro embedding nello spazio nascosto condiviso (dimensione 768).
  • Il dataset di pre-addestramento comprende circa 3 milioni di molecole.
• Fase di Fine-tuning Supervisionato:
  • Il backbone multimodale pre-addestrato viene adattato a compiti specifici di previsione delle proprietà molecolari.
  • Le embedding delle quattro modalità vengono concatenate e passate a un "prediction head" specifico per il compito.
  • Viene utilizzata una strategia di partial-freezing: i primi 9 blocchi del transformer sono fissi, mentre gli ultimi 3 blocchi, i layer di proiezione e il head downstream vengono fine-tunati.

3. Contributi Chiave

• Integrazione Olistica: Primo framework che unisce SELFIES, grafi 2D, descrizioni testuali e reti di interazione biologica (KG) in un'unica architettura basata su transformer.
• Scalabilità: Addestramento su una scala senza precedenti (~3 milioni di molecole) rispetto ai precedenti modelli multimodali che spesso operavano su dataset più piccoli o curati.
• Robustezza Sintattica: L'uso di SELFIES come base sequenziale elimina i problemi di validità chimica tipici di SMILES.
• Risorsa Open Source: Il codice, i dataset, i modelli pre-addestrati e gli embedding sono resi disponibili pubblicamente su GitHub.

4. Risultati

Il modello è stato valutato su benchmark standard di MoleculeNet (compiti di classificazione e regressione):

• Compiti di Classificazione:
  • SELFormerMM ha ottenuto le prestazioni migliori sulla previsione degli effetti collaterali (SIDER, ROC-AUC 0.749) e risultati molto competitivi sulla permeabilità della barriera emato-encefalica (BBBP, ROC-AUC 0.918), superando modelli unimodali e multimodali esistenti.
  • Ha mostrato miglioramenti significativi rispetto al modello unimodale SELFormer quando sono state integrate le modalità aggiuntive, specialmente per SIDER e BBBP.
• Compiti di Regressione:
  • Prestazioni superiori su Lipophilicity (RMSE 0.574, il migliore tra i modelli multimodali) e competitività su ESOL (solubilità acquosa).
  • Miglioramento significativo sulla previsione dell'affinità di legame proteina-ligando (PDBbind, RMSE 1.328), grazie all'integrazione di informazioni strutturali e del grafo della conoscenza.
• Analisi di Ablazione:
  • L'aggiunta di modalità multiple generalmente migliora le prestazioni, sebbene in alcuni casi (es. Tox21) l'ottimizzazione di più modalità eterogenee possa introdurre rumore.
  • L'informazione del grafo strutturale (2D) si è rivelata il segnale più robusto e consistente.
  • La rimozione della modalità "grafo" degrada spesso le prestazioni, sottolineando l'importanza della connettività strutturale.
• Casi d'Uso:
  • Analisi su molecole specifiche (es. dextroamphetamine e benserazide per BBBP) hanno dimostrato che il modello cattura correttamente segnali biochimici noti (es. capacità di attraversare la barriera emato-encefalica o meno), allineandosi alla conoscenza farmacologica esistente.

5. Significato

SELFormerMM rappresenta un passo avanti significativo verso una modellazione molecolare generalizzabile e guidata dall'ipotesi biologica.

• Superamento dei limiti unimodali: Dimostra che l'integrazione di contesto biologico (KG) e semantico (testo) con la chimica strutturale permette di catturare relazioni complesse che i modelli basati su una sola modalità non riescono a vedere.
• Scoperta di Farmaci: Fornisce una base solida per compiti critici come la previsione della tossicità, la permeabilità e l'ottimizzazione delle proprietà ADMET, accelerando il processo di scoperta di nuovi candidati farmaci.
• Futuro della Ricerca: Il lavoro apre la strada a strategie di apprendimento multimodale più sofisticate, suggerendo che l'uso di dataset più ricchi e la gestione dinamica delle modalità mancanti (invece del semplice padding a zero) potrebbero ulteriormente migliorare le prestazioni.

In sintesi, SELFormerMM offre un framework pratico e scalabile che trasforma la rappresentazione molecolare da una visione puramente chimico-strutturale a una visione olistica, integrata con il contesto biologico e semantico.