Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

Il rapporto tecnico presenta Suiren-1.0, una famiglia di modelli fondazionali molecolari open-source composta da tre varianti specializzate che, integrando geometria conformazionale 3D e spazi statistici 2D attraverso l'auto-supervisione spaziale e la distillazione, raggiungono risultati all'avanguardia nella previsione delle proprietà quantistiche e nella generazione di rappresentazioni molecolari ad alta fedeltà.

L'essenziale

🧪 Il "Genio Chimico" che impara a vedere l'invisibile

Immagina di voler prevedere come si comporterà una nuova medicina o un nuovo materiale prima ancora di costruirlo in laboratorio. È come cercare di indovinare il tempo che farà tra un mese solo guardando una nuvola: difficile, vero?

Gli scienziati del Shanghai Academy of AI for Science hanno creato Suiren-1.0, una famiglia di "intelligenze artificiali" (chiamate modelli fondazionali) progettate per diventare dei veri e propri oracoli della chimica.

Ecco come funziona, diviso in tre personaggi principali, come se fossero una squadra di supereroi:

1. Suiren-Base: Il "Fisico Teorico" (Il Genio che vede in 3D)

Immagina Suiren-Base come un fisico geniale che ha studiato per anni guardando milioni di libri di fisica quantistica.

• Cosa fa: Non si accontenta di guardare la formula scritta su un foglio (la molecola in 2D). Lui immagina la molecola come un oggetto tridimensionale che si muove, ruota e vibra nello spazio.
• Il trucco: È stato addestrato su 70 milioni di esempi creati da supercomputer che simulano la realtà fisica (la Teoria del Funzionale Densità). Ha imparato le "leggi del gioco" dell'universo: come gli atomi si attraggono, come si respingono e quanta energia serve per farli muovere.
• Il limite: È un genio, ma è anche un "lento". Per fare i suoi calcoli precisi, ha bisogno di vedere la molecola in 3D, il che richiede molta potenza di calcolo. Non è pratico per un chimico che vuole solo scrivere una formula veloce su un foglio.

2. Suiren-Dimer: Il "Diplomatico" (L'esperto di relazioni)

Se Suiren-Base è bravo a capire una singola molecola, Suiren-Dimer è specializzato nel capire come due molecole si incontrano e interagiscono.

• L'analogia: Se Suiren-Base è come un attore che recita da solo, Suiren-Dimer è l'attore che sa fare il duetto. È fondamentale per capire come un farmaco si lega a una proteina nel corpo o come le molecole di un nuovo materiale si attaccano tra loro.
• Come funziona: Prende la conoscenza di Suiren-Base e la allena ulteriormente su 13,5 milioni di coppie di molecole, imparando le "distanze sociali" tra gli atomi.

3. Suiren-ConfAvg: Il "Traduttore Veloce" (Il mago che comprime)

Qui arriva la vera magia. Abbiamo bisogno di un modello che sia veloce e facile da usare, che possa funzionare anche se gli dai solo una semplice stringa di testo (come una ricetta chimica chiamata SMILES) senza dover disegnare la molecola in 3D.

• Il problema: Come facciamo a prendere il "genio fisico" (Suiren-Base) che vede tutto in 3D e trasformarlo in un "traduttore veloce" (Suiren-ConfAvg) che lavora in 2D?
• La soluzione (CCD): Hanno inventato un metodo chiamato Distillazione della Compressione Conformazionale.
  • Immagina questo: Hai un filmato in altissima definizione (4K) di una danza complessa (la molecola in 3D). È bellissimo ma pesa tantissimo.
  • Suiren-ConfAvg è come un artista che guarda quel filmato e ne disegna una schizzo veloce (in 2D) che cattura l'essenza della danza.
  • Questo "schizzo" non è un disegno a caso: è un riassunto intelligente che sa che, anche se la molecola si muove in mille modi diversi, il suo comportamento medio (la "media" di tutte le sue posizioni) è quello che conta per le proprietà reali (come la solubilità o la tossicità).
• Il risultato: Suiren-ConfAvg è leggerissimo. Puoi dargli una semplice formula chimica e lui ti dirà: "Ehi, questa sostanza sarà solubile in acqua e non sarà tossica", con una precisione incredibile, senza bisogno di supercomputer.

🏆 Perché è così speciale? (I Risultati)

Prima di Suiren-1.0, c'era un muro:

• I modelli 2D (veloci) erano "ciechi" alla forma 3D della molecola, quindi sbagliavano spesso.
• I modelli 3D (precisi) erano troppo lenti e costosi per essere usati nella vita reale.

Suiren-1.0 ha abbattuto questo muro.
Hanno testato il loro modello su 50+ compiti diversi (dalla sicurezza degli esplosivi alla solubilità dei farmaci, fino alle proprietà termiche).

• Il risultato: Suiren-ConfAvg ha battuto tutti i record esistenti nella maggior parte dei casi.
• L'analogia: È come se avessimo un orologio che, invece di dover guardare le stelle per dire l'ora (metodo lento e antico), guarda il sole e dice l'ora con la stessa precisione di un orologio atomico, ma in un secondo.

🚀 In sintesi per tutti

1. Hanno creato un "cervello" chimico (Suiren-Base) che ha letto tutti i libri di fisica quantistica possibili.
2. Hanno insegnato a questo cervello a capire come le molecole si abbracciano (Suiren-Dimer).
3. Hanno creato un "sommario" intelligente (Suiren-ConfAvg) che prende tutta quella conoscenza complessa e la trasforma in un consiglio rapido e preciso che chiunque può usare, anche solo scrivendo una formula su un foglio di carta.

Il messaggio finale: Grazie a questo lavoro, la scoperta di nuovi farmaci, materiali e batterie diventa più veloce, più economica e più precisa. E la cosa più bella? Hanno messo tutto a disposizione di tutti (codice e modelli sono gratuiti), come se avessero aperto una biblioteca pubblica per tutti i chimici del mondo.

Sommario tecnico

Titolo: Suiren-1.0: Una Famiglia di Modelli Fondamentali per la Chimica Molecolare

1. Il Problema

Il campo della modellazione molecolare affronta sfide fondamentali che limitano l'efficacia dei modelli attuali, specialmente rispetto ai progressi nei domini del linguaggio e della visione artificiale:

• Complessità dei Priors Fisici: Il comportamento molecolare è governato da leggi complesse (meccanica quantistica, termodinamica statistica) difficili da apprendere solo tramite dati, specialmente con etichette ad alta fedeltà scarse.
• Divario Multiscala: Esiste una discrepanza persistente tra le rappresentazioni microscopiche (3D, conformazioni esplicite, densità elettroniche, calcoli DFT) e quelle macroscopiche (proprietà osservabili, spesso rappresentate da SMILES 1D o grafi 2D).
  • I modelli puri 3D (es. UMA) sono potenti ma poco generalizzabili su compiti chimici ampi e costosi da etichettare.
  • I modelli puri 2D (es. MoleBERT) catturano la topologia ma sono "ciechi alle conformazioni", limitando la loro capacità predittiva per proprietà che dipendono dalla geometria 3D.
• Carenza di Dati: Le etichette macroscopiche richiedono spesso esperimenti di laboratorio costosi o simulazioni di dinamica molecolare, rendendo i dati scarsi rispetto alla disponibilità di dati quantistici sintetici.

2. Metodologia

Suiren-1.0 introduce un framework algoritmico in tre fasi per colmare il divario tra spazio geometrico 3D e spazi di ensemble statistici 2D.

A. Architettura di Base: Suiren-Base

• Modello: Una rete neurale su grafo (GNN) equivariante di alto grado rispetto al gruppo SO(3), con 1.8 miliardi di parametri.
• Architettura: Integra un modello EquiformerV2 con un blocco di aggiornamento Mixture-of-Experts (MoE) denso. Utilizza sia esperti S2Activation che Equivariant Spherical Transformer (EST).
• Innovazione: Per mitigare gli errori di discretizzazione nel campionamento sferico, viene proposta una strategia di rotazione della base (basis-rotation) durante l'addestramento, migliorando l'equivalenza e riducendo il costo computazionale.
• Addestramento: Pre-addestrato su 70 milioni di campioni di dati quantistici (DFT) con supervisione spaziale auto-supervisionata. Include compiti di previsione di energia, forze e completamento di coordinate mancanti (tramite il metodo EMPP).

B. Distillazione: Conformation Compression Distillation (CCD)

• Obiettivo: Trasferire la conoscenza del modello 3D (Suiren-Base) in un modello leggero 2D (Suiren-ConfAvg) che possa operare su SMILES o grafi molecolari senza perdere informazioni conformazionali critiche.
• Meccanismo: Utilizza un modello di diffusione basato su 3D.
  • L'input è un grafo 2D (o SMILES) e l'energia associata.
  • Il modello di diffusione impara a ricostruire la rappresentazione 3D e le coordinate partendo dal rumore, condizionato dall'encoder 2D.
  • Questo processo allinea implicitamente lo spazio 2D con lo spazio 3D, permettendo a Suiren-ConfAvg di generare rappresentazioni latenti macroscopiche di alta fedeltà.

C. Adattamento ai Compiti (Fine-tuning)

• Viene proposta un'architettura Dual Graph Neural Network (DGNN) per il fine-tuning.
• Combina un encoder pre-addestrato (Suiren-ConfAvg, congelato) con un GNN specifico per il compito (inizializzato casualmente). Le rappresentazioni latenti guidano il GNN specifico, prevenendo il "catastrophic forgetting" e preservando le caratteristiche apprese.

D. Estensione: Suiren-Dimer

• Un modello derivato da Suiren-Base tramite pre-addestramento continuo su 13.5 milioni di campioni di interazioni intermolecolari (dimere), essenziale per applicazioni come la progettazione di farmaci.

3. Contributi Chiave

1. Framework di Modellazione Unificato: Un approccio a tre stadi che unifica la rappresentazione microscopica (3D) e macroscopica (2D) attraverso la distillazione basata su diffusione.
2. Dati e Pre-addestramento: Utilizzo di un dataset su larga scala (70M campioni Qo2mol) e integrazione di algoritmi fisici avanzati (EMPP, EST) per migliorare la qualità delle rappresentazioni.
3. Efficienza e Deployabilità: La creazione di Suiren-ConfAvg permette di ottenere prestazioni di livello 3D utilizzando solo input 2D (SMILES/Grafo), rendendo il modello pratico per pipeline industriali.
4. Open Science: Rilascio completo di pesi, codice, e di un nuovo benchmark chiamato MoleHB (Molecular Handbook) con oltre 40 task eterogenei.

4. Risultati

Il modello è stato valutato su oltre 50 task scientifici in 9 domini diversi.

• Benchmark MoleHB (Proprietà Molecolari):

  • Suiren-ConfAvg ha raggiunto risultati State-of-the-Art (SOTA) in 41 su 43 proprietà testate rispetto a modelli baselines come MoleBERT, Uni-Mol v1 e v2.
  • Miglioramenti Significativi: Riduzioni dell'errore assoluto medio (MAE) superiori al 20% in oltre 20 task.
    • Proprietà Energetiche: Miglioramenti fino al 57% (es. entalpia di combustione).
    • Proprietà di Fluttuazione: Miglioramento del 65% nella capacità termica dello stato solido.
    • Proprietà Critiche: Riduzione del 39% nell'errore per il volume critico.
  • Il modello mantiene prestazioni robuste anche nella divisione "Scaffold" (generalizzazione strutturale).

• Benchmark TDC (Scoperta di Farmaci - ADMET):

  • Valutato su 18 metriche (regressione e classificazione) per proprietà di assorbimento, distribuzione, metabolismo, escrezione e tossicità.
  • Ha ottenuto il primo posto in 9 metriche e il secondo posto in altre 4, utilizzando una configurazione iperparametrica unica e fissa per tutti i task, dimostrando un'eccellente generalizzazione senza bisogno di ottimizzazione specifica per task.

5. Significato e Impatto

Suiren-1.0 rappresenta un passo avanti significativo nella chimica computazionale e nella scoperta di materiali:

• Superamento del Divario Fisico: Dimostra che è possibile trasferire efficacemente la conoscenza fisica di alta fedeltà (3D/DFT) a modelli leggeri e scalabili (2D), risolvendo il problema della scarsità di dati macroscopici.
• Versatilità: Il modello è applicabile a un'ampia gamma di settori, dalla scoperta di farmaci alla chimica delle batterie e alla scienza dei materiali.
• Riproducibilità: La disponibilità open-source di modelli, pesi e benchmark (MoleHB) facilita la ricerca futura e lo sviluppo di modelli fondazionali molecolari più robusti.
• Limitazioni Future: Gli autori notano che le dimensioni del modello sono limitate dalle risorse computazionali e che strategie di routing "Top-K" potrebbero essere implementate in futuro per migliorare la velocità di inferenza nei framework MoE.

In sintesi, Suiren-1.0 stabilisce un nuovo standard per i modelli fondazionali molecolari, combinando scalabilità, rigore fisico e adattabilità pratica.