Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

Dit artikel introduceert Suiren-1.0, een familie van moleculaire foundationmodellen die door middel van zelftoezicht, voortgezette training en conformatiecompressie-distillatie nauwkeurige voorspellingen voor diverse organische systemen mogelijk maakt en state-of-the-art resultaten behaalt op een reeks taken.

De kern

Stel je voor dat chemie een enorme bibliotheek is, maar dan eentje waar de boeken in twee totaal verschillende talen geschreven zijn.

• Taal 1 (De 3D-structuur): Dit is hoe een molecuul er echt uitziet in de ruimte, als een complex, draaiend 3D-puzzelstukje. Dit is de taal van de natuurkunde. Het is extreem nauwkeurig, maar heel moeilijk te lezen en te schrijven.
• Taal 2 (De 2D-tekening): Dit is hoe chemici moleculen op papier tekenen (of in een computer invoeren als een simpele reeks tekens, zoals een SMS-bericht). Dit is makkelijk te lezen, maar het mist de diepte en de echte vorm van het molecuul.

Tot nu toe hadden we twee soorten "slimme computers" (AI-modellen):

1. De 3D-experts die de complexe ruimtelijke vorm begrijpen, maar te traag en duur zijn om op grote schaal te gebruiken.
2. De 2D-experts die snel zijn en de tekeningen begrijpen, maar "blind" zijn voor de echte 3D-vorm, waardoor ze vaak fouten maken bij het voorspellen van hoe een stof zich gedraagt.

Suiren-1.0 is de nieuwe superheld die deze twee talen eindelijk samenbrengt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Meester: Suiren-Base (De 3D-Architect)

Stel je Suiren-Base voor als een geniale architect die miljoenen uren heeft bestudeerd aan de echte, fysieke bouwplannen van moleculen (gemaakt met superkrachtige computers die de wetten van de kwantummechanica nabootsen).

• Hij heeft 1,8 miljard "neuronen" (zoals hersencellen) en kan de meest complexe 3D-vormen perfect begrijpen.
• Hij weet precies hoe atomen op elkaar reageren, net als een meesterbouwer die weet hoe een brug de wind moet weerstaan.
• Het probleem: Hij is zo complex en zwaar dat hij niet direct in een gewone computer past voor dagelijkse taken.

2. De Leerling: Suiren-ConfAvg (De Slimme Vertaler)

Hier komt het magische deel: Conformation Compression Distillation (CCD).
Stel je voor dat de architect (Suiren-Base) een leerling heeft. De leerling (Suiren-ConfAvg) mag niet zelf de zware bouwwerkzaamheden doen, maar moet wel leren van de meester.

• De leerling kijkt naar de simpele 2D-tekeningen (de SMS-berichten).
• In plaats van alleen naar de lijnen te kijken, "droomt" de leerling (via een techniek die lijkt op het genereren van kunst) de volledige 3D-structuur die bij die tekening hoort.
• De leerling leert zo: "Als ik deze 2D-tekening zie, dan moet ik onthouden dat dit molecuul in de echte wereld er zo uitziet en zo voelt."
• Het resultaat is een lichtgewicht model dat snel is, maar diep in zijn "onderbewuste" de kennis van de 3D-architect draagt.

3. De Tweelingbroer: Suiren-Dimer (De Sfeer-expert)

Soms werken moleculen niet alleen, maar in paren (zoals twee mensen die hand in hand lopen). Suiren-Dimer is een variant die specifiek is getraind om te begrijpen hoe moleculen met elkaar omgaan, wat cruciaal is voor medicijnenontwikkeling.

Waarom is dit zo geweldig? (De Analoge Wereld)

Vroeger moest je voor elke nieuwe chemische vraag een dure, zware 3D-simulatie draaien (zoals het bouwen van een maquette van een heel gebouw om te zien of het niet instort). Dat duurde dagen.

Met Suiren-1.0 kun je nu gewoon een simpele tekening (of een SMS-bericht) invoeren. Het model pakt die tekening, roept zijn geheugen op van de 3D-wereld, en geeft je direct een antwoord over:

• Zekerheid: Is dit materiaal veilig? (Bijv. ontploft het?)
• Oplossing: Lost dit op in water? (Belangrijk voor medicijnen in je maag).
• Energie: Hoeveel energie komt er vrij als je dit verbrandt?
• Gedrag: Hoe stroomt dit als vloeistof?

De Resultaten in het Kort

De makers hebben Suiren-1.0 getest op meer dan 50 verschillende taken, van het voorspellen van kookpunten tot het vinden van nieuwe medicijnen.

• Het slaat bijna alle andere modellen (zoals MoleBERT of Uni-Mol) op hun eigen terrein.
• Het is sneller (geen zware 3D-berekeningen nodig voor elke vraag).
• Het is nauwkeuriger (het maakt minder fouten omdat het de "echte" 3D-wetten kent).

Conclusie

Suiren-1.0 is als het geven van een fysicus-geest aan een snel schrijver. De schrijver kan razendsnel antwoorden geven op vragen over de wereld, maar hij heeft de diepe, fysieke kennis van de natuurkunde in zijn hoofd. Hierdoor kunnen wetenschappers sneller nieuwe materialen, medicijnen en batterijen ontwerpen, zonder vast te lopen in de complexiteit van de 3D-wereld.

De hele "bibliotheek" (de modellen en de testgegevens) is nu gratis openbaar gemaakt, zodat iedereen hiermee kan leren en bouwen.

Technische samenvatting

Probleemstelling

Hoewel foundation modellen een revolutie hebben teweeggebracht in natuurlijke taalverwerking en computer vision, blijft universele moleculaire modellering achter door fundamentele wetenschappelijke complexiteiten en een tekort aan hoogwaardige, gelabelde data. De auteurs identificeren twee hoofduitdagingen:

1. Complexe fysieke priors: Moleculair gedrag wordt bepaald door complexe wetten zoals kwantummechanica (Schrödinger-vergelijking) en statistische thermodynamica (Boltzmann-verdeling). Het leren van deze mechanismen puur via datagedreven methoden is moeilijk, vooral gezien de schaarste aan nauwkeurige gelabelde data.
2. Het multischaal-kloof: Er bestaat een persistent gat tussen microscopische structuren (3D-conformaties, elektronische dichtheden) en macroscopische observabelen (1D SMILES of 2D moleculaire grafieken).
   • 3D-modellen (zoals UMA) leren rijke 3D-representaties maar missen generalisatie voor brede chemische taken.
   • 2D-modellen (zoals MoleBERT) vangen grafiektopologieën op maar zijn "conformatie-blind", wat hun voorspellende kracht beperkt.
   • Macroscopische eigenschappen zijn het resultaat van een ensemble-gemiddelde van alle mogelijke 3D-conformaties van een molecuul, maar bestaande methoden slagen er niet in om deze twee modaliteiten effectief te verbinden.

Methodologie

Suiren-1.0 introduceert een drie-staps raamwerk om deze kloof te overbruggen, bestaande uit drie gespecialiseerde varianten: Suiren-Base, Suiren-Dimer en Suiren-ConfAvg.

1. Architectuur: Suiren-Base (Microscopisch)

Suiren-Base is een groot, SO(3)-equivariant Graph Neural Network (GNN) met 1,8 miljard parameters, ontworpen voor 3D-conformatiebewust leren.

• Kerncomponenten: Het combineert EquiformerV2 met een dichte Mixture-of-Experts (MoE) update-blok.
• Experts: Elk blok bevat 20 S2Activation-experts en 20 Equivariant Spherical Transformer (EST)-experts.
• Innovatie: Om discretisatiefouten in de EST-experts te verminderen, wordt een strategie voor willekeurige rotatie van de Fourier-basis tijdens het trainen gebruikt. Dit verbetert de equivariantie zonder extra rekentijd.
• Training: Vooraf getraind op 70 miljoen samples van Density Functional Theory (DFT) data (Qo2mol dataset) met een zelftoezichtsdoelstelling voor ruimtelijke eigenschappen.

2. Continu Pre-training: Suiren-Dimer

Om intermoleculaire interacties (cruciaal voor bijvoorbeeld drugdesign) beter te modelleren, wordt Suiren-Base verder getraind op 13,5 miljoen DFT-samples van dimeren (twee moleculen die met elkaar interageren).

3. Conformation Compression Distillation (CCD): Suiren-ConfAvg (Macroscopisch)

Dit is de kerninnovatie om 3D-kennis te distilleren naar een lichtgewicht 2D-model.

• Doel: Het distilleren van complexe 3D-structurele representaties naar een 2D "conformatie-gemiddelde" representatie die werkt op SMILES of 2D-grafieken.
• Proces: Een diffusiemodel wordt getraind om de 3D-representaties van Suiren-Base (de leraar) te reconstrueren, geconditioneerd op de 2D-moleculaire topologie en de energie.
• Resultaat: Suiren-ConfAvg leert een latente macroscopische representatie die in staat is om 3D-informatie te "herstellen" via energie-geconditioneerde queries, maar werkt standaard als een efficiënt 2D-encoder voor downstream taken.

4. Fine-tuning: Dual GNN (DGNN)

Voor downstream taken wordt een Dual Graph Neural Network gebruikt. Dit bestaat uit de bevroren Suiren-ConfAvg-module (voor structurele geleiding) en een nieuw, dieper, taak-specifiek GNN. Dit voorkomt "catastrophic forgetting" en behoudt de geleerde eigenschappen.

Belangrijkste Bijdragen

1. Microscopisch-Macroscopisch Koppeling: Een uniek raamwerk dat 3D-kwantumdata en 2D-statistische ensemble-ruimtes verenigt via CCD.
2. Fysiek Geïnspireerde Pre-training: Training op een enorme schaal (70M+ samples) met geavanceerde algoritmen (EMPP, EST) die fundamentele fysieke wetten respecteren.
3. Efficiënte Distillatie: De introductie van CCD maakt het mogelijk om de kracht van een zware 3D-foundation model te benutten in een lichtgewicht 2D-model dat direct inzetbaar is in bestaande pipelines (SMILES-invoer).
4. Open Science: De volledige modellen (Suiren-Base, Dimer, ConfAvg), code, en een nieuw benchmark-dataset (MoleHB met 40+ taken) zijn open-source beschikbaar gesteld.

Resultaten

Suiren-1.0 is geëvalueerd op meer dan 50 taken over 9 wetenschappelijke domeinen.

• MoleHB Benchmark (40+ taken):

  • Suiren-ConfAvg behaalde State-of-the-Art (SOTA) resultaten op 41 van de 43 eigenschappen.
  • Er werden verbeteringen van meer dan 20% geboekt op meer dan 20 taken ten opzichte van bestaande modellen (MoleBERT, Uni-Mol v1/v2).
  • Opmerkelijke verbeteringen:
    • Energetische eigenschappen: >30% verbetering in Gibbs-energie en enthalpie.
    • Vloeistofvolume: 45,5% verbetering.
    • Vaste warmtecapaciteit: 65,2% verbetering.
  • Het model presteert consistent goed in zowel willekeurige splitsen als "scaffold splits" (structuur-extrapolatie).

• TDC ADMET (Geneesmiddelenontwikkeling):

  • Geëvalueerd op 18 taken (regressie en classificatie) voor ADMET-eigenschappen.
  • Suiren-ConfAvg behaalde SOTA op 9 van de 18 metrieken en tweede plaats op 4 andere, zonder complexe taak-specifieke hyperparameter-optimalisatie (gebruikmakend van één uniforme configuratie).
  • Dit onderstreept de robuustheid en generalisatiecapaciteit van het model.

Betekenis en Impact

Suiren-1.0 markeert een belangrijke stap in de ontwikkeling van moleculaire foundation modellen. Door de kloof tussen microscopische 3D-fysica en macroscopische 2D-data te overbruggen, biedt het een oplossing die zowel nauwkeurig (door kwantumbasis) als praktisch toepasbaar (door 2D-efficiëntie) is.

• Voor de wetenschap: Het bewijst dat het integreren van fysieke priors en schaalvergroting leidt tot superieure prestaties in diverse chemische domeinen, van materiaalconceptie tot drugdesign.
• Voor de industrie: De beschikbaarheid van Suiren-ConfAvg stelt onderzoekers en bedrijven in staat om hoogwaardige moleculaire eigenschappen te voorspellen zonder de rekenkosten van volledige 3D-simulaties, wat de snelheid van ontdekking en ontwikkeling aanzienlijk kan versnellen.
• Openheid: De publicatie van modellen, data (MoleHB) en code bevordert reproduceerbaarheid en samenwerking binnen de gemeenschap.

De auteurs erkennen beperkingen, zoals de huidige computergrenzen voor verdere schaalvergroting en het potentieel voor verdere optimalisatie via Top-K routing in de MoE-componenten, maar Suiren-1.0 zet een nieuwe standaard voor nauwkeurige en schaalbare moleculaire modellering.