Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

Der technische Bericht stellt Suiren-1.0 vor, eine Familie von molekularen Grundmodellen, die durch eine Kombination aus 3D-Geometrie- und 2D-Statistik-Frameworks sowie eine neuartige Konformations-Kompressions-Distillation (CCD) präzise Vorhersagen für diverse organische Systeme ermöglicht und dabei state-of-the-art Ergebnisse erzielt.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, das Verhalten von Millionen verschiedener Moleküle zu verstehen – von Medikamenten, die Krankheiten heilen, bis hin zu Batterien, die unsere Handys antreiben. Bisher war das wie der Versuch, ein riesiges, komplexes Puzzle zu lösen, bei dem die meisten Teile fehlten oder nur schwer zu finden waren.

Das Papier stellt Suiren-1.0 vor, eine neue Familie von künstlichen Intelligenzen, die genau dieses Puzzle lösen soll. Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das große Problem: Die Lücke zwischen "Mikro" und "Makro"

Stellen Sie sich ein Molekül wie eine Tanzgruppe vor.

• Die Mikro-Ebene (Der Tanz): Jedes Molekül ist nicht starr. Es wackelt, dreht sich und nimmt verschiedene Posen ein (Konformationen). Um zu verstehen, wie es sich verhält, müsste man jede einzelne dieser Posen im 3D-Raum berechnen. Das ist extrem rechenintensiv, wie wenn man jeden einzelnen Schritt eines Tänzers in Zeitlupe analysieren müsste.
• Die Makro-Ebene (Die Show): In der echten Welt (z. B. in einer Apotheke oder einem Labor) interessiert uns aber nicht die einzelne Pose, sondern das Gesamtergebnis. Wie schmeckt das Medikament? Ist es giftig? Wie gut löst es sich im Wasser? Das ist das Ergebnis aller möglichen Tanzbewegungen zusammengefasst.

Das Problem bisher war: KI-Modelle waren entweder gut im Analysieren der einzelnen Tänzer (3D-Modelle), aber zu langsam für den Alltag, ODER sie waren schnell und schauten nur auf das 2D-Skizze des Moleküls (wie eine Strichzeichnung), verstanden aber die 3D-Bewegungen nicht.

2. Die Lösung: Suiren-1.0 – Ein Team aus drei Spezialisten

Suiren-1.0 ist kein einzelnes Modell, sondern ein Team aus drei Brüdern, die zusammenarbeiten, um diese Lücke zu schließen:

Bruder 1: Suiren-Base (Der Physik-Genie)

• Was er macht: Er ist der "Schüler", der alles über die Physik lernt. Er wurde mit riesigen Mengen an Daten trainiert, die von Quantencomputern (einer Art Super-Computer für Atome) stammen.
• Die Analogie: Stellen Sie sich Suiren-Base als einen jungen Physiker vor, der jahrelang in einer Bibliothek gesessen hat und gelernt hat, wie sich Atome im 3D-Raum genau bewegen. Er kennt die Gesetze der Schwerkraft und der Elektrizität im Kleinsten. Er ist sehr genau, aber er braucht viel Zeit und Rechenleistung, um zu arbeiten.

Bruder 2: Suiren-Dimer (Der Teamplayer)

• Was er macht: Er ist wie Suiren-Base, hat aber eine spezielle Ausbildung für Paare. In der Chemie treffen Moleküle oft auf andere Moleküle (z. B. ein Medikament trifft auf ein Virus). Suiren-Dimer lernt speziell, wie diese Paare interagieren.
• Die Analogie: Wenn Suiren-Base der Solotänzer ist, ist Suiren-Dimer der Tanzpartner, der versteht, wie zwei Menschen sich im Raum bewegen, ohne zusammenzustoßen.

Bruder 3: Suiren-ConfAvg (Der kluge Übersetzer)

• Was er macht: Das ist der Star für den Alltag. Er ist das Ergebnis einer genialen Erfindung namens CCD (Conformation Compression Distillation).
• Die Analogie: Stellen Sie sich vor, Suiren-Base (der Physik-Genie) hat ein riesiges, 1000-seitiges Buch über die Physik des Tanzes geschrieben. Das ist zu schwer für den täglichen Gebrauch.
  Suiren-ConfAvg ist wie ein genialer Übersetzer, der dieses dicke Buch liest und eine kurze, prägnante Zusammenfassung schreibt. Diese Zusammenfassung enthält das Wissen über die 3D-Bewegungen, ist aber so kompakt, dass sie auf einem einfachen 2D-Blatt Papier (einer chemischen Zeichnung) passt.
  • Der Trick: Suiren-ConfAvg kann aus einer einfachen 2D-Zeichnung (wie einem Strichmännchen) sofort das Verhalten des komplexen 3D-Tänzers vorhersagen, ohne dass man die ganze Physik neu berechnen muss. Er ist schnell, leicht und trotzdem extrem genau.

3. Wie funktioniert der "Wissens-Transfer"? (Die CCD-Methode)

Die Forscher haben eine Methode entwickelt, die wie ein Diffusions-Prozess funktioniert.

• Vorher: Man hat das komplexe 3D-Wissen (Suiren-Base) und die einfache 2D-Zeichnung.
• Der Prozess: Man "vernebelt" das 3D-Wissen langsam und lässt das Modell lernen, wie man aus dem 2D-Wasserzeichen das 3D-Bild wiederherstellt.
• Das Ergebnis: Das Modell lernt, die Essenz der 3D-Physik in einer 2D-Form zu speichern. Es ist, als würde man die Essenz eines komplexen Gerichts in eine Gewürzmischung packen, die man überallhin mitnehmen kann.

4. Die Ergebnisse: Warum ist das so cool?

Die Forscher haben Suiren-1.0 an über 50 verschiedenen Aufgaben getestet (von der Vorhersage von Siedepunkten bis hin zur Giftigkeit).

• Das Ergebnis: Suiren-1.0 hat in fast allen Fällen besser abgeschnitten als alle bisherigen Modelle.
• Der Vorteil: Früher musste man für jede neue Aufgabe ein neues, schweres Modell trainieren. Mit Suiren-ConfAvg kann man jetzt mit einem einzigen, leichten Modell fast alles vorhersagen – und das mit hoher Genauigkeit.

Zusammenfassung in einem Satz

Suiren-1.0 ist wie ein genialer Architekt, der erst die komplexen Baupläne eines Wolkenkratzers (3D-Physik) perfekt versteht und dann eine einfache, aber präzise Skizze (2D-Modell) erstellt, mit der man sofort wissen kann, ob das Gebäude sicher steht, ohne den ganzen Bau neu berechnen zu müssen.

Die Forscher haben alle ihre Modelle und Daten kostenlos ins Internet gestellt, damit jeder diese neue Technologie nutzen kann, um bessere Medikamente, sauberere Energie und sicherere Materialien zu entwickeln.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die Entwicklung universeller molekularer Modelle wird durch zwei Hauptprobleme behindert:

• Komplexität physikalischer Vorwissen: Molekulares Verhalten wird durch komplexe Gesetze der Quantenmechanik (z. B. Schrödinger-Gleichung) und statistischen Thermodynamik bestimmt. Diese rein datengetrieben zu lernen, ist schwierig, insbesondere bei der Knappheit hochwertiger, gelabelter Daten.
• Die Multiskalen-Lücke: Es besteht eine Kluft zwischen mikroskopischen Strukturen (3D-Konformationen, Elektronendichten) und makroskopischen Beobachtbaren (z. B. Löslichkeit, Siedepunkt).
  • Mikroskopische Aufgaben benötigen 3D-Daten, die oft durch Dichtefunktionaltheorie (DFT) generiert werden, aber teuer in der Berechnung sind.
  • Makroskopische Aufgaben basieren oft auf 1D-SMILES oder 2D-Graphen, denen explizite Konformationsinformationen fehlen.
  • Bestehende Modelle sind entweder rein 3D (gut für Quanteneigenschaften, aber schlecht generalisierbar auf 2D-Eingaben) oder rein 2D (gut für Topologie, aber „konformationsblind").

Das Ziel von Suiren-1.0 ist es, diese Lücke zu schließen, indem ein Framework entwickelt wird, das 3D-konformationsbewusste Repräsentationen in effiziente 2D-Repräsentationen überführt, ohne dabei physikalische Genauigkeit zu verlieren.

2. Methodik und Architektur

Suiren-1.0 besteht aus drei spezialisierten Varianten, die in einem dreistufigen Framework integriert sind:

A. Suiren-Base (Mikroskopische Repräsentation)

• Architektur: Ein hochgradig äquivarianter Graph Neural Network (GNN) mit 1,8 Milliarden Parametern.
• Kernkomponenten:
  • Integration von EquiformerV2 für SO(3)-Äquivarianz.
  • Ein dichtes Mixture-of-Experts (MoE)-Update-Block, der sowohl S2Activation- als auch Equivariant Spherical Transformer (EST)-Experten nutzt.
  • Basis-Rotations-Strategie: Um Diskretisierungsfehler bei der sphärischen Fourier-Transformation zu minimieren, werden die Fourier-Basen während des Trainings zufällig rotiert, was das Lernen orientierungskonsistenter Antworten fördert.
• Vortraining: Trainiert auf 70 Millionen DFT-Samples (Qo2mol-Dataset) mit spatialer Selbstüberwachung. Aufgaben umfassen Energie- und Kraftvorhersage sowie die Rekonstruktion von Konformationen.
• Erweiterung (Suiren-Dimer): Eine Variante, die durch fortgesetztes Vortraining auf 13,5 Millionen intermolekularen Wechselwirkungs-Samples (Dimere) für Anwendungen wie das Drug-Design optimiert wurde.

B. Conformation Compression Distillation (CCD)

Dies ist der Kernmechanismus zur Überbrückung der Skalenlücke.

• Konzept: Ein Diffusions-basiertes Framework, das das Wissen des 3D-Modells (Suiren-Base) in ein komprimiertes, konformationsagnostisches 2D-Modell (Suiren-ConfAvg) destilliert.
• Prozess:
  1. Ein 2D-Encoder (GAT) verarbeitet SMILES oder Graphen.
  2. Ein Diffusionsmodell (dynamisches Netzwerk) wird konditioniert auf die 2D-Repräsentation und die Konformationsenergie.
  3. Das Modell lernt, die 3D-Repräsentation und die 3D-Koordinaten aus dem 2D-Eingang unter Berücksichtigung der Boltzmann-Verteilung zu rekonstruieren.
• Ergebnis: Suiren-ConfAvg, ein leichtgewichtiges Modell, das aus SMILES oder 2D-Graphen hochwertige Repräsentationen generiert, die für makroskopische Aufgaben geeignet sind.

C. Dual Graph Neural Network (DGNN) für Fine-Tuning

Für Downstream-Aufgaben wird ein DGNN-Architektur verwendet, die den gefrorenen Suiren-ConfAvg-Encoder mit einem spezifischen, tieferen GNN kombiniert, um Katastrophisches Vergessen zu vermeiden und strukturelle Führung zu bieten.

3. Schlüsselbeiträge

1. Rahmenwerk für Mikroskopie-Makroskopie-Brücke: Ein dreistufiger Ansatz (3D-Vortraining -> CCD-Destillation -> 2D-Fine-Tuning), der die physikalische Verbindung zwischen Konformationsensemble und makroskopischen Eigenschaften explizit modelliert.
2. Physikalisch fundiertes Vortraining: Nutzung von First-Principles-Daten (DFT) und physikalisch motivierter Algorithmen (EMPP, EST) zur Verbesserung der Repräsentationsqualität.
3. Effiziente Transfer-Learning: Durch CCD können leistungsstarke 3D-Eigenschaften auf reine 2D-Eingaben (SMILES/Graphen) übertragen werden, was die Einsatzbarkeit in realen Pipelines (z. B. Drug Discovery) stark erhöht.
4. Open Science: Veröffentlichung aller Modelle (Suiren-Base, Dimer, ConfAvg), Gewichte, Trainingscodes und eines umfassenden Benchmarks (MoleHB).

4. Ergebnisse und Evaluation

Die Modelle wurden auf über 50 Aufgaben in 9 wissenschaftlichen Domänen evaluiert.

• Benchmark MoleHB (40+ Aufgaben):
  • Suiren-ConfAvg erreichte in 41 von 43 Eigenschaften den State-of-the-Art (SOTA) im Vergleich zu MoleBERT, Uni-Mol v1 und v2.
  • Deutliche Verbesserungen (oft >20%) bei kritischen Eigenschaften (z. B. kritische Temperatur, Druck), energetischen Eigenschaften (z. B. Bildungsenthalpie) und Transporteigenschaften (Viskosität).
  • Besonders stark bei Aufgaben, die stark von der Ensemble-Averaging abhängen (z. B. Wärmekapazität von Feststoffen: +65% Verbesserung).
• Therapeutics Data Commons (TDC) ADMET:
  • Erzielte SOTA-Ergebnisse in 9 von 18 Metriken (Regression und Klassifikation) für ADMET-Eigenschaften (z. B. Löslichkeit, Toxizität).
  • Einzigartiger Vorteil: Hohe Leistung wurde mit einer einheitlichen Hyperparameter-Konfiguration über alle Aufgaben hinweg erreicht, was die Reproduzierbarkeit und den Einsatz vereinfacht.
• Quantenmechanische Genauigkeit: Suiren-Base und Suiren-Dimer zeigten bei der Vorhersage von DFT-Energien und Kräften eine überlegene Genauigkeit gegenüber bestehenden Baselines (z. B. 0,258 meV Atom-Energie-MAE vs. >0,33 bei UMA).

5. Bedeutung und Ausblick

Suiren-1.0 stellt einen Paradigmenwechsel in der molekularen Modellierung dar, indem es die traditionelle Trennung zwischen 3D-Quantenmodellen und 2D-Graph-Modellen überwindet.

• Praktische Relevanz: Durch die Destillation in 2D-Modelle (Suiren-ConfAvg) können hochpräzise Vorhersagen getroffen werden, ohne dass teure 3D-Konformationsgenerierung für jede Eingabe notwendig ist. Dies ist entscheidend für Hochdurchsatz-Screening in der Arzneimittelforschung und Materialwissenschaft.
• Wissenschaftlicher Fortschritt: Die Arbeit demonstriert, dass die Integration physikalischer Vorwissen (Boltzmann-Verteilung, DFT-Daten) in Foundation Models zu robusteren und generalisierbaren Ergebnissen führt als rein datengetriebene Ansätze.
• Zukunft: Die Open-Source-Verfügbarkeit von Modellen und dem MoleHB-Benchmark fördert die reproduzierbare Forschung. Zukünftige Arbeiten könnten die Skalierung der MoE-Experten (Top-K-Routing) und die Erweiterung auf spezifischere Downstream-Aufgaben umfassen.

Zusammenfassend bietet Suiren-1.0 einen leistungsfähigen, physikalisch fundierten und praktisch anwendbaren Ansatz für die nächste Generation molekularer KI-Modelle.