SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

Die Studie stellt SELFormerMM vor, ein multimodales Framework, das SELFIES, Strukturdaten, Text und Wissensgraphen integriert, um überlegene molekulare Repräsentationen für die computergestützte Wirkstoffentwicklung zu erzeugen.

Das Wesentliche

SelFormerMM: Der „Super-Detektiv" für neue Medikamente

Stellen Sie sich vor, Sie wollen ein neues Medikament entwickeln. Früher mussten Chemiker wie Detektive arbeiten, die nur einen einzigen Hinweis haben: entweder die chemische Formel (eine lange Buchstabenkette) oder ein Bild der Molekül-Struktur. Das ist, als würde man versuchen, einen Menschen nur anhand seiner Telefonnummer oder nur anhand eines einzigen Fotos zu erkennen. Man verpasst dabei viel Wichtiges.

Die Forscher aus diesem Papier haben eine Lösung namens SELFormerMM entwickelt. Man kann sich das wie einen allwissenden Super-Detektiv vorstellen, der nicht nur einen, sondern vier verschiedene Arten von Beweisen gleichzeitig analysiert, um ein Molekül wirklich zu verstehen.

Hier ist die Erklärung, wie dieser Super-Detektiv funktioniert, ganz einfach erklärt:

1. Die vier Beweisketten (Die vier Modi)

Der Super-Detektiv schaut sich jedes Molekül aus vier verschiedenen Perspektiven an:

• Der Text-Experte (SELFIES): Statt der alten, oft fehleranfälligen Formeln nutzt er eine neue, perfekte Sprache namens SELFIES. Das ist wie ein Bauplan, der garantiert, dass das Haus (das Molekül) nicht einstürzt, bevor es gebaut wird. Er liest die Anweisungen wie ein Buch.
• Der Architekt (Struktur): Er betrachtet das Molekül wie ein 3D-Modell. Er sieht, wie die Atome wie ein Gerüst miteinander verbunden sind. Das ist wichtig, weil die Form bestimmt, wie das Molekül funktioniert.
• Der Übersetzer (Text-Beschreibungen): Er liest die Geschichten und Notizen über das Molekül. Was sagen Wissenschaftler darüber? Ist es giftig? Hilft es gegen Kopfschmerzen? Er versteht die menschliche Sprache rund um das Molekül.
• Der Netzwerker (Wissensgraph): Er kennt die Freunde und Feinde des Moleküls. Mit welchen Proteinen im Körper interagiert es? Welche Krankheiten hat es schon beeinflusst? Er sieht das große Bild im biologischen Netzwerk.

2. Wie lernt der Detektiv? (Das Training)

Statt diese vier Experten getrennt zu trainieren, bringt SELFormerMM sie in einen gemeinsamen Raum zusammen.

• Die Übung: Stellen Sie sich vor, Sie zeigen dem Detektiv ein Foto eines Hundes, eine Beschreibung „ein bellendes Tier", ein Gerüst aus Knochen und eine Liste seiner Freunde. Die Aufgabe des Detektivs ist es, zu lernen: „Aha! Das sind alles Informationen über diesen einen Hund!"
• Der Trick: Der Detektiv wird trainiert, diese vier völlig unterschiedlichen Informationen so zu verknüpfen, dass sie im Gehirn des Modells wie ein einziger, perfekter Fingerabdruck des Moleküls erscheinen. Er lernt, dass die Form, der Text und die Freunde alle zusammengehören.

3. Der große Test (Die Ergebnisse)

Nachdem der Detektiv Millionen von Molekülen so trainiert hat, wurde er auf harte Prüfungen geschickt:

• Kann er vorhersagen, ob ein Medikament das Gehirn erreicht? (Blut-Hirn-Schranke).
• Kann er sagen, ob es giftig ist?
• Kann er berechnen, wie gut es sich in Wasser auflöst?

Das Ergebnis war beeindruckend: Der Super-Detektiv SELFormerMM war in den meisten Fällen besser als alle bisherigen Modelle, die nur einen einzigen Blickwinkel hatten.

Ein konkretes Beispiel aus dem Papier:
Der Detektiv wurde gefragt: „Kann dieses Medikament ins Gehirn gelangen?"

• Bei Dextroamphetamin (ein bekanntes Mittel gegen ADHS) sagte er sofort: „Ja, fast zu 100%!" – und das war korrekt, denn dieses Medikament muss ins Gehirn wirken.
• Bei Benserazid (ein Parkinson-Mittel) sagte er: „Nein, gar nicht!" – auch das war korrekt, denn dieses Medikament soll nicht ins Gehirn gelangen, sondern nur im Körper wirken.

Warum ist das wichtig?

Früher mussten Forscher wie Blinde im Nebel tappen und sich auf nur eine Information verlassen. Mit SELFormerMM haben sie nun einen multimodalen Kompass.

• Vorteil: Es ist robuster. Wenn eine Information fehlt (z. B. keine Textbeschreibung vorhanden ist), kann der Detektiv trotzdem aus den anderen drei Quellen (Form, Struktur, Netzwerk) eine gute Vorhersage treffen.
• Zukunft: Das bedeutet, dass wir in Zukunft schneller und sicherer neue Medikamente finden können, die genau dort wirken, wo sie sollen, und weniger Nebenwirkungen haben.

Zusammenfassend:
SELFormerMM ist wie ein Team aus einem Linguisten, einem Architekten, einem Biographen und einem Sozialnetzwerk-Experten, die sich zusammensetzen, um ein Molekül so genau zu verstehen, dass sie vorhersagen können, wie es im menschlichen Körper funktionieren wird. Und das Beste: Die Forscher haben ihre Werkzeuge und den „Detektiv" kostenlos für alle anderen zur Verfügung gestellt, damit die ganze Welt daran weiterarbeiten kann.

Technische Zusammenfassung

1. Problemstellung

Die computergestützte Wirkstoffentdeckung (Computational Drug Discovery) ist stark auf das Lernen molekularer Repräsentationen angewiesen. Bisherige Modelle basieren jedoch meist auf unimodalen Eingaben (z. B. nur Molekülsequenzen wie SMILES oder nur Graphenstrukturen). Diese Ansätze erfassen nur begrenzte Aspekte des molekularen Verhaltens.
Die Herausforderung besteht darin, komplementäre Modalitäten – wie textuelle Beschreibungen, biologische Interaktionsnetzwerke (Wissensgraphen) und strukturelle Daten – in einem kohärenten multimodalen Framework zu vereinen. Bisherige multimodale Ansätze integrieren oft nur eine begrenzte Teilmenge dieser Modalitäten oder nutzen keine großen biologischen Interaktionsnetzwerke, was zu weniger informativen und biologisch weniger fundierten Repräsentationen führt.

2. Methodik: SELFormerMM

Die Autoren stellen SELFormerMM vor, ein einheitliches Framework für das multimodale Lernen molekularer Repräsentationen. Das Modell integriert vier heterogene Datenquellen in einen gemeinsamen latenten Raum:

1. SELFIES-Sequenzen: Eine grammatikbasierte Darstellung von Molekülen, die 100% chemische Validität garantiert (im Gegensatz zu SMILES).
2. Strukturelle Graphen: 2D-Molekülgraphen, die Atome als Knoten und Bindungen als Kanten darstellen.
3. Textuelle Beschreibungen: Natürlichsprachliche Beschreibungen von Molekülen (z. B. aus Datenbanken oder generiert durch LLMs).
4. Wissensgraphen (KG): Biologische Interaktionsdaten (z. B. Verbindungen zwischen Wirkstoffen, Proteinen, Genen und Krankheiten) aus dem CROssBARv2-KG.

Architektur und Trainingsprozess:

• Encoder: Das System nutzt vier modality-spezifische Encoder:
  • Sequence: Ein Transformer-basierter SELFormer (auf RoBERTa-Basis) für SELFIES.
  • Text: SciBERT für wissenschaftliche Textbeschreibungen.
  • Struktur: Uni-Mol für 3D-strukturelle Informationen (aus SMILES abgeleitet).
  • Wissensgraph: DMGI (Deep Mutual Graph Infomax) für die Einbettung biologischer Interaktionsnetzwerke.
• Projektion: Alle Encoder-Outputs werden durch nicht-lineare Projektionsnetzwerke (MLPs) in einen gemeinsamen 768-dimensionalen Hidden Space des SELFormer-Encoders projiziert.
• Pretraining (Selbstüberwacht): Das Modell wird auf ca. 3 Millionen Molekülen vortrainiert. Es nutzt einen multi-view supervised contrastive learning-Ansatz mit der SINCERELoss-Funktion. Das Ziel ist es, die Einbettungen desselben Moleküls aus verschiedenen Modalitäten im latenten Raum zu alignieren (ähnlich zu machen), während Einbettungen verschiedener Moleküle voneinander getrennt werden.
• Finetuning: Für Downstream-Aufgaben (z. B. Eigenschaftsvorhersage) wird ein spezialisierter Vorhersagekopf an den vortrainierten Backbone angehängt. Es wird eine Partial-Freeze-Strategie angewendet (die unteren Transformer-Schichten bleiben fixiert), um die vortrainierte Ausrichtung zu bewahren und gleichzeitig aufgabenspezifische Anpassungen zu ermöglichen.

3. Schlüsselbeiträge

• Umfassende Multimodalität: SELFormerMM ist eines der ersten Modelle, das SELFIES, 2D-Strukturen, natürliche Sprache und große biologische Wissensgraphen gleichzeitig in einem einzigen Framework integriert.
• Skalierbarkeit: Das Pretraining erfolgte auf einem Datensatz von ca. 3 Millionen Molekülen, was eine signifikante Skalierung gegenüber vielen bisherigen multimodalen Ansätzen darstellt.
• Robustheit durch SELFIES: Die Nutzung von SELFIES statt SMILES als Sequenzgrundlage erhöht die syntaktische Robustheit und chemische Validität der Eingabe.
• Open Source: Das Framework, die vortrainierten Modelle und die Datensätze sind öffentlich auf GitHub verfügbar.

4. Ergebnisse

Die Leistung von SELFormerMM wurde auf Benchmarks der MoleculeNet-Suite (Klassifikation und Regression) evaluiert:

• Klassifikationsaufgaben:
  • SELFormerMM erzielte die besten Ergebnisse auf dem SIDER-Datensatz (Vorhersage von Nebenwirkungen) mit einem ROC-AUC von 0,749.
  • Auf dem BBBP-Datensatz (Blut-Hirn-Schranke) erreichte es 0,918, was nur knapp hinter dem besten unimodalen Modell (MvMRL mit 0,963) liegt, aber deutlich über den meisten anderen multimodalen Ansätzen liegt.
  • Im Vergleich zu unimodalen Baselines (nur SELFIES, nur Graph, nur Text) zeigte die Integration aller Modalitäten meist eine Leistungssteigerung, insbesondere bei Aufgaben, die biologischen Kontext erfordern.
• Regressionsaufgaben:
  • Das Modell zeigte starke Leistungen bei der Vorhersage der Lipophilie (RMSE 0,574) und der Hydratationsenergie (FreeSolv, RMSE 0,883).
  • Bei der Vorhersage der Protein-Ligand-Bindungsaffinität (PDBbind) verbesserte sich die Leistung durch die Integration von Struktur- und Wissensgraphen-Daten im Vergleich zum reinen Sequenzmodell (RMSE 1,328 vs. 1,437).
• Ablationsstudien:
  • Die 2D-Strukturinformation erwies sich als die stabilste und konsistenteste Modalität.
  • Text- und Wissensgraphen-Daten zeigten variable Effekte, die oft von der Abdeckung im Datensatz abhingen. Bei unvollständiger Modalitätsabdeckung (z. B. fehlende Textbeschreibungen für viele Moleküle) konnte die Integration manchmal zu Optimierungsrauschen führen, wenn nicht sorgfältig gehandhabt wurde.
  • Das Finetuning verbesserte die Leistung in den meisten Fällen signifikant gegenüber dem reinen Pretraining.

5. Bedeutung und Ausblick

SELFormerMM demonstriert, dass die Integration komplementärer chemischer und biologischer Signale zu reichhaltigeren und interpretierbareren molekularen Repräsentationen führt.

• Biologische Relevanz: Fallstudien (z. B. zur Vorhersage der Blut-Hirn-Schranken-Durchlässigkeit von Dextroamphetamin vs. Benserazid) zeigten, dass das Modell biologisch fundierte Vorhersagen trifft, die mit dem pharmakologischen Wissen übereinstimmen.
• Zukunftsperspektiven: Die Autoren sehen Potenzial in der Verbesserung des Umgangs mit fehlenden Modalitäten (z. B. durch dynamische Verlustfunktionen statt Null-Padding) und der Erweiterung auf Aufgaben wie de novo-Design und Wirkstoff-Ziel-Interaktionen.
• Fazit: Das Framework bietet eine vielversprechende Grundlage für eine hypothesengetriebene Wirkstoffentdeckung, indem es die Lücke zwischen rein strukturellen Daten und komplexen biologischen Kontexten schließt.