🧬 biology

Synergistic Benefits of Joint Molecule Generation and Property Prediction

Dieser Artikel stellt Hyformer vor, ein auf Transformern basierendes Modell, das die Generierung von Molekülen und die Vorhersage von Eigenschaften durch einen alternierenden Aufmerksamkeitsmechanismus und ein gemeinsames Vor-Training vereint und synergistische Verbesserungen bei der bedingten Stichprobenziehung, der Vorhersage außerhalb der Verteilung sowie der Entdeckung neuartiger antimikrobieller Peptide demonstriert.

Ursprüngliche Autoren: Adam Izdebski, Jan Olszewski, Pankhil Gawade, Krzysztof Koras, Serra Korkmaz, Valentin Rauscher, Jakub M. Tomczak, Ewa Szczurek

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adam Izdebski, Jan Olszewski, Pankhil Gawade, Krzysztof Koras, Serra Korkmaz, Valentin Rauscher, Jakub M. Tomczak, Ewa Szczurek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter zwei völlig unterschiedliche Fähigkeiten gleichzeitig beizubringen: kreative Geschichten zu schreiben und diese auf bestimmte Eigenschaften zu kritisieren (wie „Ist diese Geschichte gruselig?" oder „Ist sie lustig?").

Normalerweise bauen Wissenschaftler zwei separate Roboter: einen, der ein Meistererzähler ist, aber schlecht im Kritisieren, und einen anderen, der ein Meisterkritiker ist, aber keine Geschichte von Grund auf schreiben kann. Das Problem ist, dass Sie, wenn Sie eine Geschichte wollen, die sowohl kreativ als auch spezifisch „gruselig" ist, diese beiden separaten Roboter jonglieren müssen, was oft zu unbeholfenen Ergebnissen führt.

Dieser Artikel stellt Hyformer vor, eine neue Art von KI, die lernt, gleichzeitig sowohl Autor als auch Kritiker zu sein, und zwar mit nur einem Gehirn.

Das Problem: Der Kampf der „gespaltenen Persönlichkeit"

In der Welt der Wirkstoffentwicklung (speziell beim Design neuer Moleküle) gehen Wissenschaftler die Dinge normalerweise in zwei Schritten an:

Generierung: Ein Modell erstellt neue chemische Strukturen (wie das Schreiben eines neuen Satzes).
Vorhersage: Ein anderes Modell betrachtet diese Struktur und schätzt ihre Eigenschaften ab (wie das Prüfen, ob der Satz Sinn ergibt oder eine bestimmte Stimmung hat).

Die Autoren argumentieren, dass die Trennung dieser Aufgaben ineffizient ist. Es ist, als würde man einen Koch einstellen, um eine Mahlzeit zuzubereiten, und dann eine völlig andere Person, um sie zu probieren und zu sagen, ob sie salzig ist. Wenn sie nicht miteinander sprechen, macht der Koch möglicherweise weiterhin Fehler, auf die der Probierer hinweisen möchte.

Darüber hinaus scheitert der Versuch, einen Roboter für beide Aufgaben zu trainieren, oft daran, dass sich die beiden Aufgaben „bekämpfen". Die Mathematik, die zum Schreiben eines Satzes erforderlich ist (unter Berücksichtigung nur dessen, was davor kam), unterscheidet sich von der Mathematik, die zum Kritisieren eines ganzen Satzes erforderlich ist (unter Berücksichtigung des gesamten Bildes auf einmal). Dies führt zu „Gradienteninterferenz", was eine elegante Umschreibung dafür ist, dass der Roboter verwirrt wird und keine der beiden Fähigkeiten gut lernt.

Die Lösung: Hyformers „Wechselnde Brillen"

Die Autoren haben Hyformer entwickelt, ein Modell, das auf einer Technologie namens Transformer basiert (derselbe Gehirntyp, der vielen modernen KI-Chatbots zugrunde liegt).

Hier ist der clevere Trick, mit dem sie es zum Laufen gebracht haben: Alternierende Aufmerksamkeit.

Stellen Sie sich vor, Hyformer trägt zwei verschiedene Brillenpaare:

Die „Autor"-Brille (Kausal): Wenn es Zeit ist, ein neues Molekül zu generieren, setzt es eine Brille auf, die es nur das Vergangene sehen lässt. Es betrachtet die Atome, die es bereits platziert hat, und entscheidet nacheinander, was als Nächstes kommt. So schreibt es.
Die „Kritiker"-Brille (Bidirektional): Wenn es Zeit ist, eine Eigenschaft zu vorhersagen, wechselt es zu einer Brille, die es das gesamte Molekül auf einmal sehen lässt. Es betrachtet die gesamte Struktur, um ihre Eigenschaften zu verstehen.

Das Modell wechselt während des Trainings ständig zwischen diesen beiden Modi. Es versucht nicht, beides im exakt gleichen Sekundenbruchteil zu tun; stattdessen übt es das Schreiben, dann sofort das Kritisieren, dann wieder das Schreiben. Dies verhindert, dass sich die beiden Aufgaben gegenseitig beeinträchtigen.

Die Ergebnisse: Warum dies wichtig ist

Der Artikel behauptet, dass Hyformer durch diese „Wechsel"-Methode synergetische Vorteile erzielt. Das bedeutet, dass das Ganze größer ist als die Summe seiner Teile.

Bessere Kontrolle: Wenn Sie Hyformer bitten, „ein Molekül zu schreiben, das wahrscheinlich ein Antibiotikum ist", leistet es viel bessere Arbeit als Modelle, die separat trainiert wurden. Da der „Schreiber" und der „Kritiker" dasselbe Gehirn teilen, lernt der Schreiber genau, wonach der Kritiker sucht, während er schreibt.
Intelligentere Vermutungen: Wenn das Modell auf eine völlig neue Art von Molekül stößt, die es noch nie gesehen hat (Out-of-Distribution), sagt es dessen Eigenschaften besser voraus als andere Modelle. Es hat ein tieferes Verständnis davon gelernt, was Moleküle sind, und nicht nur Muster auswendig gelernt.
Realitätsnaher Test: Die Autoren haben dies an einer realen Herausforderung getestet: dem Design von antimikrobiellen Peptiden (winzige Proteine, die Bakterien abtöten). Hyformer generierte erfolgreich neue Peptidsequenzen, die mit hoher Wahrscheinlichkeit wirksame Antibiotika sein würden, und übertraf dabei frühere spezialisierte Modelle.

Das Fazit

Denken Sie an Hyformer als an einen multitaskenden Künstler, der lernt, in derselben Sitzung sowohl zu malen als auch seine eigene Arbeit zu kritisieren. Durch das Wechseln zwischen den Modi „Erstellen" und „Analysieren" lernt das Modell eine einheitliche Sprache der Chemie. Dies ermöglicht es ihm, nicht nur zufällige Chemikalien zu generieren, sondern neue mit spezifischen, gewünschten Superkräften gezielt zu entwerfen, was den Prozess der Wirkstoffentwicklung effizienter und präziser macht.

Der Artikel kommt zu dem Schluss, dass dieser Ansatz Generierung und Vorhersage erfolgreich vereint und beweist, dass man nicht zwei separate Roboter braucht, um neue Medikamente zu entwickeln und zu testen; man braucht nur einen intelligenten, anpassungsfähigen.

Technische Zusammenfassung: Synergistische Vorteile der gemeinsamen Molekülgenerierung und Eigenschaftsvorhersage

Problemformulierung

Die Arbeit adressiert eine langjährige Herausforderung im maschinellen Lernen: die Entwicklung von Modellen, die gleichzeitig in generativen und prädiktiven Aufgaben hervorragende Leistungen erbringen. Im Bereich des Wirkstoffdesigns hängt der Erfolg davon ab, die Generierung neuer Moleküle aus unerforschten chemischen Räumen mit einer robusten Eigenschaftsvorhersage in Einklang zu bringen, die auf diese neuen Moleküle extrapolieren kann. Derzeit werden Molekülgenerierung und Eigenschaftsvorhersage überwiegend getrennt voneinander angegangen. Während transformerbasierte Modelle für beide Aufgaben einzeln den State-of-the-Art darstellen, stellt das gemeinsame Training erhebliche architektonische und Optimierungs-Herausforderungen dar. Die Kombination von generativen und prädiktiven Teilen in einem einzigen Modell führt häufig zu einer Überregularisierung oder zu Gradienteninterferenzen zwischen den generativen und prädiktiven Zielen, wodurch Modelle die potenziellen synergistischen Vorteile des gemeinsamen Lernens verschenken.

Methodik: Hyformer

Um diese Herausforderungen zu bewältigen, schlagen die Autoren Hyformer vor, ein transformerbasiertes gemeinsames Modell, das generative und prädiktive Funktionalitäten innerhalb eines einzigen Satzes geteilter Parameter vereint.

Architektur

Hyformer kombiniert einen autoregressiven Transformer-Decoder mit einem bidirektionalen Transformer-Encoder. Die Kerninnovation liegt in einem alternierenden Aufmerksamkeitsmechanismus, der durch ein Aufgaben-Token $[TASK] \in \{[LM], [PRED], [MLM]\}$ gesteuert wird:

Generativer Modus ($[LM]$): Das Modell fungiert als Decoder unter Verwendung einer kausalen Selbst-Aufmerksamkeitsmaske ( $M_\rightarrow$ ), die jeden Token darauf beschränkt, nur auf seinen linken Kontext zu achten.
Prädiktiver/Vor-Trainings-Modus ($[PRED], [MLM]$): Das Modell fungiert als Encoder unter Verwendung einer bidirektionalen Selbst-Aufmerksamkeitsmaske ( $M_\leftrightarrow$ ), die den vollen Kontextzugriff ermöglicht.

Dieses alternierende Schema mildert die Gradienteninterferenz ab, die für gemeinsame Modelle typisch ist. Die Jacobi-Matrix der Softmax-Funktion unter einer kausalen Maske verändert die Gradienten des Aufmerksamkeitsmoduls anders als unter einer bidirektionalen Maske, wodurch verhindert wird, dass sich die Ziele während der Updates widersprechen.

Trainingsstrategie

Hyformer verwendet einen zweistufigen Trainingsprozess:

Gemeinsames Vor-Training: Das Modell wird auf ungelabelten Daten unter Verwendung einer kombinierten Verlustfunktion vor-trainiert:
$\ell_{Hyformer} = \ell_{LM} + \mu\ell_{MLM} + \eta\ell_{PRED}$
Hierbei ist $\ell_{LM}$ der Sprachmodellierungsverlust, $\ell_{MLM}$ der Verlust für maskierte Sprachmodellierung und $\ell_{PRED}$ ein prädiktiver Verlust, der auf analytisch berechenbaren molekularen Deskriptoren basiert (z. B. Molekulargewicht, Hydrophobizität). Das Gleichgewicht zwischen den Aufgaben wird durch einen Vektor von Aufgabenwahrscheinlichkeiten $p_{[TASK]}$ gesteuert.
Fine-Tuning: Das Modell wird auf gelabelten Downstream-Aufgaben unter Verwendung eines gemeinsamen Verlusts feinabgestimmt:
$\ell_{Hyformer} = \ell_{LM} + \lambda\ell_{pred}$
Das Modell wechselt während des Fine-Tunings basierend auf Aufgabenwahrscheinlichkeiten zwischen generativen und prädiktiven Aufgaben, wobei der Verlust für maskierte Sprachmodellierung weggelassen wird, um sich auf die Downstream-Aufgabe zu konzentrieren, während die generativen Fähigkeiten erhalten bleiben.

Sampling

Hyformer unterstützt sowohl unbedingtes als auch bedingtes Sampling:

Unbedingt: Es werden Moleküle $x \sim p_\theta(x)$ unter Verwendung des autoregressiven Teils gesampelt.
Bedingt: Um Moleküle zu generieren, die eine Eigenschaftsbedingung $Y$ erfüllen, sampelt das Modell $K$ Kandidaten aus $p_\theta(x)$ und akzeptiert diejenigen, bei denen der gemeinsam trainierte Prädiktor $p_\theta(y|x)$ klassifiziert, dass sie die Eigenschaft $Y$ besitzen. Dies wird als Variante des Best-of- $K$ -Samplings formuliert, wobei der vereinheitlichte Repräsentationsraum für eine engere Ausrichtung zwischen Generierung und Steuerung genutzt wird.

Hauptbeiträge

Neues gemeinsames Modell: Einführung von Hyformer, das generative und prädiktive Aufgaben in einem einzigen Parametersatz unter Verwendung eines alternierenden Aufmerksamkeitsmechanismus vereint.
Nachweis synergistischer Vorteile: Empirische Belege zeigen, dass Hyformer bei folgenden Aspekten die Baselines übertrifft:
- Bedingte Molekülgenerierung.
- Eigenschaftsvorhersage außerhalb der Verteilung (OOD).
- Molekulare Repräsentationslernung (durch Probing).
Leistungsäquivalenz: Der Nachweis, dass Hyformer die Leistung rein generativer und rein prädiktiver State-of-the-Art-Modelle rivalisiert, was beweist, dass gemeinsames Training keinen Verzicht auf die Leistung einzelner Aufgaben erfordert.
Anwendung in der Praxis: Ein Anwendungsfall bei der Entdeckung neuer antimikrobieller Peptide (AMPs), der die Nützlichkeit der gemeinsamen Modellierung im Wirkstoffdesign demonstriert.

Experimentelle Ergebnisse

Bedingte Molekülgenerierung

Ausgewertet auf dem GuacaMol-Datensatz erreichte das gemeinsam feinabgestimmte Hyformer die niedrigste mittlere absolute Abweichung (MAD) und Standardabweichung (SD) über die Ziel-Eigenschaften (QED, SA, logP) hinweg, während es gleichzeitig eine hohe Validität beibehielt. Es übertraf nicht-gemeinsame Varianten und Baselines wie MolGPT und GraphGPT signifikant, was bestätigt, dass gemeinsames Fine-Tuning die Kontrollierbarkeit verbessert.

Eigenschaftsvorhersage außerhalb der Verteilung (OOD)

Bei der Hit-Identifizierungsaufgabe aus dem Lo-Hi-Benchmark erreichte Hyformer den höchsten mittleren AUPRC über alle Datensätze hinweg (DRD2, HIV, KDR, Sol) und übertraf fingerprint-basierte Baselines (k-NN, GB, SVM, MLP) sowie Deep-Learning-Modelle (Chemformer, Graphformer). Dies demonstriert die Fähigkeit des Modells, auf während des Trainings nicht gesehene molekulare Gerüste zu generalisieren.

Repräsentationslernen

Unter Verwendung eines neuartigen Probing-Protokolls auf dem MoleculeNet-Benchmark waren Repräsentationen, die aus dem gemeinsam vor-trainierten Hyformer extrahiert wurden, sowohl beim linearen als auch beim KNN-Probing am aussagekräftigsten. Hyformer erzielte bei 4 von 10 Datensätzen für lineares Probing und bei 5 von 10 Datensätzen für KNN-Probing die beste Leistung und übertraf dabei State-of-the-Art-prädiktive Modelle wie Uni-Mol und andere gemeinsame Modelle.

Unbedingte Generierung und AMP-Design

Unbedingte Generierung: Auf den GuacaMol- und MOSES-Benchmarks lag Hyformer konsistent auf der Pareto-Front und balancierte Verteilungstreue (FCD, KL-Divergenz), Validität und Einzigartigkeit aus, wobei es State-of-the-Art-SMILES-basierte und graphbasierte Modelle rivalisierte.
Design antimikrobieller Peptide: In einer realen Wirkstoffdesign-Aufgabe generierte Hyformer Peptide mit hoher Fitness und AMP-Wahrscheinlichkeit und übertraf Baselines (PepCVAE, AMPGAN, HydrAMP, AMP-Diffusion) signifikant, während es eine wettbewerbsfähige Perplexität und Diversität beibehielt. Die Aufmerksamkeitsanalyse ergab, dass das Modell biologisch relevante Aminosäuren (Arginin, Lysin, Tryptophan, Prolin), die mit antimikrobieller Aktivität assoziiert sind, priorisierte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Hyformer die Molekülgenerierung und Eigenschaftsvorhersage für SMILES-basierte Repräsentationen erfolgreich vereint und Wege für die Integration in reale Pipelines der Wirkstoffentdeckung eröffnet. Die Autoren betonen, dass die synergistischen Vorteile des gemeinsamen Lernens – insbesondere eine verbesserte Kontrolle über den Generierungsprozess, Robustheit gegenüber OOD-Daten und das Erlernen hochrangiger prädiktiver Repräsentationen – ohne Verzicht auf die Leistung einzelner Aufgaben erreichbar sind.

Die Autoren erkennen inhärente Kompromisse an und stellen fest, dass geteilte Parameter eine aufgabenspezifische Spezialisierung einschränken können. Sie schlagen vor, dass zukünftige Arbeiten dynamische oder modulare Aufmerksamkeitsarchitekturen erforschen könnten, um Kapazitäten flexibler zuzuweisen. Ferner stellen sie fest, inwieweit diese synergistischen Vorteile auf andere Modalitäten, wie 3D-Strukturen oder Transkriptomik, anwendbar sind, eine offene Frage bleibt. Die Arbeit wird als ein Schritt hin zu Werkzeugen präsentiert, die die Entwicklung neuer potenzieller Medikamente erleichtern, und nicht als Lösung für böswillige Anwendungen.