mCLM: A Modular Chemical Language Model that Generates Functional and Makeable Molecules

Das Paper stellt mCLM vor, ein modulares chemisches Sprachmodell, das Moleküle auf Basis funktionaler Bausteine statt einzelner Atome tokenisiert, um gleichzeitig die Vorhersage chemischer Eigenschaften zu verbessern und die Kompatibilität mit der automatisierten Synthese sicherzustellen.

Das Wesentliche

Stell dir vor, du möchtest ein neues, perfektes Rezept für einen Kuchen erfinden, der nicht nur unglaublich lecker ist, sondern auch garantiert gelingt und mit den Utensilien, die du zu Hause hast, gebacken werden kann.

Das ist genau das Problem, mit dem Wissenschaftler im Bereich der Medikamentenentwicklung kämpfen. Sie nutzen große künstliche Intelligenzen (KI), um neue Moleküle (die „Zutaten" für Medikamente) zu erfinden. Aber bisher gab es ein großes Missverständnis:

Das alte Problem: Der KI-Koch, der nur Buchstaben kennt
Die bisherigen KI-Modelle haben Moleküle wie einen Text behandelt, der aus einzelnen Buchstaben besteht (z. B. C für Kohlenstoff, O für Sauerstoff).

• Das Problem: Das ist, als würdest du versuchen, einen komplexen Kuchen zu beschreiben, indem du nur die einzelnen Buchstaben des Wortes „Kuchen" nennst. Die KI kann zwar Buchstabenkombinationen erfinden, die wie ein Wort aussehen, aber sie weiß nicht, ob diese Kombinationen in der echten Welt überhaupt existieren oder ob man sie in einer Küche (dem Labor) überhaupt zusammenbauen kann. Oft erfindet die KI „Zutaten", die chemisch unmöglich sind oder für die es keine Maschine gibt, die sie herstellen kann.

Die Lösung: mCLM – Der KI-Koch mit Bausteinen
Die Forscher haben nun mCLM entwickelt. Statt Buchstaben zu verwenden, hat diese KI eine neue Sprache gelernt: Sie denkt in funktionellen Bausteinen.

Hier ist die einfache Erklärung mit Analogien:

1. Die Sprache der Bausteine (Modulare Chemie)

Stell dir vor, anstatt einen Kuchen von Grund auf neu zu backen (Mehl, Eier, Zucker einzeln mischen), hast du eine Kiste mit vorgefertigten, perfekten Kuchenstücken:

• Ein fertiger Boden.
• Eine fertige Schicht Sahne.
• Ein fertiges Stück Obst.

Diese „Bausteine" sind in der Chemie sogenannte funktionelle Gruppen. Sie sind kleine Molekülteile, die eine bestimmte Aufgabe haben (z. B. „macht das Medikament wasserlöslich" oder „hilft ihm, ins Gehirn zu gelangen").

• Der Clou: Diese Bausteine sind so designed, dass Roboter sie leicht und schnell zusammenstecken können. Es ist wie Lego: Du nimmst ein Teil, das passt, und klickst es an ein anderes. Die KI weiß genau, welche Teile zusammenpassen und welche nicht.

2. Die zweisprachige KI

mCLM ist wie ein zweisprachiger Übersetzer, der zwei Welten verbindet:

• Sprache 1 (Natürliche Sprache): „Ich brauche ein Medikament gegen Krebs, das ins Gehirn kommt und keine Leberschäden verursacht."
• Sprache 2 (Chemische Sprache): Die KI übersetzt diesen Wunsch sofort in eine Kette von Lego-Bausteinen, die sie kennt und die Roboter bauen können.

Sie denkt nicht in abstrakten Atomen, sondern in sinnvollen „Wörtern" (Bausteinen), die eine Funktion haben.

3. Warum ist das so revolutionär?

• Garantierte Machbarkeit: Wenn die KI ein neues Molekül vorschlägt, ist es zu 100 % sicher, dass ein Roboter es im Labor bauen kann. Keine „Halluzinationen" von unmöglichen Molekülen mehr.
• Rettung gescheiterter Medikamente: Es gibt viele Medikamente, die fast fertig waren, aber in klinischen Tests gescheitert sind (die „gefallenen Engel"), weil sie z. B. zu giftig für die Leber waren. mCLM kann diese Medikamente nehmen, den „giftigen Baustein" identifizieren, ihn durch einen sicheren Ersatzbaustein austauschen und so das Medikament retten, ohne die Heilwirkung zu verlieren.
• Geschwindigkeit: Da die Bausteine vorgefertigt sind, kann man neue Medikamente viel schneller entwerfen und bauen als mit den alten Methoden.

Zusammenfassung in einem Satz

Statt dass die KI versucht, jedes einzelne Atom neu zu erfinden (was oft zu unmöglichen Ergebnissen führt), hat mCLM gelernt, wie ein geschickter Handwerker: Sie nimmt bewährte, funktionierende Bauteile und baut daraus neue, sichere und schnell herstellbare Medikamente, genau so, wie es der Mensch in der Natur beschreibt.

Das Ergebnis: Ein Werkzeug, das KI und Chemie so verbindet, dass wir in Zukunft schneller Medikamente gegen Krankheiten finden können, die heute noch unheilbar sind, und das alles mit Robotern in Laboren, die rund um die Uhr arbeiten können.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) haben zwar die Fähigkeit, chemisches Wissen zu verstehen, stoßen jedoch bei der Generierung neuer, funktionaler Moleküle an Grenzen. Die bestehenden Ansätze leiden unter zwei Hauptproblemen:

• Mangelnde Synthesefähigkeit: Von LLMs vorgeschlagene Moleküle sind oft chemisch schwer oder gar nicht im Labor herstellbar. Sie sind selten mit automatisierten Syntheseverfahren kompatibel.
• Ineffiziente Tokenisierung: Herkömmliche Modelle tokenisieren Moleküle auf Atom-Ebene (ähnlich wie Zeichen in einem Text, z. B. SMILES-Strings). Dies führt zu einer offenen Vokabular-Problematik, da kleine Moleküle eine enorme Vielfalt an Atombindungen aufweisen. Im Gegensatz zu Proteinen, die aus einer festen Menge von 20 Aminosäuren bestehen, fehlt kleinen Molekülen eine natürliche, semantisch reiche „Wort"-Ebene. Atom-basierte Tokenisierung erschwert die Generalisierung und führt oft zu generierten Strukturen, die in der realen Welt nicht existieren oder nicht synthetisiert werden können.

Das Ziel ist es nicht, alle möglichen Moleküle zu generieren, sondern die richtigen Moleküle zu finden, die funktional sind und gleichzeitig effizient synthetisierbar.

2. Methodik: mCLM (Modular Chemical Language Model)

mCLM ist ein bilingualer, multimodaler Ansatz, der natürliche Sprache mit einer modularen chemischen Sprache verbindet. Die Kernidee ist die Tokenisierung auf Ebene von funktionalen Bausteinen (Building Blocks) statt einzelner Atome.

A. Chemisches Vokabular und Tokenisierung

Statt Atome zu verwenden, definiert mCLM ein Vokabular aus synthese-freundlichen Bausteinen (Subgraph-Strukturen).

• Synthese-Garantie: Die Tokenisierung erfolgt durch einen speziellen Tokenizer, der Moleküle nur an Bindungen trennt, die durch eine kleine, vordefinierte Menge automatisierbarer Reaktionen geknüpft werden können (hauptsächlich Amid-Kupplung, Suzuki-Miyaura-Kupplung und Buchwald-Hartwig-Kupplung).
• Zweiphasiger Ansatz:
  1. Ein Synthesis-Guaranteed Tokenizer zerlegt Moleküle nur in Bausteine, die garantiert synthetisierbar sind.
  2. Ein Rule-based Tokenizer dient als Fallback für eine breitere Abdeckung während des Trainings, garantiert aber keine Synthese.
• Rekonstruktion: Jeder Baustein enthält Platzhalter-Atome (z. B. [1*], [2*]), die die Verbindungspunkte kodieren. Dies ermöglicht eine verlustfreie Rekonstruktion des ursprünglichen Moleküls aus der Token-Sequenz.

B. Modellarchitektur

mCLM basiert auf einem Transformer-Architektur (Startpunkt: Qwen2.5-3B) und integriert zwei Modalitäten:

1. Natürliche Sprache: Beschreibungen von Funktionen, Eigenschaften und Synthesekontexten.
2. Chemische Bausteine: Molekulare Fragmente, die durch Graph Neural Networks (GNNs) kodiert werden.

• Code-Switching: Das Modell lernt, natürliche Sprache und chemische Bausteine nahtlos zu mischen (ähnlich wie zweisprachige Sprecher, die „Code-Switching" betreiben).
• Encoder: Ein GNN kodiert die Struktur jedes Bausteins. Diese Embeddings werden über einen Adapter-Modul in den Vektorraum des LLM projiziert und mit Text-Embeddings an den entsprechenden Stellen verknüpft.
• Training: Das Modell wird auf einem großen Datensatz (ca. 1 Mio. Beispiele, 36 Mio. Anweisungen) trainiert, der aus öffentlichen Datenbanken und synthetisch generierten Daten besteht. Das Trainingsziel ist eine einheitliche Kreuzentropie-Verlustfunktion für beide Modalitäten.

C. Kritische chemische Schlussfolgerung (Reasoning)

mCLM nutzt die Fähigkeit von LLMs zur instruktionsbasierten Iteration. Statt ein Molekül in einem Schritt zu generieren, durchläuft es einen iterativen Verbesserungsprozess:

1. Bewertung der aktuellen Moleküleigenschaften (z. B. Toxizität, Löslichkeit).
2. Identifikation der zu optimierenden Eigenschaft.
3. Vorschlag einer Modifikation (Ersetzen/Hinzufügen von Bausteinen) durch das Modell.
4. Wiederholung bis zur Konvergenz oder Erreichen eines Schwellenwerts.

3. Hauptbeiträge

• Paradigmenwechsel in der Tokenisierung: Erstmals wird ein LLM für kleine Moleküle auf Ebene von synthese-garantierten Bausteinen statt auf Atom-Ebene trainiert. Dies schließt die Lücke zwischen digitaler Vorhersage und physischer Machbarkeit.
• Bilingualer Ansatz: Nahtlose Integration von natürlicher Sprache und chemischer Struktur in einem einzigen Modell, das sowohl „denkt" (Reasoning) als auch „spricht" (Generierung).
• Garantierte Synthesefähigkeit: Durch die Beschränkung auf einen Vorrat an roboterfreundlichen Bausteinen sind alle generierten Moleküle per Design synthetisierbar.
• Skalierbarkeit und Generalisierung: Das Modell kann auf Bausteine verallgemeinern, die nicht im Trainingsvokabular enthalten waren (Out-of-Distribution), indem es die GNN-Features nutzt.

4. Ergebnisse

Die Evaluation umfasste 430 FDA-zugelassene Medikamente und 122 Out-of-Distribution-Moleküle.

• Verbesserung von Eigenschaften: mCLM verbesserte signifikant 6 wichtige pharmakokinetische und toxische Eigenschaften (AMES, BBBP, CYP3A4, DILI, HIA, PGP) bei bestehenden Arzneimitteln. Die durchschnittliche Verbesserung lag bei 15,0 %, was deutlich über anderen State-of-the-Art-Methoden (wie GPT-5, Gemini-2.5, MoleculeSTM) liegt.
• Synthesefähigkeit (Makeability):
  • Validität: 100 % der von mCLM generierten Moleküle waren syntaktisch korrekt (im Vergleich zu ~94 % bei MoleculeSTM).
  • Retrosynthese: Mit dem fortschrittlichen Tool Allchemy wurde gezeigt, dass 98,23 % der von mCLM generierten Moleküle tatsächlich synthetisierbare Synthesewege haben. Dies ist höher als bei den meisten bestehenden Arzneimitteln (98,11 %) und deutlich besser als bei anderen KI-Methoden (z. B. MoleculeSTM: ~85 %).
• Fallen Engel (Fallen Angels): mCLM konnte erfolgreich Moleküle reparieren, die in klinischen Studien gescheitert waren (z. B. Evobrutinib und TNG348), indem es die Lebertoxizität (DILI) reduzierte und gleichzeitig andere Eigenschaften optimierte, ohne die Wirksamkeit zu verlieren.
• Effizienz: Trotz nur 3 Milliarden Parametern (3B) übertrifft mCLM deutlich größere Modelle (inkl. GPT-5) in Bezug auf Synthesefähigkeit und Eigenschaftsoptimierung.

5. Bedeutung und Ausblick

mCLM stellt einen fundamentalen Fortschritt im Bereich des „AI for Science" dar, insbesondere für die Arzneimittelforschung und Materialwissenschaft.

• Demokratisierung: Durch die Automatisierung der Syntheseplanung und die Generierung von „herstellbaren" Molekülen wird die Entdeckung neuer Wirkstoffe für Nicht-Experten zugänglicher.
• Brücke zur physischen Welt: Das Modell löst das Problem, dass KI-Modelle oft nur in der Simulation funktionieren. mCLM generiert direkt Ergebnisse, die in einem automatisierten Labor umgesetzt werden können.
• Zukunft: Die Autoren planen, das Modell auf größere Backbones zu skalieren, 3D-Strukturdaten zu integrieren und es in einen autonomen Labor-Zyklus (Reasoning -> Proposal -> Synthesis -> Testing) zu überführen, um eine kontinuierliche Selbstverbesserung zu ermöglichen.

Zusammenfassend demonstriert mCLM, dass die Anpassung der Tokenisierung an die physikalischen und chemischen Gegebenheiten (Bausteine statt Atome) der Schlüssel ist, um generative KI für die reale Entdeckung funktionaler Moleküle nutzbar zu machen.