💬 NLP

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

Dieser Artikel stellt Speak-to-Structure (S^2-Bench) vor, den ersten Benchmark, der entwickelt wurde, um Large Language Models bei offenen, von natürlicher Sprache gesteuerten One-to-Many-Aufgaben zur Molekülgenerierung zu bewerten, sowie OpenMolIns, einen Datensatz, der es feinabgestimmten Modellen ermöglicht, führende LLMs im realistischen Moleküldesign zu übertreffen.

Ursprüngliche Autoren: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Vom „Raten der Antwort" zum „Entwerfen der Lösung"

Stellen Sie sich vor, Sie sind ein Koch. Seit Jahren testen Forscher KI-Köche, indem sie ihnen ein spezifisches Rezept geben (wie „Backen Sie einen Schokoladenkuchen") und sie bitten, einen bestimmten Kuchen nachzubacken, der bereits in einer Datenbank existiert. Wenn die KI einen Kuchen backt, der genau wie der in der Datenbank aussieht, erhält sie einen goldenen Stern.

Das Problem: Echte Kochkunst (und echte Wissenschaft) dreht sich nicht ums Kopieren. Wenn Sie einen Koch fragen: „Backen Sie mir einen Kuchen mit wenig Zucker, der trotzdem süß schmeckt", gibt es nicht nur eine richtige Antwort. Es gibt Hunderte verschiedener Rezepte, die funktionieren könnten. Die alten Tests waren zu streng; sie belohnten die KI nur dafür, die „richtige" Antwort auswendig gelernt zu haben, nicht dafür, kreativ zu sein.

Die Lösung: Dieses Paper stellt S2-Bench (Speak-to-Structure) vor. Es ist ein neuer Test, der prüfen soll, ob die KI wie ein echter kreativer Koch agieren kann. Anstatt eine Kopie zu verlangen, fordert er die KI auf, neue Dinge basierend auf einer Beschreibung zu erfinden, wobei bekannt ist, dass es viele mögliche „richtige" Antworten gibt.

Die drei Herausforderungen (Die „Speisekarte")

Das Paper testet die KI bei drei spezifischen Aufgaben, die wie verschiedene Stufen einer Kochherausforderung sind:

Molekül-Editierung (Die „Anpassungs"-Herausforderung):
- Die Analogie: Stellen Sie sich vor, Sie haben ein bestimmtes Automodell. Der Test fordert die KI auf, „einen Turbolader hinzuzufügen" oder „das Schiebedach zu entfernen".
- Das Ziel: Die KI muss das ursprüngliche Auto nehmen und nur diese spezifische Änderung vornehmen, ohne den Motor zu zerstören oder das Auto in ein Boot zu verwandeln. Es testet, ob die KI die Regeln versteht, wie Dinge zusammenpassen.
Molekül-Optimierung (Die „Upgrade"-Herausforderung):
- Die Analogie: Sie haben ein Auto und möchten, dass es „schneller" oder „kraftstoffeffizienter" wird.
- Das Ziel: Die KI muss das Auto so modifizieren, dass es eine bestimmte Eigenschaft (wie die Geschwindigkeit) verbessert, während das Auto wiedererkennbar bleibt. Es reicht nicht aus, einfach ein neues, schnelles Auto von Grund auf zu bauen; es muss eine Verbesserung des ursprünglichen Autos sein.
Maßgeschneiderte Molekül-Generierung (Die „Leinwand"-Herausforderung):
- Die Analogie: Sie sagen zur KI: „Bauen Sie mir ein Fahrzeug mit genau 4 Rädern, einer roten Karosserie und einem V8-Motor."
- Das Ziel: Die KI muss ein völlig neues Fahrzeug aus dem Nichts erfinden, das diese strengen Regeln erfüllt. Dies ist der härteste Test, da die KI die Regeln perfekt befolgen muss, ohne eine Vorlage als Ausgangspunkt zu haben.

Das neue Trainingsmanual: OpenMolIns

Um der KI zu helfen, bei diesen Aufgaben besser zu werden, haben die Autoren ein massives neues Trainingsbuch namens OpenMolIns erstellt.

Der alte Weg: Frühere Trainingsbücher enthielten sehr wenige Beispiele, und sie waren meist vom Typ „Frage: Was ist dieses Molekül? Antwort: [Exakter Molekülname]". Dies lehrte die KI das Auswendiglernen.
Der neue Weg: OpenMolIns ist wie eine riesige Bibliothek mit 1,2 Millionen Beispielen, in der die KI die Logik der Chemie lernt. Es lehrt die KI: „Wenn Sie etwas schneller machen wollen, versuchen Sie, diesen Teil hinzuzufügen", anstatt nur „Hier ist die Antwort".

Das Ergebnis: Mit diesem neuen Trainingsbuch war ein relativ kleines KI-Modell (Llama3.1-8B) in der Lage, bei diesen kreativen Aufgaben viel größere und bekanntere Modelle (wie GPT-4o und Claude-3.5) zu schlagen. Es bewies, dass gutes Training wichtiger ist als nur ein riesiges Gehirn zu haben.

Wie sie die KI benoten (Der Punktezettel)

Bei den alten Tests erhielt die KI 100 %, wenn sie ein Molekül schrieb, das wortwörtlich mit dem Ziel übereinstimmte. Aber bei diesem neuen Test reicht das nicht aus. Die Autoren entwickelten ein intelligenteres Bewertungssystem:

Haben Sie die Anweisungen befolgt? (Erfolgsrate)
Ist es eine vernünftige Änderung? (Ähnlichkeit)
- Der Haken: Wenn Sie gebeten haben, einem Auto ein „Rad hinzuzufügen", und die KI ein völlig anderes Auto baute, das zufällig ein Rad hatte, würde der alte Test sagen: „Gut gemacht!". Der neue Test sagt: „Nein, Sie haben das ursprüngliche Auto nicht wirklich verändert; Sie haben den Prompt ignoriert und etwas anderes gebaut."
Ist es neu? (Neuartigkeit)
- Für die „Leinwand"-Herausforderung erhält die KI Punkte für die Erfindung von etwas, das in den Datenbanken der Welt noch nicht existiert.

Wichtige Erkenntnisse

Auswendiglernen reicht nicht: Aktuelle KI-Modelle sind gut darin, Fakten abzurufen, haben aber Schwierigkeiten, komplexe, kreative Anweisungen in der Chemie zu befolgen.
Eins-zu-Viele ist real: In der Wissenschaft hat eine Frage oft viele gültige Antworten. Alte Tests erlaubten dies nicht; der neue tut es.
Kleine Modelle können gewinnen: Mit den richtigen Trainingsdaten (OpenMolIns) kann ein kleineres, günstigeres KI-Modell riesige, teure Modelle beim Design von Molekülen übertreffen.
Der „menschliche" Check: Die Autoren ließen menschliche Experten die Arbeit der KI begutachten. Sie stellten fest, dass das neue Bewertungssystem (das logische Änderungen über zufällige Raten stellt) viel besser mit menschlichen Meinungen übereinstimmte als das alte „exakte Übereinstimmung"-System.

Kurz gesagt baut dieses Paper einen besseren Trainingsraum für KI, um Chemie zu üben. Anstatt nur Karteikarten auswendig zu lernen, lernt die KI nun, wie man tatsächlich neue Dinge basierend auf einem Gespräch entwirft und baut.

Technischer Überblick: Speak-to-Structure (S2-Bench)

Problemstellung

Aktuelle Large Language Models (LLMs) zeigen vielversprechende Ergebnisse bei der entwicklungsgesteuerten Molekülforschung mittels natürlicher Sprache, doch bestehende Evaluierungsbenchmarks leiden unter einer kritischen Einschränkung: Sie beruhen auf eindeutigen Zuordnungen (One-to-One-Mappings) zwischen textuellen Beschreibungen und einzelnen, vordefinierten Zielmolekülen (z. B. ChEBI-20, PubChem324K). Dieses Paradigma geht von einer einzigartigen Lösung für jeden Prompt aus, was der Realität der Molekülforschung widerspricht, in der mehrere unterschiedliche Moleküle dieselben biologischen oder physikalischen Eigenschaften erfüllen können. Folglich testen aktuelle Benchmarks primär die Fähigkeit eines Modells, spezifische Muster zu memorieren und abzurufen, statt seine Kapazität für kreatives, offenes Moleküldesign und echtes strukturelles Schlussfolgern. Es fehlt eine standardisierte Evaluierung für „One-to-Many"-Beziehungen bei der Generierung von Molekülen aus Text.

Methodik

1. Speak-to-Structure (S2-Bench)

Die Autoren stellen S2-Bench vor, den ersten Benchmark, der entwickelt wurde, um LLMs bei der generierung von Molekülen aus offener natürlicher Sprache zu evaluieren. Im Gegensatz zu früheren Datensätzen übernimmt S2-Bench ein One-to-Many-Paradigma, bei dem eine einzelne Anweisung durch mehrere gültige molekulare Strukturen erfüllt werden kann. Der Benchmark besteht aus drei Hauptaufgaben, die jeweils eine unterschiedliche Phase des Wirkstoffentwicklungsprozesses adressieren:

Moleküladaption (MolEdit): Testet die Fähigkeit, präzise, lokalisierte strukturelle Modifikationen vorzunehmen (Hinzufügen, Löschen oder Ersetzen von funktionellen Gruppen), während das Grundgerüst erhalten bleibt. Dies simuliert die Leitstrukturoptimierung.
Moleküloptimierung (MolOpt): Bewertet zielgerichtetes chemisches Schlussfolgern, bei dem das Modell eine Leitverbindung so modifizieren muss, dass spezifische Eigenschaften (LogP, MR, QED) optimiert werden, ohne die Grundstruktur unnötig zu verändern.
Angepasste Molekülgenerierung (MolCustom): Fordert das Modell heraus, ein neues Molekül von Grund auf zu synthetisieren, basierend auf natürlichen Sprachbeschränkungen bezüglich Atomzahlen, Bindungstypen oder funktionellen Gruppen, was die initiale Designphase simuliert.

Evaluierungsmetriken:
Um der „One-to-Many"-Natur gerecht zu werden, gehen die Autoren über exakte String-Vergleiche hinaus. Sie setzen ein automatisiertes Evaluierungssystem ein, das Cheminformatik-Toolkits (RDKit) nutzt, um Folgendes zu berechnen:

Validität: Ob die generierte SMILES-Zeichenkette chemisch gültig ist.
Erfolgsrate (SR): Ob das Molekül die spezifischen Beschränkungen erfüllt (z. B. korrekte Eigenschaftsrichtung oder funktionelle Gruppe).
Ähnlichkeit (für MolEdit/MolOpt): Tanimoto-Ähnlichkeit unter Verwendung von Morgan-Fingerabdrücken, um sicherzustellen, dass die Ausgabe eine rationale Modifikation der Eingabe ist und nicht eine zufällige gültige Molekülstruktur.
Neuartigkeit (für MolCustom): Misst, wie unterschiedlich das generierte Molekül von einer Referenzdatenbank (Zinc-250K) ist.
Gewichtete Erfolgsrate (WSR): Eine zusammengesetzte Metrik, die die Erfolgsrate mit Ähnlichkeit (für Adaption/Optimierung) oder Neuartigkeit (für Anpassung) kombiniert, um eine ganzheitliche Leistungsbewertung zu liefern.

2. OpenMolIns-Datensatz

Um das Training für diese offenen Aufgaben zu erleichtern, stellen die Autoren OpenMolIns vor, einen groß angelegten, programmatisch aus der PubChem-Datenbank konstruierten Instruction-Tuning-Datensatz.

Skala: Enthält bis zu 1,2 Millionen Anweisung-Molekül-Paare.
Konstruktion: Nutzt automatisierte chemische Toolkits, um diverse Prompts und entsprechende gültige Moleküle zu generieren und so eine One-to-Many-Beziehung sicherzustellen.
Struktur: Spiegelt die drei S2-Bench-Aufgaben wider und umfasst fünf Datenskalen (light bis xlarge), um Skalierungsgesetze für Daten zu untersuchen.
Integrität: Wurde so konzipiert, dass keine Überlappung mit dem S2-Bench-Testset (Zinc-250K) besteht, um Datenlecks zu verhindern.

3. Experimenteller Aufbau

Die Autoren haben 31 LLMs getestet, kategorisiert in:

Proprietäre Modelle (z. B. GPT-4o, Claude-3.5).
Open-Source-Allgemein-LLMs (z. B. Llama3, Mistral, Qwen).
Domänenspezifische LLMs (z. B. ChemLLM, BioT5).
Modelle, die auf OpenMolIns feinabgestimmt wurden.

Die Evaluierung erfolgte mittels automatisierter Pipelines, wobei eine Teilmenge der Ergebnisse durch menschliche Experten validiert wurde, um eine Korrelation zwischen automatisierten Metriken und menschlichem Urteil herzustellen.

Wichtige Ergebnisse

Leistungsgefälle bei strukturellen Beschränkungen: Selbst hochrangige proprietäre Modelle (z. B. Claude-3.5, Gemini-1.5-Pro) erreichten moderate durchschnittliche gewichtete Erfolgsraten (~35 %), hatten jedoch erhebliche Schwierigkeiten mit MolCustom-Aufgaben und überschritten bei einzelnen Unteraufgaben keine 25 % gewichtete Erfolgsrate. Dies deutet auf Schwierigkeiten hin, feingranulare strukturelle Beschränkungen (exakte Atom-/Bindungszahlen) trotz allgemeiner Schlussfolgerungsfähigkeiten zu erfüllen.
Überlegenheit des Instruction Tuning: Während vortrainierte chemische LLMs (z. B. BioT5-base) im Vergleich zu allgemeinen LLMs schlecht abschnitten (4,21 % WSR), brachte Instruction Tuning auf OpenMolIns dramatische Verbesserungen.
- Llama3.1-8B-Instruct, feinabgestimmt auf der größten OpenMolIns-Skala (xlarge), erreichte eine 39,33 % WSR und übertraf damit alle anderen Modelle, einschließlich größerer proprietärer Modelle.
- Bemerkenswerterweise erreichte das kleine Galactica-125M-Modell nach Feinabstimmung auf OpenMolIns eine 25,73 % WSR und übertraf damit Modelle, die zwei Größenordnungen größer waren (z. B. Llama3-70B).
Grenzen von One-to-One-Benchmarks: Modelle, die auf traditionellen One-to-One-Datensätzen (ChEBI-20) feinabgestimmt wurden, schnitten auf S2-Bench schlechter ab als allgemeine LLMs. Diese Modelle neigten dazu, chemisch gültige, aber strukturell nicht verwandte Moleküle zu generieren, um Beschränkungen zu erfüllen, was eine Abhängigkeit vom Musterabruf statt von strukturellem Schlussfolgern offenbart.
Daten-Skalierungsgesetze: Der Zusammenhang zwischen Datenvolumen und Leistung ist aufgabenabhängig.
- MolCustom (de-novo-Synthese) zeigte signifikante Gewinne (286 %) beim Skalieren von „large" auf „xlarge"-Daten.
- MolEdit und MolOpt zeigten bei kleineren Modellen mit zunehmendem Datenvolumen abnehmende oder negative Renditen, was darauf hindeutet, dass diese Aufgaben eher durch die Modellkapazität als durch das Datenvolumen begrenzt sind.
Validierung der WSR: Die Evaluierung durch menschliche Experten bestätigte, dass die gewichtete Erfolgsrate (WSR) signifikant besser mit dem Expertenurteil korreliert (Spearman $\rho \approx 0,90$ ) als die rohe Erfolgsrate (SR), was die Notwendigkeit einer Bestrafung strukturell nicht verwandter Ausgaben untermauert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, ein neues Paradigma für die Evaluierung von LLMs in der Molekülforschung zu etablieren, indem der Fokus von Musterabruf auf realistisches Moleküldesign verschoben wird.

Überbrückung der Lücke: S2-Bench adressiert die Diskrepanz zwischen aktuellen Evaluierungsmetriken und dem offenen Charakter der realen Molekülforschung.
Demonstration des Potenzials: Die Ergebnisse zeigen, dass mit angemessenem Instruction Tuning auf großen, vielfältigen Daten kleinere LLMs State-of-the-Art-Leistungen in der generierung von Molekülen aus offener natürlicher Sprache erreichen können und damit die Annahme herausfordern, dass nur massive Modelle oder spezialisierte Architekturen tragfähig sind.
Diagnosewerkzeug: Der Benchmark dient als Diagnosewerkzeug, um systematische Schwächen aktueller LLMs hinsichtlich diskreter, global gekoppelter struktureller Beschränkungen aufzudecken und zukünftige Forschung in den Bereichen Reinforcement Learning und Instruction Tuning zu leiten.

Die Autoren betonen, dass ihre Arbeit eine robuste Grundlage für die Entwicklung leistungsfähigerer, erklärbarer und vertrauenswürdiger LLMs für die entwicklungsgesteuerte Molekülforschung bietet und das Feld über die einfache Text-zu-Struktur-Übersetzung hinausführt.