SEISMO: Increasing Sample Efficiency in Molecular Optimization with a Trajectory-Aware LLM Agent

1. Problemstellung

Die Optimierung von Molekülstrukturen zur Erreichung gewünschter Eigenschaften (z. B. hohe Potenz, Selektivität, gute Pharmakokinetik) ist ein zentraler Engpass in der chemischen Forschung und insbesondere in der pharmazeutischen Industrie. Das Hauptproblem liegt in der extrem geringen Sample-Effizienz (Proben-Effizienz) bestehender Methoden.

• Hohe Kosten: Die Bewertung von Molekülen erfolgt oft durch teure und zeitintensive experimentelle Assays oder rechenintensive Simulationen (Orakel).
• Begrenztes Budget: In der Praxis stehen nur sehr begrenzte Anzahl an Evaluierungen (Orakel-Aufrufe) zur Verfügung.
• Ineffizienz bestehender Ansätze: Herkömmliche Methoden wie Reinforcement Learning (z. B. REINVENT), genetische Algorithmen (z. B. Graph-GA) oder Bayes'sche Optimierung arbeiten oft in Batches oder Populationen. Sie müssen eine ganze Gruppe von Molekülen evaluieren, bevor sie ihre Strategie aktualisieren können. Dies führt dazu, dass sie oft tausende von Orakel-Aufrufen benötigen, um gute Lösungen zu finden, was bei teuren Evaluierungen unpraktikabel ist.

2. Methodik: SEISMO

Die Autoren stellen SEISMO (Sample-Efficient Inference-Stage Molecular-Optimization agent) vor, einen LLM-Agenten (Large Language Model), der die Optimierung strikt online und in der Inferenzphase durchführt, ohne Training oder Feinabstimmung.

Kernprinzipien:

• Trajektorienbewusstsein (Trajectory-Awareness): Im Gegensatz zu Batch-Methoden aktualisiert SEISMO seinen Zustand nach jedem einzelnen Orakel-Aufruf. Der Agent sieht die gesamte Historie der Optimierung (bisherige Moleküle, Scores, Erklärungen) als Kontext.
• Inferenz-basierte Optimierung: Der LLM selbst fungiert als Optimierer. Er generiert basierend auf dem aktuellen Kontext und der Historie ein neues Molekül (SMILES-String). Es wird kein separates Policy-Netzwerk trainiert.
• Multimodale Rückmeldung: Der Agent erhält nicht nur einen skalaren Score, sondern nutzt drei Informationsquellen:
  1. Natürlichsprachliche Aufgabenbeschreibung: Definition des Ziels (z. B. „Minimiere IC50, maximiere QED").
  2. Skalare Scores: Die aggregierten und aufgeschlüsselten Werte der Orakel-Bewertung.
  3. Strukturierte Erklärungen (XAI): Wenn verfügbar, werden post-hoc Erklärungen (z. B. SHAP-Werte für Substrukturen oder chemische Eigenschaften) in natürlicher Sprache bereitgestellt, die dem Agenten warum ein Molekül einen bestimmten Score erhielt, erklären.
• Workflow: Der Prozess ist ein geschlossener Regelkreis (Generation $\rightarrow$ Parsing/Validierung $\rightarrow$ Orakel-Evaluation $\rightarrow$ Feedback-Integration $\rightarrow$ Nächste Generation).

3. Wichtige Beiträge

1. Neue Paradigmen für die Optimierung: SEISMO verschiebt die Optimierung von einem trainierten Modell hin zu einem reinen Inferenzprozess, der das im LLM kodifizierte Vorwissen (chemische und biologische Priors) nutzt.
2. Nutzung von Erklärungen als Steuersignal: Das Paper zeigt erstmals, dass post-hoc Erklärungen (XAI) nicht nur für menschliche Interpretation, sondern als direkte, maschinenlesbare Steuersignale zur Führung der Optimierung genutzt werden können.
3. Überlegene Sample-Effizienz: Die Methode erreicht in wenigen Dutzend Orakel-Aufrufen Ergebnisse, für die andere Methoden oft Tausende benötigen.
4. Kein Training erforderlich: Der Ansatz benötigt kein Training, keine Feinabstimmung und keine Hyperparameter-Optimierung für neue Aufgaben; er ist sofort einsetzbar.

4. Ergebnisse

Die Evaluation erfolgte auf dem Practical Molecular Optimization (PMO) Benchmark (23 Aufgaben) sowie auf zusätzlichen medizinalchemischen Aufgaben.

• PMO Benchmark:
  • SEISMO erreichte eine 2- bis 3-fach höhere Fläche unter der Optimierungs-Kurve (AUC) im Vergleich zu etablierten Baselines (REINVENT, Graph-GA, GP-BO).
  • Innerhalb von nur 50 Orakel-Aufrufen erreichte SEISMO oft nahezu maximale Punktzahlen (innerhalb von 10% des theoretischen Maximums).
  • Selbst wenn Baselines bis zu 10.000 Aufrufe durften, blieb SEISMO (das nur in den ersten 50 Schritten optimierte) in der Gesamtleistung überlegen.
• Einfluss der Informationsmenge (Ablationsstudie):
  • Aufgabenbeschreibung: Ohne eine klare Beschreibung des Ziels brach die Leistung drastisch ein. Der Agent nutzt das Vorwissen im LLM nur effektiv, wenn das Ziel explizit benannt wird.
  • Erklärungen: Die Bereitstellung von Erklärungen (z. B. welche Substrukturen den Score senken) verbesserte die Sample-Effizienz signifikant. Je detaillierter die Erklärungen, desto schneller konvergierte der Agent.
• Schwierige Szenarien (Co-folding):
  • Bei der Optimierung für ein Protein ohne bekannte Binder (unter Verwendung des teuren Boltz-2 Co-folding-Modells) konnte SEISMO die Bindungswahrscheinlichkeit steigern.
  • Interessanterweise half die reine Protein-Sequenz allein nicht, aber die Bereitstellung von Erklärungen über nahegelegene Aminosäurereste (Residuen) führte zu schnellerer Optimierung.

5. Bedeutung und Fazit

SEISMO demonstriert, dass informationsbewusste, trajektorien-konditionierte LLM-Agenten einen praktischen Rahmen für die molekulare Optimierung in Szenarien mit teuren Evaluierungen bieten.

• Praktische Relevanz: Da in der frühen Arzneimittelentwicklung jede Evaluierung (experimentell oder hochpräzise Simulation) kostspielig ist, ermöglicht SEISMO die Nutzung hochwertigerer Orakel bei deutlich reduziertem Budget.
• Wissensnutzung: Der Ansatz nutzt effektiv das in großen Sprachmodellen enthaltene, jahrzehntelang gesammelte chemische und biologische Vorwissen, um den Suchraum zu verengen, anstatt ihn blind zu durchsuchen.
• Zukunftsaussichten: Da die Leistung mit der Verbesserung der LLM-Fähigkeiten (chemisches Reasoning, Kausalität) skaliert, ist die Methode zukunftssicher und erfordert keine Anpassung der Algorithmik bei neuen Modellen.

Zusammenfassend beweist das Paper, dass die Kombination aus LLM-Vorwissen, natürlichsprachlicher Aufgabenstellung und strukturiertem Feedback (Erklärungen) die Effizienz der molekularen Optimierung revolutionieren kann, indem sie die Anzahl der benötigten teuren Experimente drastisch reduziert.