🤖 machine learning

Uncertainty-aware reinforcement learning for chemical language models

Dieses Paper schlägt zwei Unsicherheits-bewusste Reinforcement-Learning-Frameworks für chemische Sprachmodelle vor und evaluiert diese, welche die Risiken der Exploration unzuverlässiger chemischer Räume dadurch mindern, dass sie entweder Unsicherheit als Optimierungsziel behandeln oder Policy-Updates modulieren, wodurch letztlich ein robusteres molekulares Design mit einer signifikant höheren True-Hit-Rate erreicht wird.

Ursprüngliche Autoren: Borja Medina, Jon Paul Janet

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Borja Medina, Jon Paul Janet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Schatzsucher, der versucht, die wertvollsten Edelsteine in einem riesigen, unkartierten Höhlensystem zu finden. Diese Höhle repräsentiert den „chemischen Raum“ – ein Universum aus Billionen möglicher Moleküle. Ihr Ziel ist es, neue Moleküle zu entwerfen, die zu lebensrettenden Medikamenten werden könnten.

Um Ihnen bei der Navigation zu helfen, verfügen Sie über einen Chemical Language Model (CLM). Betrachten Sie dieses Modell als einen hochqualifizierten, aber etwas übermütigen Führer, der eine Karte eines kleinen, gut erschlossenen Abschnitts der Höhle (die Trainingsdaten) auswendig gelernt hat. Wenn Sie den Führer nach einem neuen Standort für einen Edelstein fragen, nutzt er sein Wissen, um vorherzusagen, wie wertvoll dieser Edelstein sein könnte.

Das Problem: Der übermütige Führer

Der Text weist auf einen schwerwiegenden Fehler hin, wie wir diese Führer normalerweise verwenden. In der Vergangenheit haben wir die Vorhersagen des Führers als absolute Fakten behandelt. Wenn der Führer sagte: „Dieser Ort hat einen Diamanten im Wert von 1 Million Dollar!“, haben wir ihm blind vertraut.

Der Führer ist jedoch nur in Gebieten in der Nähe seiner ursprünglichen Karte sicher. Wenn Sie ihn nach einem Ort tief in den unbekannten, dunklen Ecken der Höhle fragen, wird er vielleicht immer noch mit derselben Zuversicht „Diamant!“ rufen, obwohl er nur rät. In Wirklich der Realität sind diese Vorhersagen wackelig und unzuverlässig.

Wenn wir den Führer blind in diese „hochwertigen, aber unsicheren“ Zonen führen lassen, verschwenden wir Zeit mit gefälschten Schätzen. Der Optimierungsprozess wird instabil, und wir generieren Moleküle, die auf dem Papier großartig aussehen, aber in der realen Welt nicht tatsächlich funktionieren.

Die Lösung: Dem Führer beibringen, „Ich bin mir nicht sicher“ zu sagen

Die Autoren schlagen einen neuen Weg vor, Reinforcement Learning (RL) einzusetzen, was im Wesentlichen eine Trainingsmethode ist, bei der der Führer durch Versuch und Irrtum lernt. Sie wollen den Führer lehren, auf seine eigene Unsicherheit zu achten – sein internes „Bauchgefühl“ darüber, ob er weiß, woviel er eigentlich erzählt.

Sie testeten zwei kreative Strategien, um die Übermütigkeit des Führers zu korrigieren:

Strategie 1: Der „Ehrlichkeitsbonus“ (Score Modulation)

Stellen Sie sich vor, Sie spielen ein Videospiel, in dem Sie Punkte für das Finden von Edelsteinen erhalten.

Alter Weg: Sie erhalten Punkte nur für den Wert des Edelsteins.
Neuer Weg (Score Modulation): Sie erhalten Punkte für den Wert des Edelsteins abzüglich eines Abzugs, falls der Führer sich bei diesem Edelstein unsicher ist.
Die Analogie: Es ist, als würde man dem Führer sagen: „Wenn du zu 100 % sicher bist, dass dies ein Diamant ist, gebe ich dir einen riesigen Bonus. Aber wenn du nur rätst, ziehe ich Punkte von deinem Score ab.“ Dies ermutigt den Führer, die dunklen, unbekannten Ecken zu meiden und stattdessen an den gut beleuchteten, vertrauten Pfaden zu bleiben, auf denen er sich seiner Funde sicher sein kann.

Strategie 2: Der „Lautstärkeregler“ (Loss Modulation)

Dieser Ansatz ist subtiler. Stellen Sie sich vor, der Führer gibt Ihnen eine Liste von Vorschlägen, und Sie sind derjenige, der daraus lernt.

Alter Weg: Sie hören sich jedem Vorschlag mit der gleichen Intensität an, egal ob der Führer sicher ist oder nur rät.
Neuer Weg (Loss Modulation): Sie drehen die Lautstärke bei seinen sicheren Vorschlägen auf und drehen sie bei den wackeligen Vorschlägen leiser (oder stumm).
Die Analogie: Wenn der Füher sagt: „Ich bin mir zu 90 % sicher, dass dies ein Diamant ist“, hören Sie genau hin und lernen daraus. Wenn er sagt: „Ich denke, das könnte ein Diamant sein, aber ich bin mir nicht wirklich sicher“, hören Sie kaum zu. Dies verhindert, dass die wilden Vermutungen des Führers Ihr Training durcheinanderbringen.

Die Ergebnisse: Bessere Schatzsuche

Die Forscher testeten diese Ideen in drei verschiedenen Szenarien:

Eine simulierte Höhle: Eine computergenerierte Welt, in der sie genau wussten, wie weit der Führer von seiner Karte entfernt war und wie viel er gerade rät.
Reale Arzneimitteldaten (ChemProp): Verwendung realer Modelle, die auf kleinen vs. großen Datensätzen trainiert wurden.
Ein statistisches Sicherheitsnetz (Conformal Prediction): Eine Methode, die Vorhersagen als „unsicher“ markiert, wenn sie nicht den bekannten Mustern entsprechen.

Was passierte?

Ohne die Korrektur: Der Führer fand oft „Edelsteine“, die fantastisch aussah, aber in Wirklichkeit nur Illusionen (False Hits) waren. Er blieb in Gebieten stecken, in denen er wild herumahnte.
Mit der Korrektur (besonders der Strategie des Lautstärkeregler): Der Führer hörte auf, Zeit in den dunklen Ecken zu verschwenden. Er konzentrierte sich auf Bereiche, in denen er sich sicher war.
- Die Anzahl der echten, gültigen Treffer (wahre Edelsteine) stieg um 50 % (von 0,5 auf 0,75).
- Die Gesamtzahl der wahren Treffer hat sich fast verdoppelt.
- Entscheidend war, dass sie nicht die Fähigkeit verloren, hochwertige Moleküle zu finden; sie hörten lediglich auf, die gefälschten zu finden.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir unseren KI-Führern nicht nur fragen sollten: „Was ist das beste Molekül?“ Wir sollten auch fragen: „Wie sicher bist du dir?“

Indem wir Unsicherheit als Werkzeug betrachten, statt sie zu ignorieren, können wir die KI-gestützte Erkundung des chemischen Raums wesentlich robuster gestalten. Es ist, als würde man dem Schatzsucher einen Kompass geben, der nicht nur auf Gold zeigt, sondern ihn auch warnt, wenn er sich vom Rand der Karte entfernt. Das Ergebnis ist eine schnellere, sicherere und zuverlässigere Methode zur Entdeckung neuer Medikamente.

Technisches Resümee: Unsicherheitsbewusstes Reinforcement Learning für chemische Sprachmodelle

Problemstellung

Reinforcement Learning (RL) hat sich als leistungsstarkes Paradigma für das De-novo-Design von Molekülen etabliert, welches es chemischen Sprachmodellen (CLMs) ermöglicht, den chemischen Raum zu explorieren und spezifische Eigenschaften zu optimieren. Bestehende RL-Frameworks behandeln Scoring-Funktionen jedoch typischerweise als deterministische Orakel und ignorieren dabei die inhärente Unsicherheit in der Vorhersage molekularer Eigenschaften. Diese Scoring-Funktionen stützen sich auf prädiktive Modelle, die auf begrenzten, potenziell verzerrten Datensätzen trainiert wurden, was sowohl aleatorische (Datenrauschen) als als auch epistemische (Modellparameter/Abdeckung) Unsicherheit einführt.

Wenn RL-Agenten ausschließlich auf Punktwetten optimieren, explorieren sie möglicherweise Regionen des chemischen Raums, die weit von der Trainingsverteilung entfernt liegen und in denen die Vorhersagen eine hohe Unsicherheit aufweisen. Dies führt zur Generierung von Molekülen mit hohen Scores, die jedoch schlecht durch Trainingsdaten gestützt werden, was den Optimierungsprozess destabilisieren und zu Vorhersagen führen kann, die weit von ihren wahren Werten entfernt sind. Während die Quantifizierung von Unsicherheit in der QSAR-Modellierung (Quantitative Structure-Activity Relationship) gut untersucht ist, hat sie im Kontext des RL-basierten molekularen Generierens bisher nur begrenzte Aufmerksamkeit erfahren.

Methodik

Die Autoren schlagen zwei komplementäre Strategien vor und evaluieren diese zur Integration der prädiktiven Unsicherheit in den RL-Loop innerhalb des REINVENT4-Frameworks. Das Framework nutzt ein rekurrentes neuronales Netz (RNN) als Prior, um Moleküle zu sampeln, welche anschließend durch eine Multi-Parameter-Optimierungs-Scoring-Funktion (MPO) bewertet werden.

1. Probabilistische Scoring-Funktionen

Bevor sie die Unsicherheitsstrategien einführen, adressieren die Autoren eine mathematische Inkonsistenz in Standard-REINVENT-Implementierungen. Wenn Scoring-Funktionen eine vollständige prädiktive Verteilung liefern (z. B. via Mean-Variance Estimation), ist die Anwendung nichtlinearer Transformationen auf den Erwartungswert allein ( $f(E[X])$ ) mathematisch inkonsistent mit der Transformation der Verteilung zuerst ( $E[f(X)]$ ). Die Autoren implementieren einen probabilistischen Scoring-Ansatz, bei dem die MPO als Zufallsvariable behandelt wird, die mittels Monte-Carlo-Sampling approximiert wird, um die Varianz korrekt zu propagieren.

2. Strategien zur Integration von Unsicherheit

Das Papier stellt zwei unterschiedliche Methoden vor, um die Unsicherheit zu nutzen:

Score-Modulation (SM): Die Unsicherheit wird als explizites zusätzliches Optimierungsziel behandelt. Die prädiktive Unsicherheit wird direkt in die MPO-Scoring-Funktion zusammen mit der Aktivität und den physikochemischen Eigenschaften integriert. Dies ermutigt die Policy dazu, einen Trade-off zwischen Exploitation (hoher Score) und Reliabilität (geringe Unsicherheit) einzugehen.
Loss-Modulation (LM): Die Unsicherheit wird nicht zum Score hinzugefügt, sondern dient dazu, die Magnitude der Policy-Updates zu modulieren. Der Beitrag jedes Moleküls zum Gradienten-Update wird invers zu seiner Unsicherheit gewichtet. Moleküle mit hoher Unsicherheit haben einen reduzierten Einfluss auf das Policy-Learning, was den Einfluss unzuverlässiger Lernsignale abschwächt.

3. Experimentelle Setups

Die Strategien wurden über drei Settings hinweg evaluiert:

Kontrolliertes Modellsystem (MS): Eine synthetische Umgebung, in der der Vorhersagefehler als Gaußsches Rauschen modelliert wird, dessen Varianz proportional zum Abstand von den Trainingsdaten ist (simuliert einen Applicability Domain). Die Grundwahrheit (Ground Truth) ist bekannt, was eine präzise Fehlermessung ermöglicht.
ChemProp-Modelle: Szenarien mit realen Daten unter Verwendung von ChemProp-Modellen, die mit Mean-Variance Estimation (MVE) trainiert wurden. Ein „Predictor“-Modell (trainiert auf einer kleinen Teilmenge) dient als Scoring-Funktion, während ein „Oracle“-Modell (trainiert auf dem vollen Datensatz) als Ground-Truth-Proxy fungiert.
Konforme Prädiktion (CP): Ein Setup, das einen Random-Forest-Klassifikator verwendet, welcher in einen Mondrian Inductive Conformal Predictor eingewickelt ist. Die Unsicherheit wird über Vorhersagesets und p-Werte quantifiziert, ohne ein externes Ground-Truth-Orakel.

Kernergebnisse

Ergebnisse des Modellsystems

In der kontrollierten Umgebung zeigte die Standard-Baseline („Noisy Component“) eine Form der impliziten Selbstregulierung, indem sie sich aufgrund der Scoring-Instabilität in Richtung Regionen mit geringerer Unsicherheit bewegte, was jedoch langsam verlief und von den Anfangsbedingungen abhing.

SM- und LM-Performance: Beide expliziten Strategien beschleunigten den Wechsel zu Regionen mit geringer Unsicherheit im Vergleich zur Baseline.
Hit-Qualität: Die LM-Strategie lieferte die beste Performance und steigerte das Verhältnis von echten Treffern (True Hits) zu den Gesamttreffern signifikant im Vergleich zur Baseline.
Kombinierter Ansatz (SM&LM): Während dieser Ansatz am schnellsten zu Regionen mit geringer Unsicherheit wechselte, führte er zu einer signifikanten Reduktion der gesamten akkumulierten Hit-Scaffolds, was auf eine Überkorrektur hindeutet, die Diversität und Exploration im kontrollierten Setting beeinträchtigte.

Real-Daten-Ergebnisse (ChemProp)

Im ChemProp-Szenario zeigte die Baseline (nur Predictor) eine starke Zunahme der vorhergesagten Aktivität, aber eine erhebliche Divergenz vom Oracle-Score, was darauf hindeutet, dass das Modell Regionen mit hoher Unsicherheit ausnutzte, in denen der Predictor die Aktivität überschätzte.

Reliabilität: Unsicherheitsgesteuerte Strategien (insbesondere LM) hielten eine kleinere, stabilere Lücke zwischen dem Predictor- und dem Oracle-Score aufrecht.
Echte Treffer (True Hits): Die LM-Strategie produzierte die höchste Anzahl an echten Treffern und die größte Verbesserung des Verhältnisses von echten zu gesamten Treffern (Steigerung von 0,5 auf 0,75), was die Gesamtzahl der echten Treffer im Vergleich zur Baseline nahezu verdoppelte.
Unsicherheit: Alle gesteuerten Strategien reduzierten erfolgreich die prädiktive Unsicherheit der generierten Moleküle.

Real-Daten-Ergebnisse (Konforme Prädiktion)

Oh�sper ein Ground-Truth-Orakel wurden „echte Treffer“ als Verbindungen definiert, die vom Conformal Predictor einer eindeutigen Klassenzugehörigkeit (aktiv) zugewiesen wurden.

Reduktion von Ambiguität: Die Baseline-Optimierung generierte einen großen Anteil ambiguer Vorhersagen (zugewiesen sowohl zur aktiven als auch zur inaktiven Klasse). Unsicherheitsgesteuerte Strategien reduzierten diese Ambiguität signifikant.
Treffer-Konfidenz: Während die Gesamtzahl der Treffer über die Strategien hinweg ähnlich war, produzierten die unsicherheitsgesteuerten Ansätze einen höheren Anteil an konfidenten Vorhersagen mit eindeutiger Klassenzugehörigkeit.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Integration von prädiktiver Unsicherheit in das RL-gesteuerte molekulare Generieren konsistente und bedeutsame Verbesserungen über diverse experimentelle Settings hinweg liefert. Die primäre Bedeutung liegt in der Demonstration, dass Unsicherheit nicht nur ein diagnostisches Werkzeug ist, sondern als aktiver Bestandteil des Optimierungsprozesses dienen kann.

Stabilität und Zuverlässigkeit: Unsicherheitsbewusste Strategien stabilisieren die Exploration, indem sie Regionen bevorzugen, in denen die Scoring-Funktionen zuverlässig sind, wodurch das Risiko minimiert wird, spurehafte Vorhersagen auszunutzen.
Überlegenheit der Loss-Modulation: Die Autoren identifizieren die Loss-Modulation (LM) als den robusteren Ansatz. Im Gegensatz zur Score-Modulation, welche die Reward-Landschaft durch die Vermischung von Scores mit Unsicherheitsschätzungen verändert, bewahrt die LM die Integrität des ursprünglichen Scoring-Ziels, während sie gleichzeitig den Einfluss unzuverlässiger Stichproben auf das Lernen der Policy abschwächt.
Praktische Auswirkungen: Der Ansatz erhöht die Zuverlässigkeit der Hit-Entdeckung, ohne die molekularen Scores zu beeinträchtigen, was ihn breit anwendbar für jedes generative Framework macht, bei dem RL die molekulare Optimierung leitet und prädiktive Unsicherheit geschätzt werden kann.

Die Autoren kommen zu dem Schluss, dass ihre Ergebnisse die Notwendigkeit unterstreichen, die Unsicherheit zu berücksichtigen, um die Qualität und Vertrauenswürdigkeit des De-novo-Designs von Molekülen zu verbessern, insbesondere wenn Regionen des chemischen Raums außerhalb der Trainingsdaten exploriert werden.