🤖 machine learning

ConRetroBert: EMA Stabilized Dual Encoders for Template-Based Single-Step Retrosynthesis

ConRetroBert ist ein Dual-Encoder-Framework, das die template-basierte einstufige Retrosynthese durch Umformulierung als Aufgabe des dichten Abrufs und Rankings verbessert und durch kontrastives Pretraining sowie EMA-gestützte Anpassung eine State-of-the-Art-Genauigkeit auf USPTO-Benchmarks erreicht.

Ursprüngliche Autoren: Mohammad Jahid Ibna Basher, Ali Khodabandeh Yalabadi, Ivan Garibay, Ozlem Ozmen Garibay

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammad Jahid Ibna Basher, Ali Khodabandeh Yalabadi, Ivan Garibay, Ozlem Ozmen Garibay

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein komplexes, köstliches Gericht (das Produkt) allein durch den Blick auf den fertigen Teller nachzukochen. Ihr Ziel ist es, herauszufinden, welche Zutaten (Reaktanten) Sie genau verwendet haben und welche Kochschritte (Templates) Sie unternommen haben, um dorthin zu gelangen. Dies ist die Aufgabe der Retrosynthese in der Chemie: den Weg von einem fertigen Molekül rückwärts zu seinen Bausteinen zu verfolgen.

Lange Zeit hatten Computer, die dies versuchen wollten, zwei Hauptansätze:

Der „Freestyle"-Koch: Schätzt die Zutaten ohne Rezeptbuch aus dem Stegreif. Dies ist flexibel, aber schwer zu erklären, warum eine bestimmte Schätzung getroffen wurde.
Der „Rezeptbuch"-Koch: Schlägt eine spezifische, vorab geschriebene Regel (ein Template) nach, die besagt: „Wenn Sie diese Form haben, schneiden Sie sie hier und fügen Sie das hinzu." Dies ist sehr klar und erklärbar, aber das Papier argumentiert, dass diese Köche schlechtere Ergebnisse erzielen, weil ihre „Rezeptbücher" zu riesig und unübersichtlich sind, um sie effizient zu durchsuchen.

ConRetroBert ist ein neues System, das entwickelt wurde, um den „Rezeptbuch"-Koch genauso gut wie den Freestyle-Koch zu machen, während die klaren, erklärbaren Regeln erhalten bleiben.

So funktioniert es, aufgeschlüsselt in einfache Schritte:

1. Das Problem: Die „Long-Tail"-Bibliothek

Stellen Sie sich eine Bibliothek mit Millionen von Rezeptkarten vor. Meistens benötigen Sie eines der Top-100-beliebten Rezepte (wie „Schokoladenkuchen"). Aber manchmal benötigen Sie ein sehr seltenes, spezifisches Rezept (wie „Fermentierte Moossuppe").
Alte Computersysteme versuchten, das richtige Rezept auszuwählen, indem sie jede einzelne Karte in der Bibliothek gleichzeitig ansahen und fragten: „Ist dies die richtige?"

Das Problem: Der Computer wird von den beliebten Karten überwältigt und ignoriert die seltenen. Er verschwendet auch Zeit damit, Ihr Gericht mit Rezepten zu vergleichen, die chemisch unmöglich sind.

2. Die Lösung: Eine zweistufige Suchmaschine

ConRetroBert ändert das Spiel. Anstatt den Computer zu bitten, aus der gesamten Bibliothek auszuwählen, verwendet es einen zweistufigen Prozess, wie eine intelligente Bibliothekarin.

Stufe 1: Der „Vibe-Check" (Kontrastives Pretraining)
Zuerst lernt das System, den „Vibe" eines Gerichts und den „Vibe" eines Rezepts zu verstehen.

Es nimmt ein Bild eines Gerichts und ein Bild einer Rezeptkarte und lernt, sie zusammenzubringen.
Es schafft einen gemeinsamen mentalen Raum, in dem ähnliche Gerichte und ähnliche Rezepte nah beieinander stehen.
Das Ergebnis: Wenn Sie ihm ein neues Gericht geben, kann es schnell einen kleinen Stapel „wahrscheinlicher" Rezeptkarten finden, die zum Vibe passen, und ignoriert die Millionen, die nicht passen.

Stufe 2: Der „Geschmackstest" (Listweises Ranking)
Nun hat das System einen kleinen Stapel von Kandidaten (sagen wir, 64 Rezepte). Es wählt nicht einfach das erste aus; es rangiert sie sorgfältig.

Es betrachtet den Stapel und fragt: „Welches dieser 64 ist die beste Übereinstimmung?"
Entscheidend ist, dass es lernt, zwischen Rezepten zu unterscheiden, die ähnlich aussehen, aber leicht falsch sind (sogenannte Hard Negatives). Es ist wie ein Richter, der zwei sehr ähnliche Suppen probiert und entscheidet, welche tatsächlich die richtige ist.
In diesem Schritt tritt die größte Verbesserung ein. Es verhindert, dass der Computer einfach das beliebteste Rezept rät, und zwingt ihn, das korrekte für das spezifische Gericht zu finden.

3. Das Geheimnis: Der „Langsame Schatten" (EMA)

Hier wird es knifflig. Während der Computer lernt, möchte er sein Verständnis davon aktualisieren, wie eine „Rezeptkarte" aussieht. Aber wenn er sich zu schnell ändert, wird der „Stapel von Kandidaten", den er in Stufe 1 gefunden hat, veraltet und nutzlos. Es ist wie eine Bibliothekarin, die die Bücher ständig umräumt, während Sie noch versuchen, sie zu finden.

ConRetroBert löst dies mit einem Langsamen Schatten (EMA):

Stellen Sie sich vor, der Computer hat einen Live-Bibliothekar, der sehr aktiv ist, schnell lernt und die Ranglisten aktualisiert.
Aber die Bücherregale (die Datenbank der Rezepte) werden von einem Schatten-Bibliothekar verwaltet, der sich sehr langsam bewegt.
Der Live-Bibliothekar leistet die harte Arbeit des Rangierens, aber der Schatten-Bibliothekar aktualisiert die Regale nur einmal am Tag (oder einmal pro „Epoch").
Warum das wichtig ist: Dies hält die Suche stabil. Der Computer kann lernen und sich anpassen, ohne die Suchmaschine zu zerstören, die er verwendet, um die Antworten zu finden.

Die Ergebnisse

Das Papier testete dies an einem Standard-Chemiedatensatz (USPTO-50k).

Der alte Weg: Bekam etwa 50 % der Antworten richtig.
ConRetroBert Stufe 1: Verbesserte sich auf etwa 50,5 % (nur der „Vibe-Check").
ConRetroBert Stufe 2: Sprang auf 61,3 %, nur durch Hinzufügen des „Geschmackstest"-Rankings.
Mit dem Schatten-Bibliothekar: Erreichte 62,4 %.

Noch beeindruckender ist, dass diese Methode besonders gut darin ist, seltene Rezepte zu finden (die „Long Tail"). Während andere Methoden bei ungewöhnlichen chemischen Reaktionen Schwierigkeiten haben, bewältigt der Such- und Rangieransatz von ConRetroBert diese viel besser.

Warum das wichtig ist

Das Papier argumentiert, dass man nicht zwischen Genauigkeit und Erklärbarkeit wählen muss.

Freestyle-Modelle sind genau, aber schwer zu vertrauen, weil man nicht weiß, warum sie diese Zutaten geraten haben.
ConRetroBert ist genau und transparent. Da es eine spezifische, explizite Regel (ein Template) auswählt, kann ein menschlicher Chemiker das Ergebnis ansehen und sagen: „Ah, ich verstehe. Es hat diese Regel gewählt, weil sie zu diesem Muster passt."

Kurz gesagt beweist ConRetroBert, dass man, wenn man eine intelligente Suchmaschine und ein sorgfältiges Rangiersystem baut, den „Rezeptbuch"-Ansatz genauso leistungsfähig machen kann wie den „Freestyle"-Ansatz und Wissenschaftlern das Beste aus beiden Welten bietet: hohe Genauigkeit und klare, überprüfbare Logik.

Technische Zusammenfassung von ConRetroBert

Problemformulierung
Template-basierte einstufige Retrosynthese zielt darauf ab, Reaktantensätze für ein Zielprodukt vorherzusagen, indem eine explizite Reaktionstemplate (kodiert als SMARTS-Transformation) ausgewählt und angewendet wird. Obwohl dieser Ansatz inhärente Interpretierbarkeit und Nachverfolgbarkeit bietet – was für die Syntheseplanung entscheidend ist –, wurden template-basierte Methoden historisch als weniger leistungsfähig angesehen als template-freie Modelle. Die Autoren argumentieren, dass diese Einschränkung nicht auf die Verwendung von Templates selbst zurückzuführen ist, sondern auf die dominante Lernformulierung: eine globale Klassifizierung über eine langschwänzige Bibliothek von Reaktionsregeln. Diese Formulierung erzeugt drei Probleme: Häufige Templates dominieren den Loss, der Softmax-Nenner behandelt nicht beobachtete, aber chemisch gültige Templates als konkurrierende negative Labels (Unvollständigkeit der Labels), und die Ausgabeschicht skaliert bei großen Template-Bibliotheken schlecht.

Methodik: ConRetroBert
Die Arbeit stellt ConRetroBert vor, ein Dual-Encoder-Framework, das template-basierte Retrosynthese als dichtes Retrieval- und Ranking-Problem neu formuliert, anstatt als globale Klassifizierung. Die Architektur verwendet zwei unabhängige Transformer-Encoder (einen für Produkt-SMILES, einen für Template-SMARTS), die Eingaben in einen gemeinsamen Embedding-Raum abbilden. Der Trainingsprozess erfolgt in zwei Stufen:

Stufe 1: Kontrastives Pretraining
Das Modell lernt einen gemeinsamen Produkt-Template-Repräsentationsraum mittels symmetrischem kontrastivem Pretraining (InfoNCE-Loss). Für einen Minibatch gepaarter Beispiele richtet sich der Produkt-Encoder an seinem entsprechenden Template aus, während andere Beispiele im Batch als Negativbeispiele dienen. Dies etabliert einen durchsuchbaren Embedding-Raum, in dem Templates über eine Suche nach nächsten Nachbarn abgerufen werden können.
Stufe 2: Multi-Positives Listen-Ranking
Diese Stufe verfeinert den Retrieval-Raum zu einer Template-Vorschlagsrichtlinie. Anstatt gegen das gesamte Vokabular zu klassifizieren, rangiert das Modell eine Kandidatenmenge $C(x)$ für jedes Produkt. Diese Menge umfasst:
- Beobachtete Positivbeispiele: Alle Templates, die im Trainingsdaten mit dem Produkt verzeichnet sind.
- Harte Negativbeispiele: Chemisch ähnliche Templates, die aus einem FAISS-Index abgerufen werden.
- In-Batch-Negativbeispiele: Templates, die mit anderen Produkten im Batch assoziiert sind.
Das Modell optimiert ein multi-positives listenbasiertes Ziel der negativen Log-Likelihood, das die Trennung beobachteter Positivbeispiele von chemisch ähnlichen harten Negativbeispielen fördert. Diese Formulierung entspricht besser dem Entscheidungsproblem zur Inferenzzeit, bei dem das Modell aus einer kleinen Menge abgerufener Kandidaten wählen muss, anstatt aus der gesamten Bibliothek.

EMA-gestützte Template-Anpassung
Eine zentrale technische Herausforderung, die adressiert wird, ist die Instabilität des Minings harter Negativbeispiele, wenn der Template-Encoder aktualisiert wird. Wenn sich der Template-Encoder zu schnell ändert, wird der Retrieval-Index (der zum Mining harter Negativbeispiele verwendet wird) veraltet. ConRetroBert löst dies mittels eines Exponential Moving Average (EMA)-Mechanismus:

Ein lebender Template-Encoder wird über Gradienten aus dem Ranking-Loss aktualisiert.
Ein langsamer EMA-Schatten-Encoder (aktualisiert mit $\alpha = 0,999$ ) wird verwendet, um den Retrieval-Index neu aufzubauen und auf Ebene der Epochen harte Negativbeispiele zu minen.
Dies ermöglicht es den Template-Repräsentationen, sich an das Ranking-Ziel anzupassen, ohne den Prozess der Kandidatenerstellung zu destabilisieren.

Hauptbeiträge

Retrieval-basierte Formulierung: Die Autoren formulieren template-basierte Retrosynthese als dichtes Produkt-Template-Retrieval gefolgt von einem listenbasierten Ranking der Kandidatenmenge neu und ersetzen die globale Klassifizierung durch ein Ziel, das mit Entscheidungen zur Inferenzzeit übereinstimmt.
EMA-gestütztes Training: Sie führen einen trainierbaren Template-Encoder ein, der durch einen EMA-Schatten stabilisiert wird, was eine kontrollierte Anpassung der Template-Repräsentationen ermöglicht, während ein stabiler Retrieval-Index für das Mining harter Negativbeispiele aufrechterhalten wird.
Rigorose Evaluierungspipeline: Die Arbeit bietet ein umfassendes Evaluierungsprotokoll, einschließlich des Rankings von Reaktantensätzen, der Template-Anwendung, der Deduplizierung und des leckagekontrollierten Transfers von USPTO-Full nach USPTO-50k.
Empirische Validierung: Durch lokale und langschwänzige Analysen demonstrieren die Autoren, dass das Ranking von Kandidatenmengen die template-basierte Retrosynthese erheblich stärkt, während die explizite Nachverfolgbarkeit von Regeln erhalten bleibt.

Ergebnisse
Experimente wurden am USPTO-50k-Benchmark (lokales Regime) durchgeführt und mittels Transfer-Learning von einem leckagekontrollierten USPTO-Full-Checkpoint.

Lokale USPTO-50k-Leistung:
- Der Wechsel von Stufe 1 (kontrastives Retrieval) zu Stufe 2 (Ranking mit eingefrorenem Template-Encoder) verbesserte die Top-1-Reaktionsgenauigkeit von 50,5 % auf 61,4 %.
- Die Hinzunahme einer EMA-gestützten Template-Anpassung (Stufe 2 EMA Mid) verbesserte die Top-1-Genauigkeit weiter auf 62,4 %.
- Das Modell erreichte Top-3-, Top-5- und Top-10-Genauigkeiten von 81,6 %, 85,3 % bzw. 87,8 %.
- Der Leistungsgewinn wird primär der Formulierung des Kandidatenmengen-Rankings in Stufe 2 zugeschrieben, das Positivbeispiele besser von harten Negativbeispielen trennt als die kontrastive Ausrichtung allein.
Transfer-Learning:
- Das Fine-Tuning von einem leckagekontrollierten USPTO-Full-Checkpoint erreichte eine Top-1-Genauigkeit von 75,4 % auf USPTO-50k und demonstriert die Skalierbarkeit des Ansatzes mit größeren Pretraining-Daten.
Langschwanz und Zuverlässigkeit:
- Die retrieval-basierte Vorhersage zeigte besondere Stärken im langschwänzigen Bereich seltener Templates und übertraf das klassifikationsbasierte Scoring bei seltenen Klassen.
- Die Analyse ergab, dass 42,8 % der korrekten Top-1-Reaktantenvorhersagen „sekundäre Erfolge" waren, die durch ein Template generiert wurden, das sich vom aufgezeichneten Ground-Truth-Label unterschied, aber nach Anwendung und Deduplizierung chemisch äquivalent war. Dies unterstreicht, dass das Modell lernt, chemisch gültige Alternativen abzurufen und nicht nur das spezifische aufgezeichnete Label.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass template-basierte Retrosynthese keine Vorhersageleistung für Interpretierbarkeit opfern muss. Durch den Wechsel von der globalen Klassifizierung zum retrieval-basierten Ranking mit Mining harter Negativbeispiele und EMA-Stabilisierung stellt ConRetroBert die Annahme in Frage, dass hohe Genauigkeit die Aufgabe expliziter Reaktionstemplates erfordert. Die Autoren behaupten, dass ihre Methode Vorhersagen liefert, die nicht nur mit state-of-the-art template-freien und semi-template-Modellen konkurrieren, sondern auch chemisch überprüfbar, auf spezifische Transformationsregeln zurückverfolgbar und mit nachgelagerten Syntheseplanungsbeschränkungen kompatibel sind. Die Arbeit legt nahe, dass die „Schwäche" template-basierter Methoden ein Formulierungsproblem ist, das durch moderne Retrieval-Lernverfahren lösbar ist, und keine inhärente Einschränkung der Verwendung expliziter Regeln darstellt.