ConRetroBert: EMA Stabilized Dual Encoders for Template-Based Single-Step Retrosynthesis

Technische Samenvatting van ConRetroBert

Probleemformulering
Template-gebaseerde single-step retrosynthese heeft tot doel reactantensets te voorspellen voor een doelproduct door een expliciete reactietemplate (gecodeerd als een SMARTS-transformatie) te selecteren en toe te passen. Hoewel deze aanpak inherente interpreteerbaarheid en traceerbaarheid biedt – cruciaal voor syntheseplanning – zijn template-gebaseerde methoden historisch gezien als minder concurrerend beschouwd dan template-vrije modellen. De auteurs betogen dat deze beperking niet voortkomt uit het gebruik van templates zelf, maar uit de dominante leerformulering: globale classificatie over een langstaartbibliotheek van reactieregels. Deze formulering creëert drie problemen: frequente templates domineren het verlies, de softmax-nominator behandelt niet-geobserveerde maar chemisch geldige templates als concurrerende negatieve labels (labelonvolledigheid), en de outputlaag schaalt slecht met grote templatebibliotheken.

Methodologie: ConRetroBert
Het artikel presenteert ConRetroBert, een dual-encoder framework dat template-gebaseerde retrosynthese herformuleert als een dicht zoek- en rangschikkingsprobleem in plaats van globale classificatie. De architectuur maakt gebruik van twee onafhankelijke Transformer-encoders (één voor product-SMILES, één voor template-SMARTS) die invoer afbeelden in een gedeelde inbeddingsruimte. Het trainingsproces verloopt in twee fasen:

1. Fase 1: Contrastieve Pretraining
   Het model leert een gezamenlijke product-template representatieruimte met behulp van symmetrische contrastieve pretraining (InfoNCE-verlies). Voor een minibatch van gepaarde voorbeelden aligneert de product-encoder met zijn corresponderende template, terwijl andere voorbeelden in de batch dienen als negatieven. Dit vestigt een doorzoekbare inbeddingsruimte waarin templates kunnen worden opgehaald via een zoekopdracht op de dichtstbijzijnde buur.

2. Fase 2: Multi-positieve Listwise Rangschikking
   Deze fase verfijnt de ophaalruimte tot een template-voorstelbeleid. In plaats van te classificeren tegen de volledige vocabulaire, rangschikt het model een kandidaatset $C(x)$ voor elk product. Deze set omvat:

   • Waargenomen Positieven: Alle templates die in de trainingsdata bij het product zijn geregistreerd.
   • Moeilijke Negatieven: Chemisch vergelijkbare templates opgehaald uit een FAISS-index.
   • In-Batch Negatieven: Templates geassocieerd met andere producten in de batch.

   Het model optimaliseert een multi-positieve listwise negatieve log-waarschijnlijkheidsdoelstelling, wat de scheiding tussen waargenomen positieven en chemisch vergelijkbare moeilijke negatieven stimuleert. Deze formulering komt beter overeen met het beslissingsprobleem tijdens inferentie, waarbij het model moet kiezen uit een kleine set opgehaalde kandidaten in plaats van de volledige bibliotheek.

EMA-gestabiliseerde Template-adaptatie
Een belangrijke technische uitdaging die wordt aangepakt, is de instabiliteit van hard-negative mining wanneer de template-encoder wordt bijgewerkt. Als de template-encoder te snel verandert, wordt de ophaalindex (gebruikt om moeilijke negatieven te vinden) verouderd. ConRetroBert lost dit op met een Exponentiële Bewegende Gemiddelde (EMA)-mechanisme:

• Een live template-encoder wordt bijgewerkt via gradiënten van de rangschikkingsverliesfunctie.
• Een langzaam bewegende EMA-schaduw-encoder (bijgewerkt met $\alpha = 0,999$) wordt gebruikt om de ophaalindex te herbouwen en moeilijke negatieven op epoch-niveau te vinden.
  Dit stelt de template-representaties in staat zich aan te passen aan de rangschikkingsdoelstelling zonder het proces van kandidaatconstructie te destabiliseren.

Belangrijkste Bijdragen

1. Zoekopdracht-gebaseerde Formulering: De auteurs herformuleren template-gebaseerde retrosynthese als dichte product-template ophaal gevolgd door listwise rangschikking van kandidaatsets, waarbij globale classificatie wordt vervangen door een doelstelling die overeenkomt met beslissingen tijdens inferentie.
2. EMA-gestabiliseerde Training: Ze introduceren een trainbare template-encoder die wordt gestabiliseerd door een EMA-schaduw, wat een gecontroleerde adaptatie van template-representaties mogelijk maakt terwijl een stabiele ophaalindex voor hard-negative mining wordt behouden.
3. Rigoureuze Evaluatiepipeline: Het artikel biedt een uitgebreid evaluatieprotocol, inclusief rangschikking van reactantensets, template-toepassing, deduplicatie en lekgecontroleerde transfer van USPTO-Full naar USPTO-50k.
4. Empirische Validatie: Door middel van lokale en langstaartanalyses tonen de auteurs aan dat rangschikking van kandidaatsets template-gebaseerde retrosynthese aanzienlijk versterkt, terwijl expliciete regeltraceerbaarheid behouden blijft.

Resultaten
Experimenten werden uitgevoerd op de USPTO-50k-benchmark (lokale regime) en via transfer learning vanuit een lekgecontroleerd USPTO-Full checkpoint.

• Lokale USPTO-50k Prestaties:

  • De overstap van Fase 1 (contrastieve ophaal) naar Fase 2 (rangschikking met bevroren template-encoder) verbeterde de top-1 reactienauwkeurigheid van 50,5% naar 61,4%.
  • Het toevoegen van EMA-gestabiliseerde template-adaptatie (Fase 2 EMA Mid) verbeterde de top-1 nauwkeurigheid verder tot 62,4%.
  • Het model behaalde top-3-, top-5- en top-10-nauwkeurigheden van respectievelijk 81,6%, 85,3% en 87,8%.
  • De prestatiewinst wordt voornamelijk toegeschreven aan de rangschikkingsformulering van de kandidaatset in Fase 2, die positieven beter scheidt van moeilijke negatieven dan contrastieve alignering alleen.

• Transfer Learning:

  • Fine-tuning vanuit een lekgecontroleerd USPTO-Full checkpoint bereikte 75,4% top-1 nauwkeurigheid op USPTO-50k, wat de schaalbaarheid van de aanpak met grotere pretrainingsdata aantoont.

• Langstaart en Betrouwbaarheid:

  • Zoekopdracht-gebaseerde voorspelling toonde bijzondere sterkte in de langstaart van zeldzame templates, waarbij het classificatie-gebaseerde scoren op zeldzame klassen overtrof.
  • Analyse toonde aan dat 42,8% van de correcte top-1 reactantvoorspellingen "secundaire successen" waren, gegenereerd door een template die verschilde van het geregistreerde ground-truth-label, maar chemisch equivalent was na toepassing en deduplicatie. Dit benadrukt dat het model leert chemisch geldige alternatieven op te halen, niet alleen het specifieke geregistreerde label.

Betekenis en Claims
Het artikel betoogt dat template-gebaseerde retrosynthese niet voorspellende prestaties hoeft op te offeren voor interpreteerbaarheid. Door over te stappen van globale classificatie naar zoekopdracht-gebaseerde rangschikking met hard-negative mining en EMA-stabilisatie, daagt ConRetroBert de aanname uit dat hoge nauwkeurigheid vereist dat expliciete reactietemplates worden opgegeven. De auteurs claimen dat hun methode voorspellingen produceert die niet alleen concurrerend zijn met state-of-the-art template-vrije en semi-template-modellen, maar ook chemisch inspecteerbaar blijven, traceerbaar zijn naar specifieke transformatieregels en compatibel zijn met downstream syntheseplanningsbeperkingen. Het werk suggereert dat de "zwakte" van template-gebaseerde methoden een formuleringprobleem is dat oplosbaar is met moderne zoekopdracht-leertechnieken, en geen inherente beperking van het gebruik van expliciete regels.