Technische Samenvatting: Chemici en AI verbinden – Een door experts verrijkt raamwerk voor interpreteerbare route-evaluatie

Probleemstelling

De selectie van efficiënte meerstaps synthetische routes vormt een kritieke bottleneck in de organische synthese, met name binnen de geneesmiddelen- en proceschemie. Hoewel Computer-Aided Synthesis Planning (CASP)-tools vooruitgang hebben geboekt in het genereren van diverse route-opties, blijft de daaropvolgende evaluatie van deze routes een aanzienlijke uitdaging. Bestaande datagedreven beoordelingssystemen vereenvoudigen vaak de multi-objectieve aard van syntheseontwerp (het in evenwicht brengen van haalbaarheid, kosten, veiligheid, duurzaamheid, enz.) en vertrouwen sterk op proxy-datasets, zoals uit octrooien onttrokken routes, in plaats van universele, onderbouwde criteria.

Octrooigegevens reflecteren vaak door tijdsdruk bepaalde keuzes in plaats van optimale chemie, en bestaande datasets zijn schaars omdat doorgaans slechts één of enkele syntheseën per molecule worden gerapporteerd. Bijgevolg lopen modellen die uitsluitend op octrooigegevens zijn getraind het risico te overfitten op de 'verschijning' van een octroioroute, in plaats van het onderliggende redeneren en de evaluatieheuristieken van expertchemici te leren. Bovendien maakt het gebrek aan hoogwaardige negatieve reactiegegevens het voorspellen van de haalbaarheid van forward-synthese moeilijk. Op dit moment vertrouwt het vakgebied sterk op handmatige evaluatie door synthetische chemici, een proces dat traag, duur en moeilijk schaalbaar is.

Methodologie

De auteurs stellen een door experts verrijkt, datagedreven scorekader voor (geïllustreerd in Figuur 1) dat machine learning integreert met domeinkennis van chemici om zowel numerieke als verklaarbare routebeoordelingen te bieden. De methodologie verloopt in drie fasen:

1. Pre-training van een op DeepSets gebaseerd scoremodel (Fase 1)

De kern van het systeem is een neurale netwerkarchitectuur gebaseerd op DeepSets, ontworpen om verzamelingen reacties met permutatie-invariantie te verwerken. Dit stelt het model in staat om routes met wisselend aantal reacties en ongeordende invoer robuust te verwerken.

• Architectuur: Het model bestaat uit twee modules:
  • Encoder ($\phi$): Verwerkt individuele reactiekenmerken (reactieklasse, haalbaarheidsscore, representatie van het doelwitverbinding en optionele route-inbedding) om een reactie-inbedding te produceren.
  • Scorer ($\sigma$): Aggregeert de reactie-inbeddingen en combineert deze met route-niveau eigenschappen (kosten, volume, complexiteit en molecuulvingerafdrukken) om een eindscore te voorspellen.
• Trainingsdoel: Het model wordt aanvankelijk getraind op een groot corpus van octrooiroutes (47.303 moleculen, ~1,7 miljoen routes) om de Tree Edit Distance (TED) tussen een gegenereerde route en een referentieroute te voorspellen. TED werd geselecteerd als de maatstaf omdat het een robuuste maat biedt voor structurele en strategische gelijkenis, en andere kandidaat-maatstaven overtreft bij het onderscheiden van routes van hoge kwaliteit van slechte routes.
• Invoerkens: Het systeem maakt gebruik van reactie-inbeddingen (getest: Structural Difference Fingerprint [SDF], Chemical Reaction Fingerprint [RXNFP], Differential Reaction Fingerprint [DRFP]), haalbaarheidsscores voor reactieklassen en route-eigenschappen zoals kosten en complexiteit.

2. Door experts verrijkte fine-tuning (Fase 2)

Om de kloof tussen numerieke gelijkenis (TED) en menselijke oordelen te overbruggen, introduceert het kader een kwalitatieve beoordelingslaag.

• Heuristische criteria: Expertchemici hebben een duidelijk drie-traps classificatiesysteem ("Goed", "Plausibel", "Slecht") vastgesteld op basis van een 5-punts schaal voor reactie-naar-route scoring.
  • 5 punten (Goed): Zeer waarschijnlijk succesvol, verwaarloosbare impact op functionele groepen.
  • 4 punten (Plausibel): Correcte ontkoppeling maar vereist kleine aanpassingen of bevat onnodige maar geldige stappen.
  • 3 punten: Retrosynthetisch correct maar vertrouwt op specifieke beschermende groepenschema's of redox-manoeuvres.
  • 2 punten: Grote selectiviteitsproblemen of conceptuele wijzigingen vereist.
  • 1 punt: Zeer onwaarschijnlijk succesvol of onopgeloste uitgangsmateriaalproblemen.
• Fine-tuning-strategie: De voorgeprende DeepSets-ruggegraat wordt gefine-tuned met een kleine-data, door experts geleide adaptatie.
  • LoRA (Low-Rank Adaptation): De gewichten van de basisencoder en scorer worden bevroren. Alleen de LoRA-parameters van de verborgen lagen van de encoder en een nieuwe classificatiekop worden geoptimaliseerd met expert-gelabelde data (120 routes).
  • Output: Hierdoor kan het model een onderscheidende route-haalbaarheidsschatting leren, terwijl de oorspronkelijke afstandspredictor als secundair signaal behouden blijft.

3. Door experts verrijkt beoordelingssysteem (Fase 3)

Het uiteindelijke systeem geeft zowel een kwantitatieve multi-objectieve score als een interpreteerbare kwalitatieve haalbaarheidsschatting (Goed/Plausibel/Slecht) af, in lijn met real-world besluitvorming bij retrosynthetische planning.

Belangrijkste bijdragen

1. Door experts verrijkt kader: Een nieuw proces dat grootschalig datagedreven modellering (pre-training op octrooigegevens) combineert met kleinschalige, door experts afgestemde beoordeling (fine-tuning op chemici-evaluaties).
2. Systeem met dubbele output: Het model biedt zowel een kwantitatieve score (TED-voorspelling) als een interpreteerbare kwalitatieve rating (5-punts schaal gemapt naar 3-traps categorieën), wat tegemoetkomt aan de behoefte aan transparantie in door AI gedreven syntheseplanning.
3. Permutatie-invariante architectuur: Het gebruik van DeepSets zorgt ervoor dat het model routes behandelt als ongeordende verzamelingen, met focus op reactie-niveau eigenschappen onafhankelijk van de volgorde, wat de leertaak vereenvoudigt terwijl robuustheid behouden blijft.
4. Efficiënte fine-tuning: Het gebruik van LoRA stelt het systeem in staat zich aan expertoordelen aan te passen met een beperkte dataset (120 routes) zonder catastrofale vergetelheid van de voorgeprende kennis.

Resultaten

Het systeem werd geëvalueerd op een testset van 120 expert-gelabelde routes met behulp van 5-voudige kruisvalidatie.

• Kwalitatieve voorspelling (Rating):

  • Het model behaalde een Spearman-correlatie van 0,78 ± 0,05 en een Pearson-correlatie van 0,77 ± 0,06 met expertratings op de 5-punts schaal.
  • Voor de drie-traps classificatie (Goed/Plausibel/Slecht) behaalde het model een algehele nauwkeurigheid van 67 ± 6,4%.
  • De prestaties waren bijzonder sterk in het onderscheiden van "Goede" (Precisie: 0,781, Recall: 0,795) en "Slechte" routes, hoewel er enige onzekerheid bleef tussen de categorieën "Goed" en "Plausibel".

• Kwantitatieve voorspelling (Afstand & Ranking):

  • Afstandsvoorspelling: De SDF-inbedding presteerde beter dan andere methoden (DRFP, RXNFP en geen inbeddingen), met de laagste Mean Squared Error (7,102 ± 0,200) en de hoogste R-kwadraat (0,723 ± 0,003).
  • Ranking-nauwkeurigheid: Het model behaalde een top-1 ranking-nauwkeurigheid van 60,2% (0,603 ± 0,007) op de testdataset, aanzienlijk beter dan de vorige baseline (17,5%).
  • Top-k prestaties: Het op SDF gebaseerde model identificeerde ongeveer 95% van de referentieroutes binnen zijn top-20 voorspellingen.

• Inbeddingsanalyse: Interessant is dat de studie vond dat de eenvoudigere SDF-inbedding beter presteerde dan meer geavanceerde methoden (DRFP, RXNFP), wat suggereert dat voor route-afstandsvoorspelling eenvoudigere structurele representaties effectiever kunnen zijn en minder vatbaar voor overfitting.

Betekenis en claims

Het artikel stelt dat dit door experts verrijkte kader succesvol de kloof overbrugt tussen datagedreven machine learning en chemische domeinkennis. Door verder te gaan dan reliance op octrooiproxy's en expliciete expertheuristieken op te nemen, biedt het systeem een betrouwbaardere, transparantere en actievere evaluatie van synthetische routes.

De auteurs benadrukken dat het systeem niet zomaar een score voorspelt, maar de nuance van expert chemisch oordeel vastlegt, inclusief hoe experts multi-objectieve afwegingen oplossen. De aard van de dubbele output (kwantitatieve score + kwalitatieve rating) maakt het systeem geschikt voor praktische integratie in workflows voor syntheseplanning. De auteurs merken op dat hoewel het model veelbelovende prestaties laat zien, het nog steeds uitdagingen kent bij het onderscheiden tussen aangrenzende categorieën (bijv. Goed versus Plausibel), wat suggereert dat toekomstig werk zou kunnen profiteren van meer granulaire learning met menselijke tussenkomst om taciete kennis buiten structurele gelijkenis te vangen.

Het werk positioneert zichzelf als een stap in de richting van het afstemmen van AI op expert menselijk oordeel, een capaciteit die de auteurs suggereren uitbreidbaar is naar andere domeinen die complexe, multi-objectieve besluitvorming vereisen, zoals de gezondheidszorg.