A green solvent screening tool for emerging materials via uncertainty aware, transformer enhanced transfer learning

Technische Samenvating: Screening van Groene Oplosmiddelen via Onzekerheidsbewuste Transfer Learning

Probleemstelling
De nauwkeurige voorspelling van de oplosbaarheid van oplosmiddelen blijft een centrale uitdaging in de materiaalkunde en duurzame chemie. Nu opkomende technologieën zoals organische/hybride fotovoltaïsche cellen, batterijen en katalyse hun productie opschalen, wordt verwacht dat het gebruik van oplosmiddelen aanzienlijk zal toenemen, wat de vervanging van traditionele oplosmiddelen door groenere alternatieven noodzakelijk maakt. De effectiviteit van machine learning (ML) in dit domein wordt echter ernstig beperkt door de schaarste aan experimentele data voor kritieke oplosbaarheidsparameters. Hoewel uitgebreide databases bestaan voor Hansen-oplosbaarheidsparameters ($\delta_d, \delta_p, \delta_h$) en diëlektrische constanten ($\varepsilon_r$), is de data voor andere vitale beschrijvers — specifweg de Gutmann Donor/Acceptor getallen (DN, AN) en de Kamlet-Taft solvatochromische parameters ($\alpha, \beta, \pi^*$) — extreem schaars, variërend van honderden tot slechts tientallen vermeldingen. Deze dataschaarste leidt tot overfitting in conventionele modellen en beperkt de generalisatie die vereist is voor robuuste materiaaldiscovery.

Methodologie
De auteurs stellen een transfer learning-pipeline voor die ontworpen is om een vector van negen oplosbaarheidsparameters voor meer dan 5.000 vluchtige organische verbindingen (VOC's) te voorspellen met minimale vereisten voor trainingsdata. De architectuur integreert drie primaire componenten:

1. Fundamenteel Model (DimeNet): De pipeline maakt gebruik van een vooraf getraind Directional Message Passing Neural Network (DimeNet), dat oorspronkelijk is getraind op de QM9-dataset (134.000 kleine organische moleculen) om kwantumchemische eigenschappen te voorspellen. In plaats van de scalaire output van DimeNet te gebruiken, extraheren de auteurs een vector van vaste grootte uit de voorlaatste laag (een kolomgewijze sommatie van de interactiematrix), die een hogere dichtheid aan moleculaire informatie bevat die geschikt is voor transfer learning.
2. Moleculaire Beschrijvers: Om de deep learning-features aan te vullen, incorporeert het model $n$-dimensionale moleculaire beschrijvers afgeleid van de OCHEM-database. Deze beschrijvers distilleren menselijke chemische intuïtie (bijv. specifieke atomaire groepen) en worden geselecteerd op basis van lage zelfcorrelatie en een hoge correlatie met de doelparameters.
3. Onzekerheidsbewuste Regressie (Gaussian Processes): De laatste laag maakt gebruik van een Gaussian Process (GP) regressor. Dit dient twee kritieke functies: het biedt robuuste voorspellingen, zelfs op schaarse datasets, door gebruik te maken van prior-verdelingen om overfitting te voorkomen, en het kwantificeert de onzekerheid van voorspellingen via betrouwbaarheidsintervallen.
4. Transformer-verbetering: Voor specifieke parameters wordt een transformer-laag tussen de geconcateneerde DimeNet/descriptor-vector en de GP ingevoegd om aandacht-gebaseerde waarde-aanpassingen uit te voeren, wat de voorspelling verder verfijnt.

De pipeline is getraind om de negatieve log-likelihood te minimaliseren. Voor het rangschikken van oplosmiddelen definiëren de auteurs een gewogen Euclidische afstandmetriek ($\hat{R}^2$) die een kandidaat-oplosmiddel vergelijkt met een referentie-oplosmiddel. De gewichten kunnen worden aangepast op basis van de specifieke toepassing (bijv. het prioriteren van DN/AN voor ionische perovskietoplossingen) of automatisch worden ingesteld op basis van de $R^2$-prestaties van het model.

Belangrijkste Bijdragen

• Data-augmentatie: Het werk slaagt er succesvol in om de beschikbare data voor oplosbaarheidsbeschrijvers met wel twee ordes van grootte te augmenteren (specifiek een factor 4 voor Hansen-parameters en tot wel 100 voor anderen zoals DN/AN) met hoogwaardige voorspellingen.
• Onzekerheidskwantificering: In tegen tegenoverking met veel bestaande oplosbaarheidsvoorspellers, biedt deze pipeline expliciet onzekerheidsschattingen, waardoor experimentatoren de betrouwbaarheid van voorspellingen kunnen inschatten en hiaten in kennis kunnen identificeren.
• Aanpasbare Screeningtool: De auteurs hebben een lichtgewicht, open-source Streamlit-applicatie (kouter) geïmplementeerd waarmee gebruikers meer dan 5.000 VOC's kunnen screenen. De tool ondersteunt aangepaste weging van oplosbaarheidsparameters, onzekerheidsfiltering en screening op gevarensymbolen (GHS H3xx/H4xx) om "groene" alternatieven te identificeren.
• Robuustheid op Schaarse Data: De studie toont aan dat transfer learning vanuit fundamentele modellen hoogwaardige voorspellingen mogelijk maakt, zelfs op datasets met minder dan 50 datapunten, een regime waarin conventionele modellen doorgaans falen.

Resultaten
De pipeline werd gevalideerd met behulp van $n$-voudige kruisvalidatie (5-voudig voor grote datasets, 10-voudig voor schaarse datasets).

• Prestaties: De volledige pipeline presteerde aanzienlijk beter dan een baseline-model dat alleen Gaussian Processes en moleculaire beschrijvers gebruikt. De relatieve RRMSE verbeterde gemiddeld met ongeveer 50% over alle parameters.
• Specifieke Winsten: De meest dramatische verbeteringen werden waargenomen bij parameters met de minste data. Voor de Gutmann Donor Numbers verbeterde de RRMSE met 84,83% (van 0,865 naar 0,458), en voor de Hansen Bonding ($\delta_h$), met 66,67%.
• Kwalitatieve Validatie: In een "top-1 trial" screening van veelvoorkomende industriële oplosmiddelen (bijv. Dichloromethaan, NMP, Methanol), identificeerde de tool plausibele groene substituten. Opmerkelijk genoeg voorspelde het correct Gamma-Valerolactone (GVL) als substituut voor N,N-Dimethylformamide (consistent met literatuur over perovskiet zonnecellen) en Dimethylsulfon voor Ethyleencarbonaat (consistent met batterij-elektrolyt literatuur). De tool stelde ook nieuwe kandidaten voor, zoals 1,4-dihydro-naftaleen voor Tolueen, hoewel de auteurs opmerken dat deze experimentele validatie vereisen met betrekking tot reactiviteit en stabiliteit.

Betekenis en Claims
Het artikel positioneert dit werk als een "eerste, krachtige proof-of-concept" voor het benutten van vooraf getrainde fundamentele modellen in materiaaldiscovery waar data schaars is. De auteurs beweren dat hun aanpak een veelzijdige, lichtgewicht framework biedt dat op persoonlijke computers kan worden ingezet, waardoor geavanceerde ML toegankelijk wordt voor groepen zonder gespecialiseerde computationele infrastructuur.

De betekenis ligt in het vermogen om "data-gestuurde beslissingen" te bieden voor de vervanging van oplosmiddelen, wat de uitrol van opkomende energietechnologieën (zoals perovskiet PV's en batterijen) kan versnellen door eco-vriendelijke oplosmiddelalternatieven te identificeren. De auteurs benadrukken dat de tool is ontworend voor onderzoek en ontdekking; het is geen vervanging voor veiligheidsinformatiebladen of praktische laboratoriumbeslissingen. Door deskundige chemische kennis (beschrijvers) te combineren met data-gestuurd leren (transfer learning en GP's), overbrugt de pipeline de kloof tussen theoretische voorspelling en praktische toepassing in duurzame chemie. Toekomstig werk zal gericht zijn op het integreren van nieuwere fundamentele modellen (bijv. MACE, NequIP) en het uitbreiden van de scope naar andere schaarse chemische eigenschappen zoals ladingstransport of reactiepaden.