Predicting Scale-Up of Metal-Organic Framework Syntheses with Large Language Models

Deze paper introduceert ESU-MOF, een dataset en een positief-onbepaalde leermethode die grote taalmodellen finetunen om de schaalbaarheid van metaal-organische kaders (MOF's) met 91,4% nauwkeurigheid te voorspellen, waardoor industriële toepassing wordt versneld.

De kern

Stel je voor dat chemici een soort "magische blokken" bouwen, genaamd Metal-Organic Frameworks (MOF's). Dit zijn materialen die eruitzien als een enorm, ingewikkeld honingraatnetwerk. Ze zijn fantastisch voor het opslaan van gassen, het zuiveren van water of het maken van nieuwe medicijnen.

Het probleem? Chemici zijn er heel goed in om deze blokken in een klein flesje in het lab te maken (een paar milligram). Maar als een bedrijf zegt: "We willen dit in een fabriek maken, in tonnen!", dan stopt de magie vaak. De recepten die in het lab werken, breken vaak als je ze vergroot. Het is alsof je een perfecte taart kunt bakken voor twee personen, maar als je probeert diezelfde taart voor 1000 mensen te bakken, wordt het een modderige soep.

De wetenschappers in dit artikel hebben een slimme oplossing bedacht met behulp van kunstmatige intelligentie (AI), specifiek een "Grote Taalmodel" (zoals een super-geavanceerde chatbot). Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Grote Boek van de Wereld

Stel je voor dat er duizenden boeken zijn over het maken van deze chemische blokken. In sommige boeken staat: "We hebben dit gemaakt in een klein potje." In andere boeken staat: "We hebben dit gemaakt in een grote tank en het werkt!" Maar deze informatie is verspreid over de hele wereld en niemand heeft ooit alle boeken doorgebladerd om een patroon te vinden.

De onderzoekers hebben een digitale detective (een AI-agent) ingezet om al die boeken te lezen. Deze detective zoekt naar twee soorten verhalen:

• De "Grote" verhalen: Papers waar staat dat het in grote hoeveelheden is gemaakt (gram, kilo's, of zelfs pilot-fabrieken).
• De "Kleine" verhalen: Papers waar alleen een klein potje wordt beschreven.

2. De Slimme Gok (De "Positieve-Onbekende" Methode)

Hier wordt het echt slim. De AI krijgt een lastige opdracht. Ze krijgt een recept voor een klein potje en moet raden: "Zal dit recept ook werken als we het 1000 keer zo groot maken?"

Het probleem is dat de AI niet weet welke recepten niet werken als ze groot worden. Ze ziet alleen recepten die wel werken (de "Grote" verhalen) en een berg recepten waarvan ze niet weet of ze werken of niet (de "Onbekenden").

In plaats van te zeggen "Dit werkt niet", leert de AI een slimme truc: "Als het niet in de boeken staat dat het werkt, betekent dat niet dat het mislukt is. Het betekent misschien alleen dat niemand het nog heeft geprobeerd."

Dit noemen ze Positive-Unlabeled Learning. Het is alsof je een kok bent die duizenden recepten heeft. Je ziet dat 100 recepten in grote restaurants worden gebruikt. Je ziet 1000 recepten die alleen thuis worden gemaakt. Je vraagt je af: "Zijn de thuisrecepten slecht, of zijn ze gewoon nog niet ontdekt door de grote restaurants?" De AI leert om die verborgen "grote" recepten te vinden.

3. De "Schaal-voorspeller"

De AI is getraind om naar de ingrediënten te kijken:

• Gebruiken ze giftige chemicaliën? (Slecht voor een fabriek).
• Moet het 3 dagen koken? (Slecht voor een fabriek).
• Is het water? (Vaak goed voor een fabriek).

Op basis van deze details leert de AI een intuïtie te ontwikkelen. Het is alsof je een ervaren chef-kok bent die na het lezen van duizenden recepten ineens voelt: "Ah, dit recept met die specifieke temperatuur en dat goedkope solvent? Dat zal wel in een fabriek werken!"

4. Het Resultaat: Een Filter voor de Industrie

Het resultaat is een model dat 91,4% nauwkeurig is.

• Vroeger: Een industrieel bedrijf moest honderden recepten zelf uitproberen in de fabriek. Dat kostte jaren en miljoenen euro's.
• Nu: Ze kunnen een nieuwe MOF ontdekken, het recept invoeren in de AI, en de AI zegt: "Dit is een kansrijke kandidaat, probeer dit eerst!" of "Dit ziet er onmogelijk uit om groot te maken, sla het over."

De Metafoor: De Reisplanner

Stel je voor dat je een reis wilt maken.

• De oude manier: Je probeert elke route zelf uit. Sommige wegen leiden naar een afgrond (mislukte schaalvergroting), andere naar een paradijs (succesvolle fabriek). Je raakt verdwaald.
• De nieuwe manier (deze paper): Je hebt een GPS die alle reisverhalen van de afgelopen 30 jaar heeft gelezen. Hij ziet dat mensen die "Route A" namen vaak vastliepen in modder, terwijl "Route B" altijd leidde naar de top, zelfs als de reiziger dat niet expliciet schreef.
  Deze GPS (de AI) zegt niet alleen welke weg de kortste is, maar voorspelt welke weg bestaat voor een vrachtwagen (een fabriek), niet alleen voor een fiets (een lab).

Waarom is dit belangrijk?

Het versnelt de tijd tussen "een cool idee in het lab" en "een echt product in de winkel". Het helpt chemici om te focussen op de recepten die echt kans maken om de wereld te veranderen, in plaats van tijd te verspillen aan recepten die in de praktijk nooit groot kunnen worden.

Kortom: Ze hebben een slimme voorspeller gebouwd die de geheimen van de chemische literatuur ontcijfert, zodat we sneller kunnen bouwen aan een schoner en efficiënter toekomst.

Technische samenvatting

Titel: Voorspellen van Schaalvergroting van Metal-Organic Framework (MOF) Synthesen met Grote Taalmodellen

1. Het Probleem

Hoewel er duizenden Metal-Organic Frameworks (MOF's) zijn ontdekt dankzij reticulaire chemie, vormt de schaalvergroting (van milligram naar kilogram) een kritieke bottleneck tussen laboratoriumontdekking en industriële toepassing. De kennis over hoe een synthese geschaald kan worden is verspreid over duizenden losstaande literatuurreferenties en vaak impliciet.

• Uitdaging: Het is moeilijk om te voorspellen of een nieuwe, klein-schalig gepubliceerde MOF-synthese potentie heeft voor grootschalige productie op basis van de vroege synthesegegevens.
• Data-uitdaging: Er is een gebrek aan gestructureerde datasets met gelabelde "geschaalde" versus "niet-geschaalde" protocollen. De afwezigheid van schaalvergrotingsgegevens in een artikel betekent niet per se dat het niet schaalbaar is; het betekent vaak slechts dat het niet is gerapporteerd (een "positief-ongelabeld" probleem).

2. Methodologie

De auteurs introduceren ESU-MOF, een data-gedreven workflow die Large Language Models (LLM's) combineert met Positive-Unlabeled (PU) learning.

A. Dataverzameling en Constructie (ESU-MOF Dataset)

• Bronnen: Twee literatuurpools werden uitgewerkt via Web of Science (1995–2026):
  • Pool P (Mogelijke Positieven): Zoekopdrachten met trefwoorden als "scale-up", "gram-scale", "kilogram" en "pilot". Dit leverde 117 paper-groepen op.
  • Pool U (Ongelabeld): Algemene MOF-synthesen (solvothermaal, één metaal, één linker). Dit leverde 946 paper-groepen op.
• Data-extractie: Een LLM-agent (GPT-5.4) fungeerde als data-mining tool om gestructureerde synthesegegevens (metaal, linker, oplosmiddel, temperatuur, tijd, opbrengst, etc.) uit de volledige teksten en ondersteunende informatie te halen. De extractie-accuraatheid voor sleutelparameters bedroeg 97,6%.
• Labeling:
  • $P_s$ (Sterke Positieven): Protocollen met expliciete schaalvergrotingsbewijzen.
  • $P_a$ (Auxiliaire Positieven): Klein-schalige protocollen van MOF's die later als schaalbaar bleken (geïdentificeerd via naam en chemische identiteit).
  • $U$ (Ongelabeld): Protocollen zonder bekende schaalvergrotingsbewijzen (bevat zowel ware negatieven als verborgen positieven).
  • $N$ (Negatief): Een klein, door experts gecureerd setje van protocollen die waarschijnlijk niet schaalbaar zijn (bijv. giftige oplosmiddelen, enkel kristalgroei). Deze set werd niet gebruikt voor training, alleen voor evaluatie.
• Dataset Statistieken: Na verwijdering van dubbele gegevens bevat de dataset 3.568 protocollen (2.684 $U$, 723 $P$, 161 $N$). De splitsing (70/15/15) gebeurde op paper-niveau om data-lekkage te voorkomen.

B. Modeltraining en PU Learning Strategie

• LLM Fine-tuning: Een base LLM (GPT-4.1) werd gefine-tuned op JSON-representaties van de synthese-protocollen.
• PU Learning Aanpak: In plaats van standaard classificatie, werd een PU-learning strategie toegepast:
  • $P_s$ en $P_a$ werden beide gemapt naar het positieve label "P".
  • $U$ bleef ongelabeld.
  • $N$ werd uitgesloten van training.
• Calibratie en Correctie: Omdat de literatuur slechts een vertekende steekproef van alle schaalbare protocollen bevat, onder-estimeert het ruwe model de kans op schaalbaarheid.
  • PU Correctie: Een factor $\hat{c}$ (geschat op 0,837) werd berekend om de kans te corrigeren dat een echt positief voorbeeld in de gelabelde set staat. De ruwe score $q(x)$ wordt gedeeld door $\hat{c}$.
  • Platt Scaling: Een calibratielaag werd toegepast op de gold-validatieset om de uiteindelijke scores te kalibreren en een optimale drempelwaarde ($\tau = 0,39$) te bepalen.

3. Belangrijkste Resultaten

Het gefine-tuned model (ESU-MOF) presteerde aanzienlijk beter dan bestaande methoden:

• Gold Benchmark (Classificatie $P_s$ vs. $N$):

  • Balanced Accuracy: 91,4% (vergeleken met 78,5% voor een niet-fine-tuned GPT-5.1 en 77,6% voor GPT-4.1).
  • F1-score: 93,2%.
  • ROC-AUC: 95,8%.
  • Dit toont aan dat het model effectief kan onderscheiden tussen protocollen met bewezen schaalbaarheid en die welke dat niet hebben.

• Deployment Benchmark (Ranking $P_a$ vs. $U$):

  • Dit simuleert het vinden van verborgen kanshebbers in de algemene literatuur.
  • ROC-AUC: 94,5%.
  • Precision@10: 80,0% (8 van de top-10 protocollen waren in werkelijkheid schaalbaar).
  • Top-3 Hit Rate: 88,9% op paper-niveau.
  • Dit betekent dat het model zeer goed is in het naar voren schuiven van de meest veelbelovende kandidaten voor industriële screening.

• Vergelijking met Baselines: Het model overtrof traditionele machine learning (Logistieke Regressie, Random Forest) en deep learning modellen (BERT, BiLSTM) aanzienlijk, evenals zero-shot LLM's. Dit benadrukt de noodzaak van fine-tuning op een specifiek, literatuur-gedreven dataset.

4. Bijdragen en Significatie

• ESU-MOF Dataset: De eerste grote, gestructureerde dataset die specifiek is opgezet voor het voorspellen van schaalbaarheid van MOF's, gebaseerd op text mining van duizenden papers.
• PU Learning voor Materialenwetenschap: Het demonstreert dat PU-learning een krachtige methode is om om te gaan met de "onzichtbare" positieven in wetenschappelijke literatuur, waar afwezigheid van bewijs niet gelijkstaat aan falen.
• Versnelling van Industriële Ontwikkeling: De workflow biedt een data-gedreven triagemethode. Chemici en ingenieurs kunnen nu vroeg in het ontwerpproces voorspellen of een nieuwe MOF-synthese potentie heeft voor grootschalige productie, waardoor tijd en middelen worden bespaard.
• Inzicht in Schaalbaarheid: Het model leert impliciete patronen uit de literatuur (zoals het gebruik van water als oplosmiddel, gematigde temperaturen en eenvoudige werkup) die correleren met succesvolle schaalvergroting, zonder dat deze handmatig als regels hoeven te worden ingevoerd.

Conclusie:
De studie bewijst dat schaalbaarheid voorspelbaar is op basis van vroege synthesegegevens. Door LLM's te combineren met PU-learning, kan de kloof tussen academische ontdekking en industriële realisatie voor MOF's worden overbrugd, waardoor de selectie van veelbelovende materialen voor verdere ontwikkeling wordt geoptimaliseerd.