Uncertainty-aware phase fraction prediction and active-learning-guided out-of-domain discovery of refractory multi-principal element alloys

Deze studie presenteert een onzekerheidsbewust deep learning-kader op basis van Mixture Density Networks dat de fasefracties van refractaire multi-principale legeringen voorspelt en een actieve leermethode gebruikt om nieuwe, hoogwaardige legeringen met onbekende elementen te ontdekken.

De kern

Stel je voor dat je een kok bent die de ultieme, onbreekbare pan voor de ruimtevaart wil maken. Je hebt een enorme kast vol met verschillende metalen (zoals titanium, ijzer, aluminium, nikkel, enzovoort). Je kunt deze metalen op miljarden manieren met elkaar mengen om een nieuw, supersterk legering (een metaalmengsel) te maken. Deze speciale mengsels heten Refractory Multi-Principal Element Alloys (RMPEAs).

Het probleem? Er zijn zoveel mogelijke combinaties dat het duizenden jaren zou kosten om ze allemaal in een laboratorium te testen. Wetenschappers gebruiken daarom computers en kunstmatige intelligentie (AI) om te voorspellen welke mix het beste werkt.

Maar tot nu toe waren die AI's als een overmoedige voorspeller. Ze zeiden: "Ik weet zeker dat deze mix 90% sterkte geeft!" zonder te beseffen dat ze misschien helemaal niet zeker waren. Als je die mix in het echt maakt, kan het een ramp zijn.

Dit artikel beschrijft een nieuwe, slimmere AI-methode die niet alleen voorspelt, maar ook eerlijk is over hoe zeker ze zich voelt. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Gokker" vs. De "Statistiek" (Onzekerheid meten)

De oude AI's werkten als een gokker die altijd één getal noemt. De nieuwe methode, gebaseerd op een Mixture Density Network (MDN), werkt meer als een weerman.

• Oude AI: "Het regent morgen." (Puntvoorspelling).
• Nieuwe AI: "Er is 80% kans op regen, maar het kan ook een bui zijn of een lichte motregen. Hier is de kansverdeling."

Deze nieuwe AI geeft niet alleen het antwoord, maar ook een waarschuwingsteken: "Ik voorspel dat dit metaal sterk is, maar ik ben niet 100% zeker omdat de data hier vaag is." Dit noemen ze aleatorische onzekerheid (de onzekerheid die inherent is aan de chaos van de natuur).

2. Het Ontbrekende Puzzelstukje (Onwetendheid)

Stel je voor dat je een auto probeert te repareren, maar je hebt alleen de wielen en de motorkap gezien, niet de motor. Je kunt een gok doen, maar je bent niet zeker.

• In het begin gebruikte de AI 41 verschillende eigenschappen (zoals atoomgrootte, smeltpunt, elektronen) om te voorspellen.
• De onderzoekers ontdekten dat ze niet alle 41 nodig hadden. Ze konden de lijst inkorten tot de 12 belangrijkste eigenschappen zonder dat de voorspelling slechter werd.
• Als ze nog verder inkortten (bijvoorbeeld alleen de 5 belangrijkste), werd de AI weer onzeker. Dit noemen ze epistemische onzekerheid: de onzekerheid die komt doordat de AI niet genoeg informatie heeft. Ze leerden dus precies welke "puzzelstukjes" ze nodig hebben om een betrouwbare voorspelling te doen.

3. De Ontdekkingsreis: Exploitatie vs. Exploratie

Het coolste deel is hoe ze deze AI gebruiken om nieuwe, nog nooit geziene metalen te vinden. Stel je voor dat je een schatzoeker bent. Je hebt een kaart van een bekend eiland (de trainingdata), maar je wilt een nieuw eiland ontdekken (nieuwe metalen met elementen die de AI nog nooit heeft gezien).

Ze gebruikten een strategie met twee benaderingen:

• De "Veilige Route" (Exploitatie): De AI kijkt alleen naar plekken waar ze zich al heel zeker voelt. Dit levert snel goede resultaten op, maar je ontdekt geen nieuwe gebieden. Het is alsof je alleen in je eigen achtertuin zoekt.
• De "Avontuurlijke Route" (Exploratie): De AI kijkt naar plekken waar ze onzeker is. "Hier weet ik het niet, misschien zit hier wel een schat!" Dit is riskanter, maar hier ontdek je echt nieuwe, unieke metalen.

De onderzoekers ontdekten dat je een slimme balans moet vinden. Als je alleen veilig zoekt, vind je snel goede metalen, maar je blijft steken. Als je durft te exploreren (de onzekere plekken opzoekt), leer je de AI meer over de wereld en vind je op de lange termijn betere en nieuwere oplossingen.

Samenvatting

Kortom, deze wetenschappers hebben een slimme, eerlijke AI gebouwd die:

1. Voorspelt welke metalenmix het sterkst is.
2. Zegt hoe zeker ze zich voelt bij die voorspelling.
3. Je vertelt welke informatie ze mist om nog zekerder te zijn.
4. Je helpt om veilig én avontuurlijk nieuwe, supersterke metalen te vinden voor extreme omgevingen (zoals in ruimteschepen of turbines).

In plaats van blindelings te vertrouwen op een computer die "weet" wat het beste is, geven ze ons nu een hulpmiddel dat zegt: "Dit lijkt goed, maar wees voorzichtig," of "Hier weten we het niet, laten we dit eens testen!" Dit maakt het vinden van nieuwe materialen veel sneller en veiliger.

Technische samenvatting

Probleemstelling

Refactoire multi-principale elementlegeringen (RMPEA's) vormen een nieuwe klasse van legeringen met een enorme compositie-ontwerpruimte en uitzonderlijke mechanische prestaties onder extreme omstandigheden. Het ontwerpen van deze legeringen wordt echter gehinderd door schaarse experimentele data en complexe relaties tussen samenstelling en eigenschappen.
Bestaande machine learning (ML) modellen voor het voorspellen van fase-stabiliteit lijden onder twee belangrijke beperkingen:

1. Deterministische benadering: De meeste modellen leren een deterministische mapping van invoer-features naar fase-labels. Ze negeren echter de aleatorische onzekerheid (data-variabiliteit), waarbij verschillende composities dezelfde feature-waarden kunnen hebben maar toch verschillende fasen vertonen.
2. Epistemische onzekerheid: Er is vaak onvolledige kennis over de meest informatieve invoer-features. Bestaande studies gebruiken inconsistente sets van descriptors, wat leidt tot onzekerheid door ontbrekende of suboptimale input.
   Daarnaast hebben conventionele diepe leermodellen (zoals MLP's) de neiging om overmoedige voorspellingen te doen bij extrapolatie naar nieuwe, onbekende gebieden in de ontwerpruimte (Out-of-Distribution of OOD), wat de ontdekking van nieuwe materialen belemmert.

Methodologie

De auteurs hebben een diep leerframework ontwikkeld dat onzekerheid expliciet kwantificeert en active learning gebruikt voor de ontdekking van nieuwe materialen.

• Dataset Generatie:

  • Er zijn 70.000 unieke composities gegenereerd uit een ontwerpruimte van 9 elementen (Ti, Fe, Al, V, Ni, Nb, Zr, Mn, Co) met 3 tot 5 elementen per legering.
  • De doelgroepen (fase-fracties) zijn berekend bij zeven temperaturen (850 K tot 0,8 $T_m$) met behulp van CALPHAD (Thermo-Calc database TCHEA6).
  • Een oversampling-strategie is toegepast om het onbalans in de data (sommige fasen zijn zeldzamer) te corrigeren.
  • De dataset bevat 51 oorspronkelijke features (thermodynamische parameters, atoomstralen, elektronegativiteit, etc.), gereduceerd tot 41 unieke features na correlatie-analyse en normalisatie.

• Model Architectuur (Mixture Density Networks - MDN):

  • In plaats van een enkele waarde te voorspellen, gebruikt het model een Mixture Density Network (MDN). Dit model voorspelt een kansdichtheidsfunctie (PDF) bestaande uit een mengsel van Gaussische verdelingen.
  • Dit stelt het model in staat om zowel de verwachte fase-fractie (gemiddelde) als de aleatorische onzekerheid (variantie) te voorspellen.
  • Er zijn zes aparte MDN-modellen getraind voor de volgende fasen: FCC, BCC/B2, Laves, Sigma, Heusler en Vloeibaar.
  • Hyperparameters zijn geoptimaliseerd via Bayesian optimization.

• Feature Importance en Epistemische Onzekerheid:

  • Een perturbatie-analyse is uitgevoerd om de bijdrage van elke invoerfeature te beoordelen.
  • Het model is getraind met een gereduceerde set features om te testen hoe de voorspellingskwaliteit en de epistemische onzekerheid (onzekerheid door gebrek aan kennis) veranderen.

• Active Learning voor OOD Ontdekking:

  • Een strategie is ontwikkeld om nieuwe RMPEA's te ontdekken met elementen die niet in de trainingsdata zaten (in dit geval: trainen op Ti-vrije legeringen, voorspellen voor Ti-bevattende legeringen).
  • Twee acquisitiestrategieën zijn vergeleken:
    1. Low-uncertainty route: Selectie van composities waar het model al zeker van is (exploitatie).
    2. High-uncertainty route: Selectie van composities waar het model onzeker over is (exploratie).
  • Het proces is iteratief: geselecteerde kandidaten worden toegevoegd aan de trainingsset en het model wordt hergetraind.

Belangrijkste Bijdragen

1. Onzekerheidsbewust Voorspellingsframework: De eerste toepassing van MDN's voor het voorspellen van fase-fracties in RMPEA's, waarbij zowel aleatorische als epistemische onzekerheid expliciet wordt gekwantificeerd.
2. Optimale Feature Selectie: Identificatie van een minimale, voldoende set van 12 features die nodig zijn voor nauwkeurige voorspelling van de BCC-fase. Dit reduceert epistemische onzekerheid zonder in te leveren op nauwkeurigheid.
3. Active Learning Strategie voor OOD: Een bewezen methode om de "exploitatie-exploratie" afweging te managen bij het ontdekken van nieuwe materialen in composities die buiten de trainingsdistributie vallen.

Resultaten

• Voorspellingsnauwkeurigheid: De MDN-modellen behaalden zeer hoge $R^2$-waarden op de testset voor alle fasen (bijv. 0,98 voor BCC, 0,99 voor Laves). De modellen kunnen niet alleen de fase-fractie nauwkeurig voorspellen, maar ook de waarschijnlijkheidsverdeling ervan.
• Onzekerheidsanalyse:
  • Het gebruik van alleen de top 5 features leidde tot een sterke daling in nauwkeurigheid ($R^2$ daalde naar 0,63) en een toename in voorspelde onzekerheid.
  • Een set van 12 features bleek voldoende om de prestaties te maximaliseren en epistemische onzekerheid te minimaliseren; meer features brachten geen significante verbetering.
• Active Learning Prestaties:
  • Exploitatie (Low-uncertainty): Deze route leverde snel composities op met een hoge fractie van de gewenste BCC-fase (stabiliserend rond 0,9). Dit is ideaal voor het snel vinden van specifieke kandidaten.
  • Exploratie (High-uncertainty): Hoewel de initiële BCC-fractie lager was, verbeterde deze route de recall en de F1-score van het model aanzienlijk over de tijd. Dit komt omdat het model zo een breder deel van de ontwerpruimte verkent en meer "ware" BCC-legeringen ontdekt die anders gemist zouden zijn.
  • De geselecteerde kandidaten bleken verspreid over de hele ontwerpruimte te liggen en niet beperkt tot een smalle regio.

Betekenis en Impact

Dit onderzoek biedt een robuust en betrouwbaar framework voor de versnelling van materiaalontdekking. Door onzekerheid expliciet te modelleren, kunnen onderzoekers:

• Betrouwbare voorspellingen doen met kennis van de betrouwbaarheid (confidence intervals).
• Effectief omgaan met data-schaarste en onvolledige kennis over relevante descriptors.
• Gerichte experimenten plannen in nieuwe, onbekende composities (OOD) zonder te vertrouwen op overmoedige voorspellingen.

De methode is breed toepasbaar op andere materiaalsystemen en temperaturen, en vormt een belangrijke stap richting betrouwbare, datagedreven ontwerpen van hoogwaardige legeringen voor extreme omstandigheden.