aLLoyM: A large language model for alloy phase diagram prediction

Dit artikel introduceert aLLoyM, een fijngefineerd groot taalmodel getraind op data van legeringsfase-diagrammen dat de voorspellingnauwkeurigheid voor meerkeuzevragen aanzienlijk verbetert en de nieuwe capaciteit demonstreert om fase-diagrammen te genereren op basis van componentbeschrijvingen, waardoor de ontdekking van materialen wordt versneld.

De kern

Stel je voor dat je het weer probeert te voorspellen. Meestal heb je een enorme hoeveelheid data nodig: windsnelheid, luchtvochtigheid, druk en historische patronen. In de wereld van de materiaalkunde doen wetenschappers iets vergelijkbaars, maar in plaats van het weer voorspellen ze fase-diagrammen.

Denk aan een fase-diagram als een "receptkaart" of een "kaart" voor metaallegeringen. Het vertelt je precies in welke toestand een metaal zich zal bevinden (vast, vloeibaar of een specifieke kristalstructuur) op basis van twee dingen: welke ingrediënten (elementen) je mengt en hoe heet je het kookt.

Decennialang was het maken van deze kaarten als proberen een kaart van een nieuw continent te tekenen door elke centimeter ervan te doorlopen. Het is traag, duur en vereist zware apparatuur.

Maak kennis met aLLoyM: de "Super-lezer" Chef

Het artikel introduceert aLLoyM, een nieuw type Kunstmatige Intelligentie (KI) dat is ontworpen als een meesterchef van metaallegeringen. Maar in plaats van te leren door elk gerecht te proeven, leerde aLLoyM door een enorme bibliotheek bestaande receptkaarten te lezen.

Hier is hoe de onderzoekers het bouwden, met behulp van eenvoudige analogieën:

1. De Bibliotheek (De Trainingsdata)
De onderzoekers bedachten geen nieuwe fysica. In plaats daarvan namen ze een enorme, open-source digitale bibliotheek genaamd de CPDDB (Computational Phase Diagram Database). Deze bibliotheek bevat miljoenen "feiten" over hoe verschillende metalen zich gedragen wanneer ze worden gemengd en verhit.

• De Analogie: Stel je een bibliotheek voor met miljoenen boeken, waarbij elk boek zegt: "Als je 50% IJzer en 50% Koolstof mengt bij 1000 graden, krijg je Staal."
• Het Proces: Ze verwerkten deze feiten tot een enorm spel van Vraag en Antwoord (V&A).
  • Vraag: "Wat gebeurt er als ik Koper en Zink meng bij 400 graden?"
  • Antwoord: "Je krijgt een vast legering genaamd Alpha-messing."

2. De Student (Het Model)
Ze namen een bestaande, zeer slimme AI genaamd Mistral (die als een encyclopedie van algemene kennis is die al veel weet over taal en wetenschap) en "fine-tuned" deze.

• De Analogie: Denk aan Mistral als een briljante student die elk boek ter wereld heeft gelezen, maar zich niet specifiek heeft gespecialiseerd in metallurgie. De onderzoekers gaven deze student een enorme stapel flashcards (de V&A-paren) en zeiden: "Bestudeer deze tot je elk vraag over metaalrecepten direct kunt beantwoorden."
• Het Resultaat: De student werd aLLoyM.

Hoe goed werkt het?

De onderzoekers testten aLLoyM op twee manieren, net als een leraar die een student twee verschillende soorten examens geeft:

Examen 1: De Meerkeuzetoets

• De Taak: De AI krijgt een scenario (bijvoorbeeld: "Meng deze metalen bij deze hitte") en moet het juiste antwoord kiezen uit vier opties.
• Het Resultaat: Zonder de speciale training gokte de AI in feite (zoals een student die niet heeft gestudeerd). Na de training gaf aLLoyM bijna altijd het juiste antwoord. Het bewees dat de AI de "regels" van de metaalrecepten kon leren.

Examen 2: Het Open Vraag Essay

• De Taak: De AI krijgt een scenario en moet het antwoord van scratch schrijven, zonder opties om uit te kiezen.
• Het Resultaat: Hier wordt het spannend. aLLoyM koos niet alleen het juiste antwoord; het kon recepten bedenken voor metalen die nooit in een echt laboratorium zijn getest.
  • De "Tijdsreizen" Analogie: De AI werd gevraagd het gedrag van metalen te voorspellen die radioactief zijn, extreem zeldzaam of nog niet ontdekt (zoals Nihonium). Aangezien geen mens ooit een kaart voor deze heeft gemaakt, moest de AI zijn "verbeelding" gebruiken (gebaseerd op de patronen die het leerde) om een nieuwe kaart te tekenen.
  • De Uitkomst: Het tekende succesvol kaarten voor deze "onmogelijke" legeringen. Soms was het raak; soms maakte het kleine fouten (zoals het raden van de verkeerde kristalvorm), maar het toonde aan dat het zich kon wagen in onontdekt gebied.

De Beperkingen (De "Kleine Lettertjes")

Het artikel is eerlijk over waar de AI moeite heeft:

• Eenvoudig vs. Complex: De AI is uitstekend in het voorspellen van eenvoudige mengsels (twee metalen, zoals een binaire legering). Het raakt een beetje in de war als het recept ingewikkeld wordt (drie of meer metalen gemengd), net als een chef die goed is in een soep met twee ingrediënten maar moeite heeft met een complexe stoofpot.
• Het "Midden" Probleem: De AI is zeer nauwkeurig bij de randen (pure metalen) maar minder nauwkeurig in het "midden" van het mengsel, waar de chemie rommelig en complex wordt.

De Grote Conclusie

Het artikel concludeert dat aLLoyM een krachtig nieuw hulpmiddel is. Het vervangt niet de behoefte aan experimenten in de echte wereld, maar fungeert als een hoge-snelheidssimulator.

• Vroeger: Wetenschappers moesten fysiek metalen mengen en verhitten om te zien wat er gebeurde.
• Nu: Ze kunnen aLLoyM vragen: "Wat gebeurt er als we deze drie zeldzame elementen mengen?" en krijgen direct een voorspelde kaart.

Dit stelt wetenschappers in staat de saaie, dure fase van trial-and-error over te slaan en zich alleen te richten op de meest veelbelovende nieuwe materialen. Het is alsof je een GPS hebt die een route door een bos kan suggereren dat je nooit hebt bezocht, gebaseerd op de bomen die je wel hebt gezien.

Technische samenvatting

1. Probleemstelling

Fasediagrammen zijn fundamenteel voor de materiaalkunde en in kaart brengen de stabiliteit van materiaalfasen onder variërende thermodynamische omstandigheden (samenstelling en temperatuur). Het experimenteel bepalen van deze diagrammen is echter hulpbronnenintensief en tijdrovend, terwijl bestaande computationele repositories vaak geen uitgebreide dekking bieden voor onontdekte systemen.
Hoewel traditionele machine learning-modellen (bijvoorbeeld neurale netwerken, random forests) veelbelovend zijn gebleken, zijn ze vaak gespecialiseerd in geïsoleerde datasets en worstelen ze met generalisatie naar ongezichte chemische systemen. De auteurs beogen Large Language Models (LLM's) in te zetten om deze beperkingen te overwinnen door gebruik te maken van hun voorgetrainde kennis van thermodynamische principes en elementaire eigenschappen om fasediagrammen te voorspellen, specifiek voor binaire en ternaire legeringsystemen, inclusief die welke nog niet experimenteel zijn gekarakteriseerd.

2. Methodologie

Datacuratie en Generatie

• Bron: De trainingsdata is afgeleid van de Computational Phase Diagram Database (CPDDB), een open-source repository van NIMS die thermodynamische database (TDB)-bestanden bevat.
• Scope: De dataset omvat 389 binaire en 38 ternaire fasediagrammen.
• Generatieproces:
  • Fasediagrammen werden berekend met Pandat-software via CALPHAD (Calculation of Phase Diagrams) beoordelingen.
  • Sampling:
    • Binaire systemen: Samenstelling gesampled van 0–100% in stappen van 2%; Temperatuur varieerde van 200 K tot 5000 K in intervallen van 50 K.
    • Ternaire systemen: Samenstelling op vergelijkbare wijze gesampled; Temperatuur vastgesteld op 800 K.
  • Totale Data: Deze systematische sampling genereerde 837.475 datapunten, waarbij elk elementaire samenstelling, temperatuur en fasenamen koppelt.
• V&A-constructie: Deze datapunten werden omgezet in Vraag-en-Antwoord (V&A)-paren die drie distincte taaktypes bestrijken:
  1. Volledige Fase-informatie: Input (samenstelling, temperatuur) $\rightarrow$ Output (fasenamen, fracties, samenstellingen).
  2. Fasenaam: Input (samenstelling, temperatuur) $\rightarrow$ Output (alleen fasenamen).
  3. Experimentele Voorwaarde: Input (elementen, doelfase) $\rightarrow$ Output (mogelijke samenstelling en temperatuur).

Modelarchitectuur en Training

• Basismodel: De auteurs hebben Mistral-Nemo-Instruct-2407 fine-gefinet, een open-source voorgetrainde LLM.
• Fine-tuning Techniek: Gebruik gemaakt van LoRA (Low-Rank Adaptation) met rang 16 en alpha 16, gericht op attention- en feed-forward-projecties.
• Trainingsconfiguratie:
  • Optimizer: AdamW met bfloat16 precisie.
  • Stappen: 15.000 stappen; Leercoëfficiënt: $2 \times 10^{-4}$.
  • Batchgrootte: 16 per apparaat met 4 gradient accumulation-stappen.
• Unificatie Architectuur: Eén enkel model werd getraind om alle drie de V&A-taaktypes gelijktijdig te verwerken.

Evaluatiestrategie

Het model werd geëvalueerd met twee distincte formaten:

1. Meerkeuze: Het model selecteert het juiste antwoord uit vier opties (één correct, drie afleiders).
   • Verdeling: Data werd 80/20 opgesplitst in trainings- en testsets met twee strategieën:
     • Interpolatie: Willekeurige verdeling over systemen (testen van prestaties op bekende systemen met nieuwe omstandigheden).
     • Extrapolatie: Testsystemen waren volledig uitgesloten van training (testen van generalisatie naar ongezichte elementcombinaties).
2. Korte Antwoorden: Het model genereert tekstuele antwoorden zonder vooraf bepaalde opties.
   • Scoremetrieken:
     • Volledige Fase: Exacte overeenkomst vereist (0% of 100%).
     • Fasenaam: Jaccard-similariteit tussen gegenereerde en ground-truth lijsten van fase-domeinen.
     • Experimentele Voorwaarde: Gewogen gemiddelde van samenstellingsnauwkeurigheid en temperatuurnauwkeurigheid.

3. Belangrijkste Bijdragen

• aLLoyM Model: De eerste LLM die specifiek is fine-gefinet voor het voorspellen van legeringsfasediagrammen, capable om binaire en ternaire systemen te verwerken.
• Unificatie Multi-Task Learning: Aangetoond dat een enkele LLM-architectuur effectief zowel forward prediction (samenstelling $\rightarrow$ fase) als inverse design (fase $\rightarrow$ omstandigheden) kan uitvoeren.
• Nieuwe Materiaalontdekking: Succesvol fasediagrammen gegenereerd voor systemen zonder experimentele data (bijvoorbeeld Uranium-Nihonium, Wolfraam-Tantaal-Osmium), wat ware extrapolatiecapaciteit demonstreert.
• Open Source Release: Publiek vrijgegeven het fine-gefinete model voor korte antwoorden, de volledige benchmarking V&A-dataset en de broncode op Hugging Face en GitHub.

4. Resultaten

Meerkeuze Prestaties

• Basislijn vs. Fine-gefinet: Het basislijn Mistral-model presteerde dicht bij willekeurig gissen (<25% nauwkeurigheid). Daarentegen toonde aLLoyM aanzienlijke verbeteringen, en presteerde significant beter dan de basislijn over alle taken heen.
• Generalisatie:
  • De prestaties waren hoger in interpolatie-instellingen dan in extrapolatie-instellingen, zoals verwacht.
  • Binaire systemen werden nauwkeuriger voorspeld dan ternaire systemen (toegeschreven aan het kleinere volume aan ternaire trainingsdata).
  • Het model generaliseerde succesvol naar ongezichte systemen in de extrapolatie-instelling, wat bewijst dat het onderliggende thermodynamische relaties heeft geleerd in plaats van alleen data te memoriseren.

Korte Antwoorden Prestaties

• NauwkeurigheidsTrends: Net als bij meerkeuze presteerde interpolatie beter dan extrapolatie. Het voorspellen van volledige fase-informatie was de moeilijkste taak, terwijl fasenaamvoorspelling robuust bleef zelfs onder extrapolatie.
• Nieuwe Voorspellingen:
  • Th-Ac Systeem: Voorspelde een smeltpunt van ~1400°C (experimenteel: ~1050°C) en voorspelde ten onrechte een HCP-structuur (werkelijkheid: FCC).
  • U-Nh Systeem: Voorspelde een smeltpunt van ~900°C (werkelijkheid: 1135°C) en voorspelde ten onrechte HCP (werkelijkheid: BCC). Ondanks fouten genereerde het een geldig diagram voor een systeem met nul trainingsdata.
  • W-Ta-Os Systeem: Genereerde een ternaire isotherme sectie bij 800 K, voorspelde drie-fase co-existentie en identificeerde "WOLF"-fasen (een nomenclatuur die niet in de trainingsdata zat, wat wijst op latente kennis in het voorgetrainde model).
  • Hypothetische Systemen: Genereerde succesvol een fasediagram voor een Nihonium-Uranium-Actinium-systeem, een combinatie die experimenteel onmogelijk te testen is vanwege de instabiliteit van de elementen.

5. Betekenis en Toekomstperspectief

• Versnelde Ontdekking: aLLoyM dient als een krachtig instrument voor rationeel materiaaldesign, capable om enorme samenstellingsruimtes te screenen en fasediagrammen voor te stellen voor systemen die momenteel onbekend zijn of experimenteel ontoegankelijk.
• Generalisatiecapaciteit: Het model demonstreert dat LLM's thermodynamische principes kunnen coderen en toepassen op nieuwe chemische combinaties, verder gaand dan eenvoudige patroonherkenning.
• Beperkingen & Toekomstig Werk:
  • De prestaties zijn momenteel lager voor ternaire systemen vanwege data-schaarste; toekomstig werk moet trainingsdata uitbreiden voor hogere-orde systemen.
  • Het model voorspelt af en toe onjuiste kristalstructuren (bijvoorbeeld HCP versus FCC), wat wijst op de noodzaak van thermodynamische-bewuste prompt engineering om fysiek redeneren tijdens inferentie te sturen.
  • Het vermogen om "WOLF"-fasen te genereren, geeft aan dat het model gebruikmaakt van voorgetrainde kennis, wat wegen opent voor het verkennen van latente wetenschappelijke concepten binnen LLM's.

Concluderend vertegenwoordigt aLLoyM een significante stap voorwaarts in het integreren van generatieve AI met materiaalkunde, en biedt een schaalbare, data-efficiënte aanpak voor het voorspellen van fasegedrag en het versnellen van de ontdekking van nieuwe legeringsystemen.