Regression with Large Language Models for Materials and Molecular Property Prediction

Dit artikel demonstreert dat fijngefineerde LLaMA 3-modellen, ondanks hun beperkte precisie ten opzichte van gespecialiseerde modellen, effectief kunnen worden ingezet voor regressietaken in de materiaalkunde en moleculaire eigenschappen, waarmee ze de veelzijdigheid van grote taalmodellen in wetenschappelijke domeinen onderstrepen.

De kern

Stel je voor dat je een super-intelligente robot hebt die is opgeleid om alleen maar boeken te lezen, gedichten te schrijven en gesprekken te voeren. Hij is een meester in taal, maar hij heeft nooit een scheikundeboek opengeklapt of een atoom gezien.

Nu willen we die robot een nieuwe taak geven: voorspellen hoe sterk een nieuw materiaal is of hoe goed een molecuul werkt als medicijn, puur op basis van de naam of een simpele beschrijving van de bouwstenen.

Dit is precies wat de auteurs van dit onderzoek hebben gedaan. Ze hebben gekeken of die "taal-robot" (een zogenaamd Groot Taalmodel of LLM, zoals LLaMA 3) ook goed kan zijn in wiskundige voorspellingen voor wetenschappers, zonder dat ze hem eerst de hele scheikunde moeten uitleggen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Robot die van "Woorden" naar "Wetenschap" springt

Normaal gesproken gebruiken deze robots (zoals de achterliggende technologie van ChatGPT) om zinnen af te maken. Als je zegt: "De zon gaat onder, dus...", zegt de robot: "...wordt het donker."

In dit onderzoek hebben de wetenschappers de robot echter gevraagd: "Als de formule is Al2O3 (aluminiumoxide), wat is dan de smelttemperatuur?"
Ze hebben de robot niet geleerd met complexe 3D-kaarten van atomen (zoals een architect die een blauwdruk tekent), maar alleen met de naam of een simpele code (zoals een SMILES-string, wat een soort "telefoonnummer" is voor een molecuul).

• De Analogie: Stel je voor dat je een kok vraagt om een gerecht te beoordelen op smaak, maar je geeft hem alleen de ingrediëntenlijst op een briefje, zonder dat hij het gerecht ooit heeft gezien of geproefd. Normaal zou je denken: "Dat kan niet!" Maar deze robot heeft zo veel boeken gelezen dat hij patronen herkent: "Ah, als er veel koper in staat, is het waarschijnlijk een goede geleider."

2. Wat hebben ze ontdekt? (De resultaten)

De onderzoekers hebben de robot getest op twee gebieden: kleine moleculen (zoals in medicijnen) en grote materialen (zoals staal of batterijen).

• Het is verrassend goed: De robot bleek verrassend goed te zijn in het voorspellen van eigenschappen. Hij deed het vaak net zo goed als de "standaard" computerprogramma's die wetenschappers al jaren gebruiken (zoals Random Forest, wat je kunt zien als een slimme, maar simpele rekenmachine).
• Niet perfect, maar indrukwekkend: De robot was niet de allerbeste in de wereld. De allerbeste modellen (die wel de volledige 3D-structuur van atomen kennen) waren nog steeds 5 tot 10 keer nauwkeuriger.
  • Vergelijking: De robot is als een dilettantische kunstenaar die een portret tekent op basis van een beschrijving. Het ziet er aardig uit en je herkent de persoon, maar een professionele fotograaf (de geavanceerde modellen) maakt een foto die 100% perfect is.
• De "Naam" maakt uit: Het bleek uit te maken hoe je de naam van het molecuul aan de robot gaf. Als je de "SMILES"-code gebruikte (een bepaalde manier om moleculen te schrijven), deed de robot het beter dan met de "InChI"-code.
  • Vergelijking: Het is alsof je een robot vraagt om een auto te beschrijven. Als je zegt "Een rode Ford met vier wielen" (SMILES), begrijpt hij het beter dan als je zegt "Een voertuig met chassisnummer X, modeljaar Y, met een V6-motor" (InChI). De robot heeft een voorkeur voor de taal die hij het vaakst heeft gezien.

3. Waarom is dit belangrijk?

Vroeger moest je voor elke nieuwe wetenschappelijke vraag een heel nieuw, complex computerprogramma bouwen. Je moest de "kenmerken" van het materiaal handmatig uitzoeken en invoeren.

Met deze nieuwe aanpak:

• Geen ingewikkelde voorbereiding: Je hoeft de robot geen complexe atoomkaarten te geven. Je geeft gewoon de chemische naam.
• Eén model voor alles: Dezelfde robot kan leren om voorspellingen te doen voor medicijnen, batterijen en staal. Het is als een zwitsers zakmes voor wetenschappers: één tool voor veel verschillende taken.
• Toekomstvisie: Het bewijst dat deze "taal-robots" veel breder inzetbaar zijn dan alleen het schrijven van e-mails. Ze kunnen helpen om nieuwe materialen te ontwerpen die sterker, lichter of duurzamer zijn, zonder dat we jarenlang hoeven te wachten op de perfecte data.

Conclusie in één zin

Deze studie laat zien dat we onze "taal-robots" kunnen trainen om ook wiskundige voorspellingen te doen voor de wetenschap; ze zijn misschien niet de allerbeste wiskundigen ter wereld, maar ze zijn slim genoeg om ons te helpen nieuwe materialen te vinden, puur op basis van wat ze "lezen" in de chemische namen.

Technische samenvatting

Probleemstelling

Traditioneel zijn Large Language Models (LLM's) beperkt tot taken in de natuurlijke taalverwerking (NLP), zoals tekstgeneratie en vertaling. Hoewel er recentelijk onderzoek is gedaan naar het toepassen van LLM's in de chemie en materiaalkunde (bijv. voor representatieleren of generatie), is het nog onduidelijk of state-of-the-art LLM's direct regressietaken kunnen uitvoeren voor chemische en materiaaleigenschappen. De kernvraag is of een LLM, dat uitsluitend wordt gevoed met tekstuele input (zoals een stoichiometrie voor anorganische materialen of een SMILES-reeks voor organische moleculen), in staat is om nauwkeurige numerieke voorspellingen te doen voor eigenschappen zoals vormingsenergie, bandgaten of thermische geleidbaarheid, zonder de noodzaak van complexe, domeinspecifieke feature-engineering.

Methodologie

De auteurs hebben een experimenteel kader opgezet om de regressiecapaciteiten van LLM's te testen:

• Modellen: De studie focust op LLaMA 3 (8B parameters, 4-bit quantisatie met LoRA-finetuning) en vergelijkt dit met GPT-3.5 en GPT-4o.
• Datasets:
  • Moleculaire eigenschappen: De QM9-dataset (ongeveer 134.000 moleculen) voor eigenschappen zoals vormingsenergie, HOMO, LUMO en de HOMO-LUMO-gap.
  • Materiaaleigenschappen: Een verzameling van 28 datasets met experimentele en berekende data, variërend van kleine datasets (137 punten) tot grote databases zoals de OQMD (Open Quantum Materials Database, >640.000 punten).
• Input Representaties:
  • Voor moleculen: SMILES-strings, InChI-strings, en expliciete atomaire coördinaten (XYZ-bestanden).
  • Voor materialen: Uitsluitend samenstellingsstrings (bijv. "Al2O3").
• Trainingsstrategie:
  • De modellen werden gefinetuned uitsluitend op de generatieve cross-entropy loss. Er werd geen directe regressieloss (zoals Mean Squared Error) gebruikt tijdens het trainen.
  • De input was een tekstuele prompt (bijv. de SMILES-reeks) en de output was de numerieke waarde van de eigenschap als tekst.
  • Vergelijkingsmodellen: Random Forest (RF) modellen gebaseerd op elementaire beschrijvingen en state-of-the-art (SOTA) deep learning-modellen zoals PAMNet (voor QM9) en AtomGPT.

Belangrijkste Bijdragen

1. Demonstratie van LLM's als Regressiemodellen: Het bewijs dat LLM's, ondanks dat ze zijn ontworpen voor tekstgeneratie, effectief kunnen worden gefinetuned om numerieke regressietaken in de wetenschap uit te voeren, zelfs zonder expliciete regressieloss-functie.
2. Vergelijking met Bestaande Methodes: Een uitgebreide benchmark van LLaMA 3 tegen traditionele machine learning-modellen (Random Forest) en geavanceerde neurale netwerken (PAMNet, ElemNet) op diverse datasets.
3. Invloed van Input-Representatie: Onderzoek naar hoe de keuze van de input (SMILES vs. InChI vs. coördinaten) de prestaties beïnvloedt.
4. Open Source vs. Gesloten Modellen: Een vergelijking die aantoont dat open-source modellen (LLaMA 3) beter presteren dan gesloten modellen (GPT-4o) in dit specifieke regressiecontext, waarschijnlijk vanwege de flexibiliteit in het finetuning-proces.

Resultaten

• Moleculaire Eigenschappen (QM9):

  • LLaMA 3, gefinetuned op SMILES-strings, bereikte een Mean Absolute Error (MAE) van 0,100 eV voor vormingsenergie.
  • Dit is 5-10 keer minder nauwkeurig dan de state-of-the-art PAMNet-modellen (die atomaire coördinaten gebruiken en een MAE van ~0,006 eV halen).
  • De prestaties zijn echter vergelijkbaar met of iets beter dan traditionele methoden die alleen op SMILES-strings zijn gebaseerd (zoals neural networks gefinetuned op Mordred-descriptoren).
  • Zero-shot prestaties (zonder finetuning) waren slecht, met veel lege antwoorden en fysisch onmogelijke waarden, wat aantoont dat finetuning essentieel is.
  • Input-type: SMILES-strings leverden betere resultaten op dan InChI-strings (ongeveer 25% lagere fout). Het toevoegen van expliciete atomaire coördinaten verbeterde de resultaten niet significant ten opzichte van SMILES alleen.

• Materiaaleigenschappen:

  • Op 28 verschillende materiaaleigenschappen presteerde LLaMA 3 comparable met Random Forest modellen.
  • LLaMA 3 was beter dan Random Forest bij 8 eigenschappen, gelijk bij 7, en slechter bij 8. De gemiddelde fout was ongeveer 10% hoger dan die van Random Forest.
  • Op de grote OQMD-dataset (vormingsenergie) bereikte LLaMA 3 een MAE van 0,054 eV, wat vergelijkbaar is met het fully-connected deep neural network ElemNet (0,055 eV), maar slechter dan het SOTA-model RoosT (0,024 eV).
  • LLaMA 3 presteerde beter dan AtomGPT op twee van de vier geteste eigenschappen, wat suggereert dat directe finetuning van de generatieve loss een competitieve aanpak is.

• Modelvergelijking:

  • LLaMA 3 presteerde significant beter dan GPT-3.5 en GPT-4o (GPT-4o had een MAE van 0,154 eV voor vormingsenergie, 1,5x slechter dan LLaMA 3). Dit wordt toegeschreven aan de beperkte aanpasbaarheid van de finetuning-hyperparameters bij de OpenAI API.

Betekenis en Conclusie

De studie toont aan dat LLM's veelzijdige instrumenten zijn die hun traditionele toepassingsgebied kunnen overstijgen om complexe fysieke fenomenen te modelleren.

• Voordeel: LLM's bieden een "feature-vrije" benadering; ze kunnen effectieve representaties leren uit ruwe tekstuele input (zoals samenstellingen of SMILES) zonder dat de gebruiker handmatig domeinspecifieke features hoeft te ontwerpen. Dit is waardevol wanneer data schaars is of feature-engineering moeilijk is.
• Nadeel: LLM's zijn momenteel computatieel veel duurder en trager om te trainen dan traditionele methoden zoals Random Forest. Ze bereiken ook niet de uiterste nauwkeurigheid van gespecialiseerde, structuurbewuste modellen (zoals GNN's) die gebruikmaken van atomaire coördinaten.
• Toekomstperspectief: Hoewel LLM's nu nog niet de beste keuze zijn voor pure nauwkeurigheid op grote datasets, openen ze nieuwe wegen voor onderzoek. De studie suggereert dat verdere optimalisatie van input-representaties (bijv. combinatie van strings en coördinaten), prompt engineering en multitask learning de prestaties kunnen verbeteren. Het werk onderstreept dat generatieve modellen potentieel hebben om een standaardtool te worden in de chemie en materiaalkunde, vooral in scenario's waar flexibiliteit en het vermijden van complexe feature-engineering cruciaal zijn.