LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction

Technische Samenvatting: LLM4Mat-Bench

Probleemstelling

Hoewel Large Language Models (LLM's) opmerkelijk succes hebben behaald in natuurlijke taalverwerking en diverse wetenschappelijke domeinen, ontbreekt een gestandaardiseerde evaluatie voor hun toepassing in materiaalkunde—specifiek voor het voorspellen van eigenschappen van kristallijne materialen. Bestaande benchmarks, zoals MatBench en TextEdge, lijden aan een beperkte reikwijdte, kleine steekproefomvang en een gebrek aan diversiteit in materiaalrepresentaties (bijv. het ontbreken van tekstuele beschrijvingen of kristalstructuren). Dit gebrek aan een uitgebreide, gestandaardiseerde benchmark belemmert de rigoureuze beoordeling van de capaciteiten van LLM's in dit domein en vertraagt de vooruitgang in het ontwikkelen van effectieve voorspellende modellen.

Methodologie

De auteurs introduceren LLM4Mat-Bench, een grootschalige benchmark die is ontworpen om LLM's te evalueren op de voorspelling van materiaaleigenschappen.

1. Datacollectie en Constructie:

• Bronnen: De data werd verzameld uit 10 publiek beschikbare materiaaldatabases, waaronder Materials Project (MP), Open Quantum Materials Database (OQMD), JARVIS-DFT, hMOF, GNoME en anderen.
• Schaal: De benchmark bevat ongeveer 1,98 miljoen unieke kristalstructuur-samples (na deduplicatie en filtering), wat neerkomt op 2,7 miljoen structuurbestanden.
• Eigenschappen: Het omvat 45 verschillende eigenschappen, variërend van elektronische tot elastische en thermodynamische kenmerken, wat resulteert in 65 totale taken (60 regressie en 5 classificatie).
• Inputmodaliteiten: De benchmark bevat drie verschillende inputrepresentaties voor elke sample:
  • Compositie: Chemische formules (4,7M tokens).
  • CIF: Crystallographic Information Files (615,5M tokens).
  • Beschrijving: Deterministisch gegenereerde tekstuele beschrijvingen van kristalstructuren met behulp van Robocrystallographer (3,1B tokens). Deze methode zorgt ervoor dat de tekst menselijk leesbaar is en afwijkt van de trainingsdata van algemene LLM's om datacorruptie (data contamination) te voorkomen.
• Splitsing: De data is willekeurig verdeeld in 80% trainings-, 10% validatie- en 10% testsets.

2. Geëvalueerde Modellen:
De studie benchmarkt een breed scala aan modellen met variërende groottes en architecturen:

• Taakspecifieke Voorspellende Modellen:
  • LLM-Prop: Een model met 35 miljoen parameters gebaseerd op T5-small, fijn afgesteld op tekstuele beschrijvingen.
  • MatBERT: Een BERT-base model met 109,5 miljoen parameters, vooraf getraind op materiaalkundige literatuur.
  • CGCNN: Een Graph Neural Network (GNN) baseline, vanaf nul getraind op de benchmark.
• Algemene Generatieve LLM's (Chat-achtig):
  • Varianten van Llama (3B, 7B, 8B), Gemma (7B, 9B) en Mistral (7B).
  • Deze werden geëvalueerd met behulp van zero-shot en few-shot (5-shot) prompting zonder fine-tuning.

3. Experimentele Opzet:

• Metrieken:
  • Regressie: Gewogen gemiddelde van de ratio tussen de Mean Absolute Deviation (MAD) van de grondwaarheid en de Mean Absolute Error (MAE) van de voorspellingen (MAD:MAE). Een hogere ratio duidt op betere prestaties (doel > 5,0).
  • Classificatie: Gewogen gemiddelde Area Under the ROC Curve (AUC).
• Protocol: Experimenten werden afzonderlijk uitgevoerd voor elke databron om rekening te houden met variaties in berekeningsmethoden (bijv. DFT-instellingen) over verschillende databases heen.

Belangrijkste Resultaten

1. Taakspecifieke Modellen Presteren Beter dan Algemene Generatieve LLM's:
Kleine, taakspecifieke modellen presteren aanzienlijk beter dan grotere, algemene generatieve LLM's.

• LLM-Prop en MatBERT behaalden de hoogste nauwkeurigheid op de meerderheid van de datasets (LLM-Prop op 8/10 regressiedatasets; MatBERT op de overige 2).
• Ondanks dat ze 200x en 64x kleiner zijn dan conversationele LLM's, toonden de taakspecifieke modellen een superieure prestatie.
• Algemene LLM's (Llama, Gemma, Mistral) kampten met hallucinaties, waarbij ze vaak faalden in het genereren van geldige eigenschapswaarden of dezelfde waarde outputten voor verschillende inputs. Dit probleem kwam het meest voor wanneer de input een CIF-bestand was.

2. Impact van Inputmodaliteit:

• Tekstuele Beschrijvingen: Het verstrekken van kristalstructuren als tekstuele beschrijvingen leverde de beste prestaties op voor LLM-gebaseerde voorspellers vergeleken met chemische formules of ruwe CIF-bestanden. Dit suggereert dat LLM's beter in staat zijn om te leren van natuurlijke taaldata.
• CIF-bestanden: Hoewel CIF's rijke structurele informatie bevatten, leidden ze vaak tot ongeldige outputs van chatmodellen. Echter, wanneer ze geldig waren, presteerden CIF-inputs over het algemeen beter dan eenvoudige chemische formules.
• Beschrijvinglengte: LLM-gebaseerde modellen blon uit op datasets met kortere tekstuele beschrijvingen, terwijl de GNN-baseline (CGCNN) beter presteerde op datasets met langere beschrijvingen, waarschijnlijk omdat CGCNN de volledige structurele graaf benut, ongeacht de tekstlengte.

3. Beperkingen van het Schalen van Generatieve Modellen:
Het vergelijken van verschillende versies van Llama, Mistral en Gemma (bijv. Llama 2 versus Llama 3/3.1) toonde aan dat trainen op grotere, kwalitatief betere datasets niet noodzakelijkerwijs leidde tot significante verbeteringen in de voorspelling van materiaaleigenschappen. Zelfs modellen die getraind zijn op biljoenen tokens vertoonden beperkte winst in validiteit en nauwkeurigheid voor dit specifieke domein.

4. Voorspelbaarheid van Eigenschappen:
Energetische eigenschappen (bijv. vormingsenergie) werden consistent met een hogere nauwkeurigheid voorspeld door alle modellen en datasets heen, wat overeenkomt met trends waargenomen in eerdere community-benchmarks.

Betekenis en Claims

Het artikel positioneert LLM4Mat-Bench als de meest uitgebreide benchmark tot nu toe voor het evalueren van LLM's in de voorspelling van materiaaleigenschappen. De primaire bijdragen zijn:

1. Standaardisatie: Het biedt een verenigd, reproduceerbaar kader met vaste train-valid-test splitsingen en diverse inputmodaliteiten, waarmee het gebrek aan gestandaardiseerde evaluatie in het veld wordt aangepakt.
2. Empirisch Bewijs: Het toont aan dat huidige algemene LLM's nog niet klaar zijn om taakspecifieke modellen te vervangen voor de voorspelling van materiaaleigenschappen vanwege problemen met hallucinatie en domeinadaptatie.
3. Richting voor Toekomstig Werk: De resultaten onderstrepen de noodzaak om taakspecifieke voorspellende modellen en instruction-tuned LLM's te ontwikkelen die specifiek zijn afgestemd op de materiaalkunde, in plaats van uitsluitend te vertrouwen op het schalen van algemene fundamentele modellen.

De auteurs concluderen dat hoewel LLM's potentieel hebben om de ontdekking van materialen te revolutioneren, het vakgebied gespecialiseerde benchmarks en modellen vereist om de huidige beperkingen in nauwkeurigheid en betrouwbaarheid te overwinnen.