Scale-Dependent Input Representation and Confidence Estimation for LLMs in Materials Property Prediction

Deze studie toont aan dat optimale inputrepresentaties voor het voorspellen van materiaaleigenschappen afhankelijk zijn van de schaal van het LLM, waarbij compacte formaten geschikt zijn voor kleinere modellen en gedetailleerde beschrijvingen grotere modellen ten goede komen, terwijl de gemiddelde negatieve log-waarschijnlijkheid wordt gevestigd als een effectieve, trainingsvrije betrouwbaarheidsmetriek voor fijngefineerde modellen.

De kern

Stel je voor dat je probeert een computer te leren de eigenschappen van een nieuw materiaal te voorspellen, zoals hoeveel energie er nodig is om het te bouwen of hoe goed het elektriciteit geleidt. Dit artikel fungeert als een handleiding voor twee "hersenen" (AI-modellen) van verschillende grootte over hoe ze de instructies die je hen geeft het beste kunnen begrijpen.

Hier is het verhaal van wat de onderzoekers ontdekten, opgesplitst in eenvoudige concepten:

1. De Twee Hersenen: Een Peuter versus een Professor

De onderzoekers testten twee versies van een AI genaamd "Llama":

• Het 1B-model (De Peuter): Een kleiner, simpeler brein.
• Het 8B-model (De Professor): Een groter, complexer brein met meer kennis.

Ze wilden zien of de grootte van het brein invloed had op hoe het onderwezen moest worden. Ze gaven deze modellen vijf verschillende manieren om een materiaal (zoals een kristal) te beschrijven:

1. Het Receptkaartje: Alleen de lijst met ingrediënten (chemische samenstelling).
2. De Koptekst: Een korte samenvatting die de ingrediënten en de "vorm" of symmetrie van het materiaal bevat (kristalsamenvatting).
3. De Lokale Rondleiding: Een beschrijving van hoe de atomen elkaar in de directe omgeving "knuffelen" (lokale omgeving).
4. De Volledige Roman: Een lang, gedetailleerd verhaal dat de hele structuur beschrijft (volledige beschrijving).
5. De Blauwdrukken: Een ruw, technisch bestand vol met getallen en coördinaten (CIF).

2. De Les "Kort versus Lang"

De grootste ontdekking was dat één maat niet voor iedereen past.

• Voor de Peuter (1B-model): Het raakte in de war door lange verhalen. Als je het de "Volledige Roman" of de complexe "Blauwdrukken" gaf, struikelde het. Het werkte het beste als je het het Receptkaartje of de Koptekst gaf. Het had korte, krachtige feiten nodig om het werk goed te doen.
• Voor de Professor (8B-model): Dit brein hield van de details. Toen je het de Volledige Roman gaf, presteerde het zelfs beter dan met de korte samenvattingen. Het kon de lange, complexe beschrijvingen lezen en de subtiele aanwijzingen eruit halen die het nodig had om een goede voorspelling te doen. Echter, zelfs de Professor had het een beetje moeilijk met de ruwe "Blauwdrukken" (de technische bestanden), wat suggereert dat natuurlijke taal (woorden) voor deze AI-breuinen nog steeds makkelijker te begrijpen is dan ruwe code.

De Gouden Regel: Als je een kleine AI hebt, houd je instructies kort. Als je een grote AI hebt, kun je het een gedetailleerd verhaal geven.

3. De Magie van "Symmetrie"

Een specifiek ingrediënt in de instructies bleek een superkracht te zijn voor beide de Peuter en de Professor: Symmetrie.

Stel je voor dat je twee verschillende vormen hebt gemaakt van dezelfde Lego-blokken. Als je de AI alleen vertelt "Het is gemaakt van rode en blauwe blokken", kan de AI de vormen niet van elkaar onderscheiden. Maar als je de "Koptekst" toevoegt die zegt: "Het is een vierkante vorm", weet de AI plotseling het verschil. Het artikel vond dat het opnemen van informatie over de symmetrie van het materiaal (zijn vorm/groep) beide modellen hielp de eigenschappen veel nauwkeuriger te voorspellen dan alleen het opsommen van de ingrediënten.

4. De "Zekerheidsmeter" (Hoe weten we of de AI giswerk doet?)

De tweede grote vraag was: Hoe weten we of de AI zeker is van zijn antwoord, of dat het het maar verzint?

In de wereld van de AI is er een getal genaamd NLL (Negative Log-Likelihood). Denk hierbij aan de interne "zekerheidsmeter" van de AI.

• Lage NLL: De AI is zeer zeker van zijn antwoord.
• Hoge NLL: De AI is onzeker of giswerk aan het doen.

De Haken en Ogen:

• Voor het Trainen: Toen de AI nog een "basis"-model was (nog niet onderwezen over materialen), werkte deze zekerheidsmeter niet. Het zou zeggen "Ik ben super zeker!" zelfs als het volledig ongelijk had.
• Na het Trainen: Zodra ze de modellen "fine-tuned" (onderwezen) met een speciale methode genaamd LoRA, ging de meter werken! Ze vonden een duidelijk patroon: Wanneer de zekerheidsmeter van de AI hoog was (lage NLL), waren zijn antwoorden meestal correct.

Dit betekent dat je na het trainen kunt kijken naar de interne zekerheidsscore van de AI om te beslissen of je zijn voorspelling kunt vertrouwen. Als de score laag is (hoge onzekerheid), kun je dat antwoord negeren en jezelf redden van een slechte gok.

5. Het Afweging: Snelheid versus Nauwkeurigheid

Het artikel merkte ook een praktisch nadeel op. Hoewel deze AI-modellen slim en flexibel zijn, zijn ze traag.

• Een traditioneel, gespecialiseerd computerprogramma (zoals een grafische neurale netwerken) kon ongeveer 10.000 materialen in ongeveer één minuut controleren.
• Deze AI-modellen deden verscheidene uren over dezelfde klus.

Samenvatting

Dit artikel leert ons dat bij het gebruik van AI om materiaaleigenschappen te voorspellen:

1. Koppel de invoer aan het model: Geef een kleine AI geen lang verhaal; geef het een samenvatting. Geef een grote AI het volledige verhaal.
2. Neem symmetrie op: Vertel de AI over de vorm van het materiaal, dit helpt het bij het maken van betere voorspellingen.
3. Eerst trainen, dan vertrouwen: Je moet de AI eerst onderwijzen over materialen voordat je zijn "zekerheidsmeter" kunt vertrouwen. Zodra het getraind is, is die meter een geweldig hulpmiddel om slechte gissen te filteren.

De onderzoekers beweerden niet dat dit direct klaar is om alle huidige tools te vervangen (vanwege de trage snelheid), maar ze toonden aan dat met de juiste opzet deze flexibele AI-modellen zeer effectieve en zelfbewuste hulpmiddelen kunnen zijn voor wetenschappers.

Technische samenvatting

Technische Samenvatting: Schaalafhankelijke Inputrepresentatie en Confidence-schatting voor LLM's bij het Voorspellen van Materiaaleigenschappen

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden toegepast in de materiaalswetenschap voor taken zoals het voorspellen van eigenschappen, blijven twee kritieke uitdagingen onopgelost:

1. Inputrepresentatie versus Modelgrootte: Het is onduidelijk hoe de optimale inputrepresentatie (bijvoorbeeld chemische samenstelling, beschrijvingen in natuurlijke taal of gestructureerde bestanden) afhankelijk is van de schaal van de LLM en de status van fine-tuning. Eerdere studies maken gebruik van diverse formaten en modelgroottes, wat systematische vergelijking bemoeilijkt.
2. Confidence-schatting: Er ontbreken betrouwbare methoden om de confidence van door LLM's gegenereerde eigenvoorspellingen te beoordelen. Bestaande methoden voor onzekerheidskwantificatie (UQ) voor grafische neurale netwerken vereisen vaak extra modelleer-overhead. Hoewel LLM's van nature token-niveau waarschijnlijkheden bieden (Negatieve Log-Likelihood, NLL), blijft de toepasbaarheid hiervan als confidence-maatstaf voor numerieke eigenvoorspelling onbevestigd.

Methodologie

De studie voert systematische experimenten uit met behulp van de LLM4Mat-Bench-dataset (afgeleid van het Materials Project), met focus op twee doel-eigenschappen: vormingsenergie per atoom en bandgap.

• Modellen: Twee Llama-modellen van verschillende schalen werden gebruikt: Llama-3.2-1B-Instruct en Llama-3.1-8B-Instruct. Beide werden geëvalueerd in hun basisstaat (alleen vooraf getraind) en in gefine-tunede staat.
• Fine-tuning: De modellen werden gefine-tuned met Low-Rank Adaptation (LoRA) toegepast op query- en value-projectielagen (rang $r=32$, schalingsfactor $\alpha=64$). Training vond plaats gedurende 6 epochs met een leersnelheid van $1 \times 10^{-4}$.
• Inputrepresentaties: Voor elke steekproef werden vijf verschillende inputmodaliteiten geconstrueerd:
  1. Samenstelling: Uitsluitend chemische formule.
  2. Kristalsamenvatting: De leidende zin van een beschrijving in natuurlijke taal (bevat samenstelling en ruimtegroepp).
  3. Lokale Omgeving: De resterende beschrijvende tekst, exclusief de samenvattende zin.
  4. Volledige Beschrijving: De volledige tekst in natuurlijke taal.
  5. CIF: Raw Crystallographic Information File-strings.
• Evaluatiemetrics:
  • Nauwkeurigheid: Mean Absolute Error (MAE) en Root Mean Square Error (RMSE) tussen voorspelde en werkelijke waarden.
  • Confidence: De Mean Negative Log-Likelihood (Mean NLL) van tokens die corresponderen met de voorspelde numerieke waarden. Specifiek richt de studie zich op het gehele deel van de numerieke string om ruis te vermijden die voortkomt uit tokenisatie van fractionele cijfers.
  • Filtering: Er werd een "NLL-filtering"-strategie getest, waarbij voorspellingen met een Mean NLL boven een bepaalde drempel worden verworpen om de betrouwbaarheid van de overgebleven set te verbeteren.

Belangrijkste Resultaten

1. Schaalafhankelijke Inputrepresentatie

De optimale inputrepresentatie is sterk afhankelijk van de modelgrootte:

• 1B Model (Kleine Schaal): Presteert het beste met compacte representaties (Samenstelling en Kristalsamenvatting). Naarmate de inputlengte en complexiteit toenemen (bijvoorbeeld Volledige Beschrijving, Lokale Omgeving), neemt de Mean Absolute Error (MAE) toe en stijgt de trainingsinstabiliteit (variantie over seeds). Het 1B-model heeft moeite om lange teksten of gestructureerde CIF-gegevens te koppelen aan precieze fysische eigenschappen.
• 8B Model (Grote Schaal): Toont robuustheid tegen gedetailleerde inputs. Voor vormingsenergie bereikt het 8B-model zijn laagste MAE met de Volledige Beschrijving, waarbij het gebruikmaakt van zijn vooraf getrainde begrip van natuurlijke taal om genuanceerde structurele kenmerken te extraheren.
• Symmetrie-informatie: Over beide modelgroottes heen presteert de Kristalsamenvatting (die informatie over de ruimtegroepp bevat) consistent beter dan alleen samenstellingsinvoer. Dit geeft aan dat symmetrie-descriptoren werken als robuuste kenmerken die helpen bij het onderscheiden van polymorfen en het activeren van kristallografische kennis die in de LLM is ingebed.
• CIF-prestaties: Hoewel het 8B-model CIF-gegevens kan interpreteren, leveren beschrijvingen in natuurlijke taal over het algemeen een betere nauwkeurigheid op, wat suggereert dat interne LLM-representaties meer zijn afgestemd op natuurlijke taal dan op ruwe coördinatiegegevens.

2. Confidence-schatting via Mean NLL

• Basismodellen: Er bestaat geen duidelijke correlatie tussen Mean NLL en voorspelfout. Grote fouten treden zelfs op bij lage NLL-waarden, wat aangeeft dat vooraf getrainde waarschijnlijkheden eerder biases weerspiegelen dan relaties tussen materiaaleigenschappen.
• Gefine-tunede Modellen: Er ontstaat een consistente trend waarbij een lagere Mean NLL overeenkomt met kleinere voorspelfouten. Deze correlatie geldt voor verschillende modelgroottes en inputrepresentaties.
• NLL-filtering: Door een drempel toe te passen op de Mean NLL (het verwijderen van voorspellingen met een hoge NLL), neemt de MAE van de behouden voorspellingen significant af ten opzichte van de baseline. Dit toont aan dat Mean NLL dient als een praktische, trainingsvrije confidence-indicator voor gefine-tunede modellen.
• Token-bereik: De studie constateerde dat het beperken van de NLL-berekening tot het gehele deel van de numerieke waarde betrouwbaarder is dan het opnemen van fractionele cijfers, aangezien laatstgenoemde ruis introduceert door tokenisatie-ambiguïteit.

Belangrijkste Bijdragen

1. Systematische Analyse van Schaal en Representatie: De studie stelt vast dat inputontwerp moet worden afgestemd op modelcapaciteit. Compacte inputs zijn optimaal voor kleinere modellen (1B), terwijl grotere modellen (8B) profiteren van gedetailleerde beschrijvingen in natuurlijke taal.
2. Validatie van Symmetrie-kenmerken: Het toont aan dat het opnemen van ruimtegroepp-informatie in inputsamenvattingen een kritieke factor is voor het verbeteren van de voorspelnauwkeurigheid over verschillende modelgroottes heen.
3. Confidence-indicator voor LLM's: Het paper levert bewijs dat de Mean NLL van numerieke tokens kan dienen als een effectieve confidence-maatstaf voor het voorspellen van materiaaleigenschappen, maar alleen na taakspecifieke fine-tuning. Dit biedt een computerefficiënt alternatief voor complexe UQ-methoden.

Betekenis en Beperkingen

De auteurs stellen dat deze bevindingen praktische richtlijnen bieden voor het ontwerpen van inputrepresentaties en het beoordelen van voorspellingsbetrouwbaarheid in LLM-gebaseerde materiaalinformatica. De mogelijkheid om voorspellingen te filteren op basis van interne confidence-scores (Mean NLL) maakt een betrouwbaardere implementatie mogelijk zonder extra trainingskosten.

Beperkingen erkend door de auteurs:

• Modelbereik: De analyse is beperkt tot 1B- en 8B-modellen; generalisatie naar grotere schalen (bijvoorbeeld 70B) vereist verder onderzoek.
• Eigenschapsbereik: Resultaten zijn specifiek voor vormingsenergie en bandgap; andere eigenschappen kunnen zich anders gedragen.
• Berekeningskosten: LLM-inferentie is aanzienlijk trager (uren versus seconden voor GNN's zoals CGCNN) en vereist aanzienlijk GPU-geheugen, wat de directe schaalbaarheid voor high-throughput screening beperkt in vergelijking met gespecialiseerde modellen.
• Architectuurspecificiteit: Bevindingen zijn specifiek voor de Llama 3-serie; validatie op andere architecturen is noodzakelijk.
• Exploratief Karakter: De confidence-drempelstelling is gebaseerd op observaties van de testset; praktische implementatie vereist selectie van de drempel op een apart gehouden validatieset.

De studie concludeert dat, hoewel LLM's op het gebied van ruwe nauwkeurigheid voor specifieke taken nog niet gespecialiseerde Grafische Neurale Netwerken (GNN's) kunnen overtreffen, hun flexibiliteit in inputontwerp en potentieel voor multi-task-toepassingen zonder taakspecifieke architecturen aanzienlijke praktische voordelen vertegenwoordigen.