Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

Dit onderzoek toont aan dat de betrouwbaarheid van grote taalmodellen in de materiaalkunde sterk afhangt van de outputmodus, waarbij fijne afstemming symbolische taken verbetert maar numerieke voorspellingen inconsistent laat, en dat het extraheren van embeddings uit tussenlagen vaak beter presteert dan tekstuele output, terwijl bovendien aanzienlijke prestatieschommelingen over tijd de reproduceerbaarheid voor wetenschappelijke toepassingen in gevaar brengen.

De kern

Stel je voor dat je een groep van 25 zeer intelligente, maar soms wat verwarde studenten hebt. Ze hebben allemaal de boeken van de hele wereld gelezen (de "training data"), maar ze zijn nog nooit specifiek opgeleid voor een examen in materiaalwetenschap (zoals het voorspellen van de sterkte van een nieuw metaal of de kleur van een kristal).

Deze studie van MIT onderzoekt hoe goed deze "AI-studenten" (Large Language Models of LLM's) presteren als we hen vragen om materialen te analyseren. Ze ontdekten een paar verrassende dingen, die we kunnen uitleggen met een paar simpele metaforen.

Hier is wat ze vonden, vertaald naar alledaags Nederlands:

1. De twee soorten vragen: Woorden vs. Getallen

De onderzoekers stelden twee soorten vragen aan de AI:

• Woord-vragen (Symbolisch): "Is dit materiaal een kristal?" of "Welke eigenschappen heeft dit?"
• Getal-vragen (Numeriek): "Wat is de exacte spanning van dit materiaal?" of "Hoe groot is de bandgap?"

Het grote verschil:

• Bij woord-vragen waren de AI's in het begin heel onzeker. Ze gaven willekeurige antwoorden, alsof ze gissen. Maar als je ze even een beetje "opleiding" gaf (fine-tuning), werden ze plotseling heel zeker en correct. Het was alsof ze de woordenboekdefinitie niet kenden, maar dat snel leerden.
• Bij getal-vragen was het juist raar. De AI's gaven in het begin al heel zelfverzekerd een specifiek getal, maar dat getal was vaak volkomen fout. Ze "hallucineerden" met een glimlach. Zelfs na de opleiding werden ze beter in het getal, maar ze bleven soms net zo zelfverzekerd over hun fouten.
  • De les: Als een AI een woord vraagt en twijfelt (veel variatie in antwoord), is dat een goed teken dat het niet zeker is. Maar als een AI een getal vraagt en geeft een vast getal, kan dat een vals gevoel van zekerheid zijn.

2. De "Stiekeme Wijsheid" (De LLM-kop bottleneck)

Dit is misschien wel het coolste deel. De onderzoekers keken niet alleen naar wat de AI zei (de tekst die uit de computer kwam), maar ook naar wat er in de computer gebeurde terwijl het dacht.

Stel je de AI voor als een chef-kok die een gerecht moet beschrijven.

• De interne lagen van de AI (de chef die in de keuken staat) weten precies hoe het gerecht smaakt en hoe het eruit ziet. Ze hebben de juiste informatie.
• Maar de tekst-uitvoer (de kok die naar de klant praat) is niet goed in het vertalen van die kennis naar woorden of getallen.

Bij het voorspellen van de "bandgap" (een eigenschap van materialen) bleek dat de interne kennis van de AI veel nauwkeuriger was dan wat ze eruit schreef. Het is alsof de chef de perfecte saus proeft, maar de klant vertelt: "Het is een beetje zout," terwijl de saus perfect is. De onderzoekers noemen dit de "LLM-kop bottleneck": de uitlaatklep is te smal voor de kennis die erin zit.

3. Leren door "Kletsen" in plaats van "Begrijpen"

Hoe leren deze AI's eigenlijk?
Bij het invullen van kennisgrafieken (zoals: "Dit materiaal heeft eigenschap X") bleek dat de AI's niet echt begrepen waarom iets zo was. Ze leerden puur op basis van hoe vaak ze iets samen zagen.

• Als het woord "PZT" (een materiaal) in de training vaak samen voorkwam met "piezo-elektrisch", leerde de AI dat ze bij elkaar horen.
• Maar als ze een zeldzame combinatie zagen die ze nooit eerder hadden gezien, faalden ze.
• De metafoor: Het is alsof iemand die nooit een auto heeft gereden, wel weet dat "auto" en "brandstof" bij elkaar horen omdat ze dat vaak samen in kranten zagen. Maar als je vraagt hoe je de motor start, heeft die persoon geen idee, want ze hebben het nooit echt gedaan.

4. De "Chameleons" van de AI (Onbetrouwbaarheid)

Tot slot keken ze naar de AI's die je via een website gebruikt (zoals GPT van OpenAI), in plaats van die je zelf op je computer kunt draaien.
Ze merkten op dat deze AI's over een periode van 18 maanden veranderden.

• Vandaag gaf een AI een antwoord, en over een maand gaf dezelfde AI een ander antwoord op exact dezelfde vraag, zonder dat iemand iets had aangepast.
• Soms veranderde de prestatie met wel 43%!
• De les: Voor wetenschappers is dit een nachtmerrie. Als je een experiment vandaag doet met een AI, en over een jaar herhaalt je het, kun je een ander resultaat krijgen. Het is alsof je een meetinstrument gebruikt dat elke dag een beetje anders is afgesteld.

Samenvatting in één zin

Deze studie leert ons dat AI's in de materiaalkunde soms slimme antwoorden geven, maar dat we moeten oppassen: ze kunnen zelfverzekerd liegen over getallen, ze weten meer dan ze zeggen, en als je ze via een website gebruikt, kunnen ze morgen weer een andere persoonlijkheid hebben dan vandaag.

Voor wetenschappers betekent dit: gebruik AI met een korreltje zout, check de resultaten altijd, en wees voorzichtig met het vertrouwen op "zekerheid" als het om cijfers gaat.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker toegepast in de materiaalkunde voor taken zoals eigendomsvoorspelling en literatuuranalyse. Er blijven echter fundamentele vragen onbeantwoord over de betrouwbaarheid, de manier waarop kennis wordt gecodeerd, en de invloed van fine-tuning op het gedrag van deze modellen. Specifiek is het onduidelijk:

• Hoe informatie wordt gecodeerd en of dit verschilt per taak (symbolisch vs. numeriek).
• Of fine-tuning leidt tot echt begrip of slechts statistische patronen.
• Hoe hallucinaties (zekerheid tonen bij fouten) het gedrag beïnvloeden.
• De reproduceerbaarheid van API-gebaseerde modellen (zoals GPT) over tijd, gezien hun dynamische updates.

Methodologie

De auteurs voerden een uitgebreide evaluatie uit van 25 grote taalmodellen (zowel open-source als proprietary API-modellen) over vier specifieke taken in de materiaalkunde:

1. Bandgap-voorspelling (Numeriek regressie).
2. Diëlektrische constante voorspelling (Numeriek regressie).
3. Kristalsysteem-classificatie (Symbolisch classificatie).
4. Knowledge Graph (MatKG) link prediction (Symbolisch link-predictie).

Belangrijke methodologische aspecten:

• Modelconfiguraties: Er werden meer dan 200 configuraties getest, inclusief base-modellen en modellen die zijn gefine-tuned met LoRA (Low-Rank Adaptation).
• Entropy-analyse: Om de consistentie van antwoorden te meten, werden 10 onafhankelijke inferentie-runs uitgevoerd per sample. De respons-entropy (variatie in output) werd berekend om te bepalen of modellen consistent zijn of "willekeurig" gokken.
• Layer-wise Probing: Voor numerieke taken werden embeddings uit de tussenliggende lagen van de transformer getrokken en gebruikt om gesuperviseerde probes (ridge regression, neurale netwerken) te trainen. Dit om te testen of de interne representaties meer informatie bevatten dan wat het model via tekst kan genereren.
• Longitudinale studie: GPT-modellen werden gedurende 18 maanden getest op dezelfde taken om tijdsafhankelijke variatie (model drift) te kwantificeren.

Belangrijkste Bijdragen en Resultaten

1. Output-modaliteit bepaalt fundamenteel het modelgedrag

De kernvinding is dat het type output (symbolisch vs. numeriek) het gedrag van LLMs fundamenteel bepaalt:

• Symbolische taken (Classificatie/Link-predictie): Base-modellen vertonen hoge entropy (onconsistentie) en lage nauwkeurigheid. Fine-tuning verlaagt de entropy drastisch (tot wel 99%) en verbetert de nauwkeurigheid aanzienlijk (30-60% punten). Dit suggereert dat fine-tuning de "kennis" installeert die ontbreekt.
• Numerieke taken (Regressie): Base-modellen vertonen vaak lage entropy maar lage nauwkeurigheid. Dit fenomeen wordt "confident hallucination" genoemd: het model geeft consistent dezelfde foutieve numerieke waarde. Fine-tuning verbetert de nauwkeurigheid (RMSE daalt), maar verlaagt de entropy niet noodzakelijk, wat betekent dat het model soms nog steeds "zeker" is, maar dan over een betere (maar niet perfecte) voorspelling.

2. De "LLM Head Bottleneck" bij numerieke taken

Bij het analyseren van de interne lagen (probing) vonden de auteurs een opvallend verschil tussen eigenschappen:

• Bandgap: De embeddings uit de tussenliggende lagen bevatten vaak meer voorspellende informatie dan de uiteindelijke tekstuele output van het model. Dit wijst op een "LLM Head Bottleneck": het model "weet" de waarde intern, maar de autoregressieve generatie van tokens (de "head") kan deze precisie niet vertalen naar een numeriek antwoord.
• Diëlektrische constante: Hier is er geen dergelijk voordeel; de embeddings presteren slechter dan de fine-tuned tekstoutput. Dit suggereert dat de kennis voor deze eigenschap niet eenvoudig via lineaire probes toegankelijk is, mogelijk vanwege de complexiteit en schaarste van de trainingsdata.

3. Kennisoverdracht en Distributie

• Cross-task transfer: Fine-tuning op numerieke taken verbetert andere numerieke taken (bijv. bandgap naar diëlektrisch), maar transfer tussen symbolische en numerieke taken is minimaal.
• Knowledge Graph: De prestaties bij het voltooien van kennisgrafieken hangen sterk af van de frequentie van entiteiten in de trainingsdata. Modellen leren distributieve representaties (via co-occurrence) in plaats van fysiek inzicht. Zeldzame combinaties worden slecht voorspeld.

4. Reproduceerbaarheid en Tijdsstabiliteit

De longitudinale studie toonde aan dat API-modellen (zoals GPT-4o) aanzienlijke prestatievariatie vertonen over tijd (9% tot 43% variatie in RMSE), zelfs zonder expliciete kennisgeving van updates. Dit vormt een groot risico voor wetenschappelijke reproduceerbaarheid. Fine-tuning biedt geen volledige bescherming tegen deze "silent updates".

Significantie en Conclusie

De studie biedt cruciale inzichten voor de toepassing van LLMs in de materiaalinformatiekunde:

1. Vertrouwen in onzekerheid: Voor symbolische taken kan hoge entropy dienen als een betrouwbare indicator voor onzekerheid. Voor numerieke taken is lage entropy misleidend, omdat het model "zeker" kan zijn over een verkeerd antwoord.
2. Efficiëntie: Voor sommige eigenschappen (zoals bandgap) kan het extraheren van embeddings en het gebruik van lichte regressiemodellen een efficiënter alternatief zijn dan volledige tekstgeneratie, vanwege de "head bottleneck".
3. Reproduceerbaarheid: Voor kritische wetenschappelijke toepassingen moeten open-weights modellen met vaste checkpoints de voorkeur krijgen boven API-modellen, of er moeten strikte protocollen worden gehanteerd voor het documenteren van modelversies en evaluatiedata.
4. Beperkingen: LLMs vertonen geen diep fysiek inzicht, maar leren statistische patronen. Hun prestaties zijn afhankelijk van de diversiteit van de trainingscontext en de eigenschap die wordt voorspeld.

Samenvattend waarschuwt het artikel voor het blind vertrouwen op LLMs als kwantitatieve voorspellers zonder inzicht in hun interne mechanismen en benadrukt het de noodzaak van specifieke validatie per taak en eigenschap.