MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models

Dit paper introduceert MaterialFigBench, een benchmarkdataset met 137 universitaire materiaalkundevragen die figuren vereisen, waarmee wordt aangetoond dat huidige multimodale LLM's moeite hebben met visuele interpretatie en kwantitatieve analyse ondanks hun toegang tot domeinkennis.

De kern

Stel je voor dat je een groep zeer intelligente, maar soms wat verwaande studenten hebt. Deze studenten hebben de hele wereldbibliotheke uit hun hoofd geleerd. Ze kunnen over alles praten, van de geschiedenis van de Romeinen tot de chemie van een bakje koffie. Maar er is een probleem: als je ze een foto van een grafiek of een diagram geeft, kijken ze er vaak niet echt naar. In plaats daarvan gissen ze op basis van wat ze al in hun hoofd hebben.

Dit is precies wat de onderzoekers van MaterialFigBENCH hebben ontdekt, en hoe ze dit hebben getest. Hier is het verhaal, vertaald naar alledaags Nederlands:

1. De Uitdaging: "Kijk niet alleen, maar zie ook"

In de wereld van materialenwetenschap (het vakgebied dat onderzoekt waarom staal hard is of waarom siliconen stroom geleidt), zijn grafieken en diagrammen de heilige graal. Een "fase-diagram" is bijvoorbeeld een soort landkaart voor smeltende metalen. Als je die kaart niet kunt lezen, kun je geen goed staal maken.

De onderzoekers wilden weten: Kunnen deze super-intelligente AI's (zoals ChatGPT) echt naar zo'n kaart kijken en de weg vinden, of lezen ze gewoon de antwoorden uit hun geheugen?

Om dit te testen, hebben ze MaterialFigBENCH gemaakt. Dit is een soort "proefwerk" met 137 vragen. Maar dit is geen gewoon proefwerk. Het is een valstrik.

2. De Valstrik: Het "Valse Kaartspel"

Stel je voor dat je een student een vraag stelt over de weg naar het station.

• Normale vraag: "Hoe kom ik naar het station?" (De student kan het antwoord uit zijn hoofd weten).
• De MaterialFigBENCH-vraag: "Kijk naar deze nieuwe, valse kaart die ik net heb getekend. Waar is het station?"

De onderzoekers hebben de originele diagrammen uit leerboeken opzettelijk aangepast.

• Ze hebben de namen van metalen veranderd (in plaats van "Koper-Zilver" zeggen ze nu "Metaal-A en Metaal-B").
• Ze hebben de lijntjes iets verschoven.
• Ze hebben de getallen net anders gemaakt.

Het doel: Als de AI echt naar de foto kijkt, moet het de nieuwe waarden kunnen aflezen. Als de AI alleen maar "weet" dat Koper-Zilver bij 800 graden smelt, zal het falen, want op de valse kaart is dat anders.

3. Het Resultaat: De "Gokkers" vs. De "Lezers"

Toen ze de AI's op dit proefwerk lieten werken, gebeurde er iets verrassends:

• De "Gokkers" (Memorizers): Veel AI's gaven het juiste antwoord, maar zonder naar de foto te kijken. Ze dachten: "Ah, dit lijkt op een Fe-C (ijzer-koolstof) diagram. Ik weet uit mijn training dat koolstof daar 0,76% is." Ze gaven het juiste antwoord, maar ze hadden de foto niet nodig gehad. Ze hadden de kaart kunnen weglaten en het antwoord was hetzelfde geweest.
• De "Lezers" (Visualizers): Als de AI's echt moesten meten op de foto (bijvoorbeeld: "Hoe ver is dit punt van de as?"), faalden ze vaak. Ze konden de lijntjes niet goed aflezen, maakten rekenfouten, of gaven antwoorden met te weinig cijfers (bijvoorbeeld "58" in plaats van "57,915").

4. De Analogie: De Reiziger zonder Kompas

Stel je voor dat je een reiziger bent die een nieuwe stad moet verkennen.

• De huidige AI's zijn als reizigers die de stad al uit hun hoofd kennen. Als je ze vraagt: "Kijk naar deze nieuwe kaart, waar is het museum?", zeggen ze: "Het museum is op de hoek van de straat!" omdat ze dat uit hun hoofd weten. Ze kijken niet eens naar de kaart die je hun geeft.
• Het probleem: Als je ze een kaart geeft van een nieuwe, fictieve stad, raken ze in de war. Ze kunnen de symbolen op de kaart niet goed interpreteren. Ze weten niet hoe ze een afstand moeten meten met een liniaal op het papier.

5. Wat betekent dit voor de toekomst?

De onderzoekers concluderen dat deze AI's nog niet echt "zien". Ze zijn briljante tekstschrijvers die veel feiten uit hun hoofd hebben, maar ze zijn nog geen goede wetenschappers die meten en observeren.

• Ze zijn te snel: Ze geven vaak een antwoord voordat ze goed hebben gekeken.
• Ze zijn onnauwkeurig: Als ze wel kijken, maken ze foutjes in het aflezen van getallen (zoals het verschil tussen 0,02 en 0,022).
• Ze zijn te afhankelijk van wat ze al weten: Ze vertrouwen te veel op hun "training" en te weinig op de feitelijke data voor hen.

Conclusie: De Leraar die de Oefeningen aanpast

De onderzoekers zeggen eigenlijk: "We moeten de AI's niet alleen laten oefenen met vragen die ze al kennen. We moeten ze dwingen om echt naar de nieuwe informatie te kijken."

MaterialFigBENCH is dus een nieuwe, strengere leraar. Hij zegt: "Ik ga de cijfers op je examen veranderen. Als je het antwoord uit je hoofd kent, ga je zakken. Je moet echt naar de grafiek kijken en rekenen."

Dit helpt ontwikkelaars om de volgende generatie AI's te bouwen die niet alleen slimme praters zijn, maar ook echte visualiseerders die betrouwbaar kunnen helpen bij het ontwerpen van nieuwe materialen, van batterijen tot ruimtevaartuigen. Tot die tijd moeten we echter wel goed blijven kijken of de AI echt naar de foto kijkt, of dat hij gewoon raadt!

Technische samenvatting

Titel: MaterialFigBENCH: Benchmark dataset met figuren voor het evalueren van het probleemoplossend vermogen van multimodale grote taalmodellen (LLM's) op universitair niveau in de materiaalkunde.

1. Het Probleem

Hoewel generatieve Large Language Models (LLM's) zoals ChatGPT en Gemini snel vooruitgang boeken in de materiaalkunde, zijn bestaande benchmarks vaak beperkt tot tekstuele input. Materiaalkundige informatie is echter inherent multimodaal (bijv. fase-diagrammen, spanning-rek-curves, microstructuren). Bestaande datasets behandelen veel visuele data vaak als gestructureerde tekst (zoals SMILES of CIF-bestanden) in plaats van als echte afbeeldingen. Er ontbreekt een gespecialiseerde benchmark die evalueert of multimodale LLM's werkelijk visuele interpretatie en kwantitatieve analyse van wetenschappelijke figuren kunnen uitvoeren, of dat ze simpelweg op memoriseerde kennis vertrouwen.

2. Methodologie

De auteurs hebben MaterialFigBench ontwikkeld, een dataset specifiek voor universitair niveau in de materiaalkunde.

• Dataset Samenstelling: De dataset bevat 137 open vragen (free-response) gebaseerd op standaard universitair leerboeken. De vragen vereisen het interpreteren van figuren zoals fase-diagrammen, Arrhenius-plots, spanning-rek-curves en kristalstructuren.
• Aanpassing van Oorspronkelijke Problemen:
  • Copyright en Memorizatie: Om te voorkomen dat modellen op hun trainingsdata vertrouwen, zijn de figuren handmatig aangepast. Materiaalnamen zijn vervangen door hypothetische symbolen (bijv. "Cu-Ag" werd "MA-MB"). De fysieke relaties bleven echter gelijk.
  • Structuur: Meervoudige deelvragen zijn opgesplitst of samengevoegd om duidelijke instructies te geven.
  • Antwoordranges: Omdat het aflezen van numerieke waarden uit afbeeldingen inherent onzekerheid bevat, hebben experts voor numerieke antwoorden realistische antwoordranges gedefinieerd (in plaats van één exact getal).
• Evaluatie: Verschillende state-of-the-art multimodale LLM's werden getest, waaronder diverse ChatGPT-versies (4o, o1, o3-mini, 5-varianten) en API-versies van GPT-4o, GPT-o1 en GPT-5.
• Beoordelingscriteria: Antwoorden werden beoordeeld op juistheid binnen de gedefinieerde ranges. Er werd specifiek gelet op significantie van cijfers (significant digits) en of het model daadwerkelijk de afbeelding las of kennis uit het geheugen haalde.

3. Belangrijkste Resultaten

De evaluatie leverde enkele verrassende en kritieke bevindingen op:

• Misleiding door Memorizatie: In veel gevallen (vooral bij bekende systemen zoals het Fe-C fase-diagram) gaven de modellen het juiste antwoord zonder de afbeelding te raadplegen. Ze gebruikten memoriseerde solubiliteitslimieten en kennis uit hun training. Wanneer de afbeelding werd verwijderd, gaven ze vaak nog steeds het juiste antwoord door de hypothetische elementen te "raden" als bekende elementen.
• Gebrek aan Visueel Begrip: Modellen worstelden met taken die echte visuele interpretatie vereisten, zoals het meten van afstanden op een fase-diagram of het interpreteren van kristaloriëntaties. De nauwkeurigheid voor deze categorieën bleef laag, zelfs bij de nieuwste modellen.
• Significantie van Cijfers: Een terugkerend probleem was het verkeerd hanteren van significantie. Nieuwere, "slimmere" modellen (zoals GPT-o1 en GPT-5-thinking) neigden ertoe antwoorden met te weinig significante cijfers te geven (bijv. afronden op 2 cijfers in plaats van 3 of 4), wat leidde tot onjuiste beoordelingen ondanks dat de berekening intern correct was.
• Modelprestaties:
  • Er was geen lineaire verbetering met model-updates. Sommige nieuwere modellen (zoals ChatGPT-o3-mini) scoorden lager dan eerdere versies (ChatGPT-o1) op specifieke visuele taken.
  • API-versies presteerden soms slechter dan de ChatGPT-interface-versies, wat wijst op verschillen in prompt-engineering of modelconfiguratie.
  • Arrhenius-plots waren een uitzondering waar prestaties duidelijk verbeterden met nieuwere modellen.
• Verdeling van Succes: De nauwkeurigheid vertoonde een U-vormige verdeling: modellen waren ofwel perfect op een probleem (vaak door memorizatie) of volledig fout (bij complexe visuele taken), met weinig tussenliggende successen.

4. Belangrijkste Bijdragen

1. MaterialFigBench Dataset: Een openbare, gespecialiseerde dataset van 137 problemen met figuren die specifiek zijn ontworpen om "shortcut"-gedrag (gebruik van memoriseerde kennis) te detecteren en visuele redenering te testen.
2. Methodologische Innovatie: Het gebruik van hypothetische symbolen in figuren en het definiëren van expert-gestuurde antwoordranges om de onzekerheid van visuele extractie te modelleren.
3. Kritische Analyse van LLM's: Het blootleggen dat hoge nauwkeurigheid in wetenschappelijke domeinen niet gelijkstaat aan echt visueel begrip. Het onderzoek toont aan dat LLM's vaak "hallucineren" door kennis te combineren in plaats van de data te lezen.

5. Betekenis en Implicaties

• Voor de Ontwikkeling van LLM's: Het onderzoek suggereert dat het simpelweg vergroten van de modelgrootte niet volstaat. Er is gerichte training nodig op wetenschappelijke visuele abstracties (zoals hellingen in logaritmische plots, fase-grenzen) en mechanismen om te forceren dat antwoorden gebaseerd zijn op de input-afbeelding en niet op latent tekstuele kennis.
• Voor Benchmarking: Toekomstige benchmarks moeten strikter controleren op memorizatie-effecten. Alleen tekstuele benchmarks zijn onvoldoende voor multimodale wetenschappelijke toepassingen.
• Voor de Materiaalkunde: Het benadrukt dat huidige AI-modellen nog niet betrouwbaar zijn voor kwantitatieve analyse van experimentele data of complexe diagrammen zonder menselijke supervisie, vooral wat betreft numerieke precisie en significantie.

Conclusie: MaterialFigBench biedt een fundamenteel inzicht in de beperkingen van huidige multimodale LLM's. Hoewel er vooruitgang is geboekt, missen deze modellen nog steeds het vermogen tot robuuste, kwantitatieve visuele redenering die essentieel is voor universitair niveau in de materiaalkunde.