OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields

Technische Samenvatting van OmniMatBench

Probleemstelling
Hoewel Multimodale Grootte Taalmodellen (MLLM's) steeds vaker worden verwacht om bij te dragen aan wetenschappelijk onderzoek, blijft hun betrouwbaarheid in domeinspecifiek redeneren onduidelijk. Materiaalkunde vormt een bijzonder uitdagende testomgeving vanwege zijn interdisciplinaire aard, afhankelijkheid van multimodale data (tekst, afbeeldingen, grafieken, formules) en sterke focus op technische toepassingen. Bestaande benchmarks in dit domein richten zich grotendeels op eigendomsvoorspelling, kennisgebaseerde vragen en antwoorden, visuele herkenning of nauwkeurigheid van het eindantwoord. Deze protocollen falen echter vaak om het volledige redeneerproces systematisch te evalueren dat nodig is om van materiaalkennis naar toepassing te gaan, inclusief interpretatie van structuur-eigenschappen, begrip van verwerking, fabricagelogica en besluitvorming. Er is een aanzienlijke lacune in het evalueren hoe modellen omgaan met formuleselectie, rekenen met bewustzijn van eenheden en gestructureerde uitvoering over diverse subdomeinen van de materiaalkunde.

Methodologie
Om deze beperkingen aan te pakken, introduceren de auteurs OmniMatBench, een door mensen gekalibreerde multimodale redeneerbenchmark. De datasetconstructie omvatte een meerstapsproces met samenwerking van specialisten in materiaalkunde:

• Dataverzameling: 3.171 door experts samengestelde vragen werden onttrokken en aangepast uit klassieke en hedendaagse bronnen voor materiaalkennis.
• Taxonomie: De benchmark bestrijkt 19 verschillende subdomeinen van materiaalkunde, georganiseerd in vier overkoepelende domeinen: Fundamentele Materiaalkunde, Structurele en Technische Materialen, Materiaalverwerking en Productie, en Functionele en Toegepaste Materialen. Deze structuur weerspiegelt een Kennis-Structuur-Verwerking-Toepassing (KSPA)-perspectief, inclusief ondervertegenwoordigde maar kritieke gebieden zoals edelsteenkunde, poedermaterialen en las technologie.
• Taaktypen: De benchmark bestaat uit twee primaire taaktypen:
  1. Open vragen en antwoorden: Geannoteerd met door experts samengestelde kernpunten die concepten, redeneerelementen en scoringscriteria omvatten.
  2. Berekening (CAL): Gestructureerde problemen die specifieke antwoordvelden, formulesporen, eisen voor eenheden, numerieke precisiebeperkingen en uitvoerschema's vereisen.
• Evaluatieprotocol: De evaluatie gaat verder dan eenvoudige antwoordmatching. Vragen en antwoorden worden gescoord met behulp van Precisie, Recall en F1 op basis van dekking van kernpunten. CAL-antwoorden worden geëvalueerd met strikte exacte-veldnauwkeurigheid, waarbij antwoorden worden ontleed in gestructureerde componenten (getallen, formules, eenheden).
• Modelbeoordeling: De auteurs evalueerden 13 toonaangevende MLLM's (8 gesloten-bron en 5 open-bron), waaronder modellen zoals Claude Opus 4.7, GPT-5.5 en Gemini 3.1 Pro, onder zero-shot, formule-ondersteunde, zoekopdracht-ondersteunde en code-uitvoeringssituaties.

Belangrijkste bijdragen

1. OmniMatBench Dataset: Een uitgebreide benchmark met 3.171 door experts geverifieerde problemen over 19 subdomeinen en 4 domeinen, die zowel fundamentele als technisch georiënteerde onderwerpen bestrijken.
2. Gedetailleerd Evaluatieontwerp: Een protocol dat rubric-gebaseerde scoring voor vragen en antwoorden combineert met strikte veldgebaseerde CAL-evaluatie. Dit ontwerp maakt het detecteren van fouten mogelijk in conceptidentificatie, formuleselectie, multimodale grounding, rekenen met bewustzijn van eenheden en antwoordopmaak.
3. Systematische Analyse van MLLM-capaciteiten: Een grootschalige evaluatie van 13 modellen die specifieke faalmodi blootlegt, waaronder vaste redeneerheuristieken, ongelijkmatige kennis over subdomeinen en beperkingen in het toepassen van kennis op uitvoering, zelfs met externe hulpmiddelen.

Resultaten
De evaluatie toont een aanzienlijke kloof aan tussen huidige MLLM's en betrouwbaar redeneren in materiaalkunde:

• Algemene Prestatie: Het best presterende model, Claude Opus 4.7, behaalde een totale score van slechts 0,372 (een gewogen gemiddelde van QA Macro-F1 en CAL-veldnauwkeurigheid). GPT-5.5 scoorde 0,324 en de meeste andere modellen scoorden onder de 0,30.
• Variatie per Subdomein: De prestaties variëren aanzienlijk over de 19 subdomeinen. Modellen presteren relatief beter bij fundamentele onderwerpen (bijvoorbeeld metalen materialen, materiaalkunde), maar hebben moeite met gespecialiseerde technische scenario's (bijvoorbeeld metallurgische techniek, nanomaterialen, composietvormgeving) die procedurele kennis en oordeel gericht op toepassing vereisen.
• Vragen en Antwoorden versus Berekening: Hoewel modellen vaak een hogere Recall dan Precisie behalen bij open vragen en antwoorden (waardoor brede maar soms niet-ondersteunde inhoud wordt gegenereerd), staan ze voor een veel sterkere bottleneck bij CAL-taken. De beste CAL-veldnauwkeurigheid was slechts 30,10%, waarbij de meeste modellen onder de 25% vielen, wat wijst op een aanzienlijke kloof tussen wetenschappelijke vlotheid en betrouwbare wetenschappelijke uitvoering.
• Hulpmiddelondersteuning: Het verstrekken van formuleondersteuning (Oracle Context) verbeterde de prestaties, maar verzadigde ze niet, wat suggereert dat de bottleneck ligt in het toepassen van het juiste oplossingsplan in plaats van alleen het benaderen van formules. Code-uitvoering verbeterde de prestaties niet consequent; in sommige gevallen verslechterden de resultaten omdat modellen de materiaalkundige context niet correct vertaalden naar de juiste rekenprocedure.

Betekenis
Het artikel stelt dat OmniMatBench cruciale inzichten biedt in de capaciteiten en beperkingen van huidige MLLM's in de materiaalkunde. Door de kloof tussen "kennis en uitvoering" te benadrukken, legt de benchmark de basis voor de ontwikkeling van betrouwbaardere AI-assistenten voor onderzoek in materiaalkunde. De auteurs benadrukken dat huidige modellen, hoewel ze in staat zijn tot het genereren van plausibele uitleg, nog steeds de precisie missen die nodig is voor gespecialiseerde technische scenario's, proces-specifieke mechanismen en gestructureerde wetenschappelijke berekening. De benchmark dient als een rigoureuze testomgeving om toekomstige verbeteringen in wetenschappelijk redeneren te stimuleren, en gaat verder dan eenvoudige kennisherinnering naar complexe, multimodale en toepassingsgedreven probleemoplossing.