FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

Dit artikel introduceert FEM-Bench, een gestructureerde benchmark gebaseerd op computationele mechanica-taken die is ontworpen om het vermogen van grote taalmodellen om wetenschappelijk valide eindige-elementenmethode-code te genereren rigoureus te evalueren, waarbij wordt onthuld dat zelfs de meest geavanceerde modellen moeite hebben om deze niet-triviale problemen consistent op te lossen.

De kern

Stel je voor dat je een briljante, erudiete robot probeert te leren hoe hij een constructieleerling moet zijn. Je wilt niet alleen dat hij code schrijft die eruit ziet alsof het werkt; je wilt dat hij daadwerkelijk de wetten van de fysica begrijpt, zoals zwaartekracht, spanning en hoe materialen buigen.

Dit artikel introduceert FEM-Bench, een "eindexamen" dat specifiek is ontworpen om te testen of Large Language Models (LLM's) — de AI-breinen achter tools zoals ChatGPT — dit soort serieuze wetenschappelijke techniek kunnen uitvoeren.

Hier is een uitsplitsing van het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: De "Rekenmachine" versus de "Ingenieur"

Beschouw huidige AI-modellen als ongelooflijk snelle rekenmachines. Als je ze vraagt om een eenvoudig programma te schrijven om getallen op te tellen of een lijst te sorteren, zijn ze erg goed in. Maar als je ze vraagt om te simuleren hoe een brug instort onder een zware vrachtwagen, falen ze vaak.

Waarom? Omdat het bouwen van een fysica-simulatie niet alleen gaat over het schrijven van code; het gaat over:

• Het begrijpen van de regels: Weten hoe krachten precies door een balk bewegen.
• De verbanden leggen: Kleine stukjes van een puzzel (kleine onderdelen van een structuur) nemen en deze perfect aan elkaar klikken om een totaalbeeld te vormen.
• Het werk controleren: Een test schrijven om te bewijzen dat de simulatie niet liegt.

De auteurs realiseerden zich dat er geen standaard "rijexamen" bestond voor AI op dit specifieke gebied. Bestaande tests controleren of AI een website kan bouwen of een wiskundig raadsel kan oplossen, maar niet of het een wetenschappelijk geldige simulatie van de fysieke wereld kan bouwen.

2. De Oplossing: FEM-Bench (Het "Rijexamen")

De auteurs hebben FEM-Bench gecreëerd, een collectie van 33 specifieke uitdagingen gebaseerd op een eerstejaars mastercursus in computationele mechanica.

• De Analogie: Stel je een rijexamen voor. Je vraagt een bestuurder niet alleen om te "rijden". Je vraagt hen om in te parkeren, in te voegen op de snelweg en door een rotonde te navigeren.
• De Taken: In FEM-Bench bestaat het "rijden" uit zaken als:
  • Het berekenen hoe een 3D-balk buigt wanneer je er op drukt.
  • Een gladde, continue vorm (zoals een gebogen brug) omzetten in een digitaal rooster van kleine driehoeken (dit wordt "meshing" genoemd).
• Het oplossen van complexe vergelijkingen om te zien of een structuur bezwijkt (instort) onder druk.

3. De Twist: Twee Delen van de Test

De benchmark vraagt de AI niet alleen om de code te schrijven. Het vraagt om twee dingen:

1. De Code: Het eigenlijke simulatieprogramma.
2. De Test: Een set "controle-regels" (unit tests) die de AI moet schrijven om te bewijzen dat zijn eigen code werkt.

De Metafoor: Het is alsof je een student vraagt om niet alleen een brug te bouwen van ijsstokjes, maar ook om een checklist te schrijven die bewijst dat de brug niet zal omvallen. Als de student een brug bouwt die er cool uitziet maar instort wanneer je er een gewicht op legt, faalt hij. Als hij een brug bouwt die wel standhoudt, maar niet de test kan schrijven om te bewijzen dat het klopt, dan faalt hij ook.

4. De Resultaten: De AI is Slim, Maar Nog Niet Helemaal

De auteurs hebben de top 10 AI-modellen (inclus kind Google, OpenAI en Anthropic) door dit examen gehaald. Dit is wat ze vonden:

• De Makkelijke Zaken: De AI's zijn geweldig in de basis. Ze kunnen gemakkelijk eenvoudige, rechte problemen aanpakken (zoals een enkele houten balk). Het is alsof ze perfect kunnen inparkeren.
• De Moeilijke Zaken: Wanneer de problemen complexer worden — zoals het omgaan met draaiende krachten, gebogen vormen of het voorspellen wanneer een structuur bezwijkt — beginnen de AI's te struikelen.
  • De "Kennisgat": Soms kende de AI simpelweg de specifieke formule voor een complex fysisch fenomeen niet. Het was alsof een bestuurder die weet hoe hij moet rijden, maar de regels van een rotonde niet kent.
  • Het "Assemblagegat": Soms kende de AI de onderdelen wel, maar kon hij ze niet correct samenvoegen. Het was alsof je alle Lego-instructies hebt, maar de verkeerde blokjes aan elkaar klikt.
  • Het "Testgat": Zelfs wanneer de AI een perfecte simulatie schreef, faalde het vaak in het schrijven van de tests om te bewijzen dat het correct was. Het schrijven van de "checklist" was moeilijker dan het bouwen van de "brug".

De Score:

• Het beste model (Gemini 3 Pro) kreeg ongeveer 90% van de eenvoudige taken goed.
• Echter, bij de moeilijkste taken (die complexe fysica vereisten zonder hulp), kon geen enkel model deze consistent oplossen.
• Interessant genoeg was de AI vaak beter in het schrijven van de code dan in het schrijven van de tests om die code te verifiëren.

5. Het "Spiekbriefje"-Experiment

De onderzoekers probeerden te kijken of ze de AI konden helpen door het een "spiekbriefje" te geven (een systeemprompt met extra instructies).

• Resultaat: Wanneer ze de AI de specifieke, complexe formules gaven die hij miste, werd de AI plotseling veel beter in het oplossen van de moeilijke problemen.
• De Les: De AI is niet "dom"; het mist simpelweg specifieke, diepe kennis over bepaalde natuurkundige formules. Het kan de wiskunde van een instortende brug niet "verzinnen" op het moment zelf, maar als je het de formule geeft, kan het deze perfect gebruiken.

Samenvatting

FEM-Bench is een reality check voor AI in de wetenschap. Het laat zien dat hoewel AI erg goed wordt in algemene programmering, het nog steeds moeite heeft om een betrouwbare, onafhankelijke ingenieur te zijn voor complexe fysieke problemen. Het kan instructies volgen en eenvoudige modellen bouwen, maar het kan nog niet betrouwbaar redeneren door de diepe, complexe en precieze wetten van de fysica die nodig zijn om de echte wereld te simuleren zonder menselijke hulp.

De auteurs concluderen dat we benchmarks zoals deze nodig hebben om vooruitgang bij te houden. Naarmate AI slimmer wordt, zal het "rijexamen" moeilijker moeten worden om werkelijke verbetering te blijven meten.

Technische samenvatting

Technische Samenvatting: FEM-Bench: Een Gestructureerde Benchmark voor Wetenschappelijk Redeneren voor het Evalueren van Code-genererende LLM's

Probleemstelling

Naarmate Large Language Models (LLM's) geavanceerder worden in hun vermogen om over de fysieke wereld te redeneren, blijft er een kritieke kloof bestaan in de rigoureuze evaluatie van hun vermogen om wetenschelijk geldige fysieke modellen te genereren. Terwijl bestaande benchmarks algemene programmeerlogica, software engineering-vaardigheden of wiskundig redeneren beoordelen, evalueert geen enkele specifiek het vermogen van een LLM om de vereiste fysieke modellering, numerieke discretisatie en gestructureerde computationele redenering uit te voeren die nodig zijn voor geavanceerde wetenschappelijke berekeningen. In velden zoals de computationele mechanica heeft een programma dat weliswaar draait, maar niet-convergerende, instabiele of fysiek onmogelijke resultaten produceert, geen wetenschappelijke waarde. Het vakgebied vereist strikte naleving van de leidende vergelijkingen, numerieke consistentie en geometrische transformaties, terwijl huidige benchmarks falen om deze domeinspecifieke beperkingen te vatten. Er is behoefte aan een benchmark die het onderscheid kan maken tussen loutere code-generatie en de implementatie van natuurkundig gefundeerde, numeriek consistente algoritmen.

Methodologie

De auteurs introduceren FEM-Bench, een diagnostische benchmark ontworpen om LLM's te evalueren op hun vermogen om correcte Finite Element Method (FEM) en Matrix Structural Analysis (MSA) code te genereren. In tegenstelling tot grootschalige trainingsdatasets is FEM-Bench een gecureerde reeks van 33 introductieve maar niet-triviale taken, afgestemd op een eerste graduate-cursus in computationele mechanica.

Structuur van de Benchmark

• Taakontwerp: Elke taak is een zelfstandig Python-module met een referentie-implementatie, een reeks pytest-stijl unit tests en bekende onjuiste implementaties ("expected failures") ontworpen om het onderscheidend vermogen te testen.
• Domeinen: De suite beslaat drie domeinen:
  • FEM 1D: Fundamentele discretisatie en lineaire elasticiteit.
  • FEM 2D: Hogere-orde interpolatie, multidimensionale integratie (quadrature) en geometrische mapping.
  • MSA 3D: Lokale element-routines, coördinatentransformaties, globale assemblage en eigenwaardeproblemen (knikanalyse).
• Gelaagde Moeilijkheidsgraad: Taken worden geclassificeerd met een CC/H/T identifier. CC staat voor de conceptuele uitdaging (lineaire versus geometrische nonlineariteit), H is het aantal hulpfuncties in de referentie, en T geeft de laag (tier) van de verstrekte hulpfuncties aan (T0: geen verstrekt; T1: alle verstrekt; T2/T3: gedeeltelijk of geen). Dit ontwerp isoleert tekorten in domeinkennis (onvermogen om ontbrekende componenten te construeren) van tekorten in compositioneel redeneren (onvermogen om verstrekte componenten aan elkaar te koppelen).
• Evaluatiepipeline: Het framework evalueert twee capaciteiten:
  1. Functie-correctheid: De gegenereerde code wordt uitgevoerd tegen gecureerde verificatie-inputs en vergeleken met referentie-outputs middels recursieve numerieke matching.
  2. Test-suite Evaluatie: De gegenereerde unit tests moeten slagen op de referentie-implementatie en falen op alle verstrekte "expected failure" implementaties. De primaire metriek is de Average Joint Success Rate.

Experimentele Opstelling

De auteurs evalueerden tien state-of-the-art LLM's (waaronder Gemini 3 Pro, GPT-5, Claude Opus 4.5 en open-weight modellen zoals Qwen3 en Llama 4) over de 33 taken. Inferentie werd uitgevoerd met een lage temperatuur (0.1) en hoge redeneerinstellingen waar ondersteund. De auteurs hebben ook een voorlopige studie uitgevoerd met het GEPA prompt-optimalisatiealgoritme om te bepalen of prestatiekloven het gevolg waren van prompt engineering of inherente tekorten in domeinkennis.

Belangrijkste Resultaten

• Prestatieplafond: Geen enkel model voltooide de volledige FEM-Bench 2025 suite succesvol. Het best presterende model voor het schrijven van functies, Gemini 3 Pro, loste 30/33 taken op in ten minste één van de vijf pogingen en 26/33 taken consistent (5/5). Het beste model voor het schrijven van unit tests, GPT-5, behaalde een Average Joint Success Rate van 73,8%.
• Taak Moeilijkheidsgradiënt: Modellen reproduceerden betrouwbaar de fundamentele bouwstenen (bijv. 1D lineaire elasticiteit, basis mesh-generatie), maar hadden aanzienlijke moeite naarmate taken geometrische nonlineariteit introduceerden of vereisten dat er geredeneerd werd buiten directe formule-toepassing.
  • Onopgeloste Taken: Drie taken werden door geen enkel model zelfs maar één keer opgelost: MSA_3D_assemble_global_geometric_stiffness_T3, MSA_3D_elastic_critical_load_T3, en MSA_3D_local_geometric_stiffness_T0. Deze taken vereisen het genereren van complexe geometrische stijfheidsmatrices zonder hulpfuncties.
• Foutanalyse: Falen werd gecategoriseerd in drie tekorten:
  1. Tekort in Domeinkennis: Onvermogen om specifieke mechanica-formules te herinneren (bijv. koppelingstermen voor geometrische stijfheid).
  2. Tekort in Compositioneel Redeneren: Falen om verstrekte hulpfuncties correct aan elkaar te koppelen.
  3. Tekort in Algoritmische Getrouwheid: Indexeringsfouten, mismatch in tekenconventies of incomplete routines.
• Prompt Optimalisatie: GEPA-optimalisatie toonde aan dat generieke instructies voor redeneren (bijv. "denk zorgvuldig na") de prestaties niet verbeterden. Significante winst werd alleen waargenomen wanneer de geoptimaliseerde system prompts expliciet specifieke domeinkennis injecteerden (bijv. de exacte formulering van de geometrische stijfheidsmatrix), wat bevestigt dat de primaire bottleneck een gebrek aan specifieke domeinkennis is in plaats van algemeen redeneervermogen.

Betekenis en Claims

Het artikel beweert dat FEM-Bench een gestructureerde fundering legt voor het evalueren van AI-gegenereerde wetenschappelijke code, waarbij verder wordt gekeken dan eenvoudige syntactische correctheid om de fysieke validiteit en numerieke consistentie te beoordelen.

• Diagnostisch Nut: De benchmark identificeert effectief specifieke foutmodi in wetenschappelijke berekeningen, waarbij onderscheid wordt gemaakt tussen modellen die instructies kunnen volgen en modellen die over de noodzakelijke fysieke redeneerkracht beschikken.
• Huidige Beperkingen: De resultaten wijzen erop dat hoewel state-of-the-art LLM's steeds meer in staat zijn om bij te dragen aan gestructureerde numerieke taken, ze nog niet klaar zijn om autonoom geavanceerde wetenschappelijke workflows te implementeren of te verifiëren die betrokken zijn bij geometrische nonlineariteit of complexe eigenwaardeproblemen zonder externe ondersteuning of expliciete injectie van domeinkennis.
• Toekomstige Richting: De auteurs stellen dat toekomstige iteraties van FEM-Bench steeds complexere taken zullen bevatten om vooruitgang te volgen. Zij suggereren dat het overbruggen van de huidige kloof wellicht vereist dat LLM's worden geïntegreerd met externe tools voor symbolisch redeneren, geautomatiseerde code-executie en autoritatieve informatieverzameling (retrieval), in plaats van enkel te vertrouwen op vooraf getrainde kennis.

Het werk dient als een baseline voor de gemeenschap en benadrukt dat de "last mile" van wetenschappelijke code-generatie een niveau van precisie en domeinspecifiek redeneren vereist dat huidige modellen in een single-pass, zero-shot setting moeilijk kunnen bereiken.