FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

Dieses Paper führt FEM-Bench ein, einen strukturierten Benchmark basierend auf Aufgaben der computergestützten Mechanik, der darauf ausgelegt ist, die Fähigkeit großer Sprachmodelle zur Generierung wissenschaftlich validen Finite-Elemente-Methode-Codes rigoros zu evaluieren, wobei aufgezeigt wird, dass selbst modernste Modelle Schwierigkeiten haben, diese nicht trivialen Probleme konsistent zu lösen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem brillanten, belesenen Roboter beizubringen, wie man Bauingenieur wird. Sie wollen nicht nur, dass er Code schreibt, der so aussieht, als würde er funktionieren; Sie wollen, dass er tatsächlich die Gesetze der Physik versteht, wie etwa Schwerkraft, Zugspannung und wie sich Materialien biegen.

Dieses Paper stellt FEM-Bench vor – eine „Abschlussprüfung“, die speziell darauf ausgelegt ist, zu testen, ob Large Language Models (LLMs) – die KI-Gehirne hinter Tools wie ChatGPT – diese Art von ernsthafter wissenschaftlicher Ingenieursarbeit leisten können.

Hier ist eine Aufschlüsselung des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Der „Taschenrechner“ vs. der „Ingenieur“

Betrachten Sie aktuelle KI-Modelle als unglaublich schnelle Taschenrechner. Wenn Sie sie bitten, ein einfaches Programm zu schreiben, das Zahlen addiert oder eine Liste sortiert, sind sie großartig. Aber wenn Sie sie bitten, zu simulieren, wie eine Brücke unter einem schweren Lkw einstürzt, scheitern sie oft.

Warum? Weil das Erstellen einer Physiksimulation nicht nur daraus besteht, Code zu schreiben; es geht vielmehr um:

• Das Verständnis der Regeln: Zu wissen, wie genau Kräfte durch einen Balken fließen.
• Das Verknüpfen der Teile: Die winzigen Teile eines Puzzles (kleine Teile einer Struktur) zu nehmen und sie perfekt zusammenzusetzen, um ein Gesamtbild zu ergeben.
• Die Überprüfung der Arbeit: Einen Test zu schreiben, der beweist, dass die Simulation nicht lügt.

Den Autoren wurde klar, dass es keinen standardisierten „Führerschein“ für KI in diesem spezifischen Bereich gab. Bestehende Tests prüfen, ob eine KI eine Website schreiben oder ein mathematisches Rätsel lösen kann, aber nicht, ob sie ein wissenschaftlich gültiges Modell der physischen Welt bauen kann.

2. Die Lösung: FEM-Bench (Der „Führerschein“)

Die Autoren entwickelten FEM-Bench, eine Sammlung von 33 spezifischen Herausforderungen, die auf einem Kurs für Computational Mechanics im ersten Jahr eines Masterstudiums basieren.

• Die Analogie: Stellen Sie sich eine Fahrprüfung vor. Man fragt den Fahrer nicht einfach nur, ob er „fahren“ kann. Man bittet ihn, parallel einzuparken, auf eine Autobahn einzufeldern und einen Kreisverkehr zu durchfahren.
• Die Aufgaben: Das „Fahren“ in FEM-Bench beinhaltet Dinge wie:
  • Die Berechnung, wie sich ein 3D-Balken biegt, wenn man auf ihn drückt.
  • Das Umwandeln einer glatten, kontinuierlichen Form (wie einer gekrümmten Brücke) in ein digitales Gitter aus winzigen Dreiecken (das sogenannte „Meshing“).
  • Das Lösen komplexer Gleichungen, um zu sehen, ob eine Struktur unter Druck einknicken wird (Buckling).

3. Der Clou: Zwei Teile der Prüfung

Der Benchmark verlangt nicht nur vom KI-Modell, den Code zu schreiben. Es verlangt zwei Dinge:

1. Den Code: Das eigentliche Simulationsprogramm.
2. Den Test: Eine Reihe von „Check-up“-Regeln (Unit-Tests), die die KI schreiben muss, um zu beweisen, dass ihr eigener Code funktioniert.

Die Metapher: Es ist, als würde man einen Schüler nicht nur bitten, eine Brücke aus Eisstielen zu bauen, sondern ihm auch eine Checkliste vorzugeben, die beweist, dass die Brücke nicht einstürzt. Wenn der Schüler eine Brücke baut, die cool aussieht, aber zusammenbricht, sobald man ein Gewicht darauf legt, fällt er durch. Wenn er eine Brücke baut, die hält, aber keinen Test schreiben kann, um zu beweisen, dass sie hält, scheitert er ebenfalls.

4. Die Ergebnisse: Die KI ist schlau, aber noch nicht so weit

Die Autoren ließen die 10 besten KI-Modelle (einschließlich der neuesten von Google, OpenAI und Anthropic) diese Prüfung absolvieren. Hier ist, was sie herausfanden:

• Das Einfache: Die KIs sind gut in den Grundlagen. Sie können einfache, geradlinige Probleme (wie einen einzelnen Holzbalken) problemlos bewältigen. Es ist, als könnten sie perfekt einparken.
• Das Schwierige: Wenn die Probleme komplexer werden – etwa beim Umgang mit Verdrehungskräften, gekrümmten Formen oder der Vorhersage, wann eine Struktur einknickt – geraten die KIs ins Straucheln.
  • Die „Wissenslücke“: Manchmal kann die KI einfach die spezifische Formel für ein komplexes physikalisches Phänomen nicht kennen. Es war, als wäre sie eine Fahrerin, die zwar ein Auto fahren kann, aber die Regeln für einen Kreisverkehr nicht kennt.
  • Die „Montagelücke“: Manchmal kann die KI die Einzelteile kennen, aber sie nicht korrekt zusammenfügen. Es ist, als hätte man alle Lego-Anleitungen, setzt aber die falschen Steine zusammen.
  • Die „Testlücke“: Selbst wenn die KI eine perfekte Simulation schrieb, scheiterte sie oft daran, die Tests zu schreiben, die ihre Korrektheit belegen. Das Schreiben der „Checkliste“ war schwieriger als der Bau der „Brücke“.

Die Punktzahl:

• Das beste Modell (Gemini 1.5 Pro) löste etwa 90 % der einfachen Aufgaben korrekt.
• Bei den schwierigsten Aufgaben (die komplexe Physik ohne Hilfe erforderten), konnte jedoch kein Modell diese konsistent lösen.
• Interessanterweise war die KI oft besser darin, den Code zu schreiben, als die Tests zu verfassen, die diesen Code verifizieren sollten.

5. Das „Spickzettel“-Experiment

Die Forscher versuchten herauszufinden, ob sie der KI helfen könnten, indem sie ihr einen „Spickzettel“ (einen System-Prompt mit zusätzlichen Anweisungen) gaben.

• Ergebnis: Als sie der KI die spezifischen, komplexen Formeln gaben, die ihr fehlten, wurde sie plötzlich viel besser darin, die schwierigen Probleme zu lösen.
• Die Lektion: Die KI ist nicht „dumm“; sie besitzt lediglich nicht das spezifische, tiefe Wissen über bestimmte physikalische Formeln. Sie kann die Mathematik einer einstürzenden Brücke nicht „on the fly“ erfinden, aber wenn man ihr die Formel reicht, kann sie diese perfekt anwenden.

Zusammenfassung

FEM-Bench ist ein Realitätscheck für KI in der Wissenschaft. Es zeigt, dass KI zwar sehr gut in allgemeiner Programmierung wird, aber immer noch Schwierigkeiten hat, eine zuverlässige, eigenständige Ingenieurin für komplexe physikalische Probleme zu sein. Sie kann Anweisungen befolgen und einfache Modelle bauen, aber sie kann noch nicht zuverlässig über die tiefen, komplexen und präzisen Gesetze der Physik urteilen, die zur Simulation der realen Welt erforderlich sind, ohne menschliche Hilfe zu erhalten.

Die Autoren kommen zu dem Schluss, dass wir Benchmarks wie diesen benötigen, um Fortschritte zu verfolgen. Wenn die KI intelligenter wird, muss auch der „Führerschein“ schwieriger werden, um echte Verbesserungen messen zu können.

Technische Zusammenfassung

Technisches Resümee: FEM-Bench: Ein strukturierter Benchmark für wissenschaftliches Schlussfolgern zur Evaluierung von Code-generierenden LLMs

Problemstellung

Während Large Language Models (LLMs) in ihrer Fähigkeit voranschreiten, über die physische Welt zu schlussfolgern, bleibt eine kritische Lücke in der rigorosen Evaluierung ihrer Kapazität zur Erzeugung wissenschaftlich valider physikalischer Modelle bestehen. Während bestehende Benchmarks allgemeine Programmierlogik, Software-Engineering-Fähigkeiten oder mathematisches Denken bewerten, bewertet keines spezifisch die Fähigkeit eines LLMs zur Durchführung der physikalischen Modellierung, der numerischen Diskretisierung und des strukturierten computationalen Denkens, die für fortgeschrittene wissenschaftliche Berechnungen erforderlich sind. In Feldern wie der computergestützten Mechanik ist ein Programm, das zwar läuft, aber nicht-konvergente, instabile oder physikalisch unmögliche Ergebnisse liefert, von keinem wissenschaftlichen Wert. Die Disziplin erfordert die strikte Einhaltung von Erhaltungsgleichungen, numerischer Konsistenz und geometrischen Transformationen, doch aktuelle Benchmarks versäumen es, diese domänenspezifischen Anforderungen zu erfassen. Es besteht ein Bedarf an einem Benchmark, der in der Lage ist, zwischen bloßer Codegenerierung und der Implementierung von physikbasierten, numerisch konsistenten Algorithmen zu unterscheiden.

Methodik

Die Autoren führen FEM-Bench ein, einen diagnostischen Benchmark, der darauf ausgelegt ist, LLMs bei der Generierung korrekter Finite-Elemente-Methode (FEM) und Matrix-Struktur-Analyse (MSA) Code zu evaluieren. Im Gegensatz zu groß angelegten Trainingsdatensätzen ist FEM-Bench eine kuratierte Suite aus 33 einführenden, aber nicht trivialen Aufgaben, die auf einen ersten Graduiertenkurs in computergestützter Mechanik abgestimmt sind.

Benchmark-Struktur

• Task-Design: Jede Aufgabe ist ein eigenständiges Python-Modul, das eine Referenzimplementierung, eine Reihe von pytest-ähnlichen Unit-Tests und bekannte fehlerhafte Implementierungen („erwartete Fehler“) enthält, die darauf ausgelegt sind, die diskriminative Leistungsfähigkeit zu testen.
• Domänen: Die Suite umfasst drei Domänen:
  • FEM 1D: Fundamentale Diskretisierung und lineare Elastizität.
  • FEM 2D: Höhere Interpolation, mehrdimensionale Quadratur und geometrische Abbildungen.
  • MSA 3D: Lokale Elementroutinen, Koordinatentransformationen, globale Assemblierung und Eigenwertprobleme (Knickanalyse).
• Gestufte Schwierigkeit: Die Aufgaben werden mit einem CC/H/T-Identifikator klassifiziert. CC steht für die konzeptionelle Herausforderung (lineare vs. geometrische Nichtlinearität), H für die Anzahl der Hilfsfunktionen in der Referenz, und T gibt die Stufe der bereitgestellten Hilfsfunktionen an (T0: keine bereitgestellt; T1: alle bereitgestellt; T2/T3: teilweise oder keine). Dieses Design isoliert Defizite im Domänenwissen (Unfähigkeit, fehlende Komponenten zu konstruieren) von Defiziten im kompositorischen Denken (Unfähigkeit, bereitgestellte Komponenten zu verketten).
• Evaluierungs-Pipeline: Das Framework evaluiert zwei Fähigkeiten:
  1. Funktionskorrektheit: Der generierte Code wird gegen kuratierte Verifizierungseingaben ausgeführt und mit Referenzausgaben mittels rekursiven numerischen Abgleichs verglichen.
  2. Test-Suite-Evaluierung: Generierte Unit-Tests müssen auf der Referenzimplementierung bestehen und auf allen bereitgestellten „erwarteten fehlerhaften“ Implementierungen fehlschlagen. Die primäre Metrik ist die Durchschnittliche Joint Success Rate.

Experimenteller Aufbau

Die Autoren evaluierten zehn hochmoderne LLMs (darunter Gemini 3 Pro, GPT-5, Claude Opus 4.5 sowie Open-Weight-Modelle wie Qwen3 und Llama 4) über die 33 Aufgaben hinweg. Die Inferenz erfolgte mit niedriger Temperatur (0.1) und unter Nutzung hoher Reasoning-Einstellungen, sofern unterstützt. Die Autoren führten zudem eine vorläufige Studie unter Verwendung des GEPA-Prompt-Optimierungsalgorithmus durch, um zu bestimmen, ob Leistungslücken auf Prompt-Engineering oder inhärente Defizite im Domänenwissen zurückzuführen sind.

Kernergebnisse

• Leistungsdeckel (Performance Ceiling): Kein Modell konnte die gesamte FEM-Bench 2025 Suite erfolgreich abschließen. Das leistungsstärkste Modell für das Schreiben von Funktionen, Gemini 3 Pro, löste 30/33 Aufgaben mindestens einmal in fünf Versuchen und 26/33 Aufgaben konsistent (5/5). Das beste Modell für das Schreiben von Unit-Tests, GPT-5, erreichte eine Average Joint Success Rate von 73,8 %.
• Gradient der Aufgabenkomplexität: Modelle reproduzierten zuverlässig fundamentale Bausteine (z. B. 1D-lineare Elastizität, grundlegende Netzgenerierung), hatten jedoch erhebliche Schwierigkeiten, wenn Aufgaben geometrische Nichtlinearität einführten oder das Denken über die direkte Anwendung von Formeln hinaus erforderten.
  • Ungelöste Aufgaben: Drei Aufgaben wurden von keinem Modell auch nur einmal gelöst: MSA_3D_assemble_global_geometric_stiffness_T3, MSA_3D_elastic_critical_load_T3 und MSA_3D_local_geometric_stiffness_T0. Diese Aufgaben erfordern die Generierung komplexer geometrischer Steifigkeitsmatrizen ohne Hilfsfunktionen.
• Fehleranalyse: Ausfälle wurden in drei Defizite kategorisiert:
  1. Domänenwissens-Defizit: Unfähigkeit, spezifische mechanische Formeln abzurufen (z. B. Kopplungsterme der geometrischen Steifigkeit).
  2. Kompositorisches Denk-Defizit: Versagen bei der korrekten Verkettung bereitgestellter Hilfsfunktionen.
  3. Algorithmische Treue-Defizit (Algorithmic Fidelity Deficit): Indizierungsfehler, Vorzeichenkonventions-Abweichungen oder unvollständige Routinen.
• Prompt-Optimierung: Die GEPA-Optimierung zeigte, dass generische Anweisungen zum Schlussfolgern (z. B. „denke sorgfältig nach“) die Leistung nicht verbesserten. Signifikante Gewinne wurden nur erzielt, wenn die optimierten System-Prompts explizit spezifisches Domänenwissen injizierten (z. B. die exakte Formulierung der geometrischen Steifigkeitsmatrix), was bestätigte, dass der primäre Engpass ein Mangel an spezifischem Domänenwissen und nicht die allgemeine Denkfähigkeit ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass FEM-Bench eine strukturierte Grundlage für die Evaluierung KI-generierten wissenschaftlichen Codes schafft, indem es über die einfache Syntaxkorrektheit hinausgeht, um die physikalische Validität und numerische Konsistenz zu bewerten.

• Diagnostischer Nutzen: Der Benchmark identifiziert effektiv spezifische Fehlermodi in der wissenschaftlichen Berechnung und unterscheidet zwischen Modellen, die Anweisungen folgen können, und solchen, die über die notwendigen physikalischen Denkfähigkeiten verfügen.
• Aktuelle Limitationen: Die Ergebnisse deuten darauf hin, dass SOTA-LLMs zwar zunehmend in der Lage sind, zu strukturierten numerischen Aufgaben beizutragen, aber noch nicht bereit sind, fortgeschrittene wissenschaftliche Rechenworkflows mit geometrischer Nichtlinearität oder komplexen Eigenwertproblemen autonom zu implementieren oder zu verifizieren, ohne externes Scaffolding oder die explizite Injektion von Domänenwissen.
• Zukünftige Ausrichtung: Die Autoren gehen davon aus, dass zukünftige Iterationen von FEM-Bench zunehmend anspruchsvollere Aufgaben integrieren werden, um den Fortschritt zu verfolgen. Sie schlagen vor, dass die Überbrückung der aktuellen Lücke eine Integration von LLMs mit externen Werkzeugen für symbolisches Denken, automatisierte Code-Ausführung und autoritative Informationsbeschaffung (Retrieval) erfordern könnte, anstatt sich allein auf vortrainiertes Wissen zu verlassen.

Die Arbeit dient als Baseline für die Community und hebt hervor, dass die „letzte Meile“ der wissenschaftlichen Codegenerierung ein Maß an Präzision und domänenspezifischem Denken erfordert, mit dem aktuelle Modelle in einem Single-Pass, Zero-Shot-Setting Schwierigkeiten haben.