FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs

Cet article présente FEM-Bench, un banc d'essai structuré basé sur des tâches de mécanique numérique conçu pour évaluer rigoureusement la capacité des grands modèles de langage à générer du code de la méthode des éléments finis scientifiquement valide, révélant que même les modèles de pointe peinent à résoudre systématiquement ces problèmes non triviaux.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot brillant et érudit comment devenir ingénieur en structure. Vous ne voulez pas seulement qu'il écrive du code qui semble fonctionner ; vous voulez qu'il comprenne réellement les lois de la physique, comme la gravité, la tension ou la manière dont les matériaux se courbent.

Ce document présente FEM-Bench, un « examen final » conçu spécifiquement pour tester si les modèles de langage étendus (LLM) — les cerveaux d'IA derrière des outils comme ChatGPT — peuvent réaliser ce type d'ingénierie scientifique sérieuse.

Voici une décomposition du document utilisant des analogies simples :

1. Le problème : Le « Calculateur » vs l'« Ingénieur »

Considérez les modèles d'IA actuels comme des calculatrices incroyablement rapides. Si vous leur demandez d'écrire un programme simple pour additionner des nombres ou trier une liste, ils sont excellents. Mais si vous leur demandez de simuler l'effondrement d'un pont sous le passage d'un camion lourd, ils échouent souvent.

Pourquoi ? Parce que construire une simulation physique n'est pas seulement une question d'écriture de code ; il s'agit de :

• Comprendre les règles : Savoir exactement comment les forces se déplacent à travers une poutre.
• Relier les points : Prendre de minuscules morceaux d'un puzzle (les petites parties d'une structure) et les assembler parfaitement pour former une image complète.
• Vérifier le travail : Écrire un test pour prouver que la simulation ne ment pas.

Les auteurs ont réalisé qu'il n'existait aucun « examen du permis de conduire » standard pour l'IA dans ce domaine spécifique. Les tests existants vérifient si l'IA peut créer un site web ou résoudre une énigme mathématique, mais pas si elle peut construire un modèle scientifiquement valide du monde physique.

2. La solution : FEM-Bench (L'« Examen du permis de conduire »)

Les auteurs ont créé FEM-Bench, une collection de 33 défis spécifiques basés sur un cours de première année de master en mécanique numérique.

• L'analogie : Imaginez un examen du permis de conduire. Vous ne demandez pas seulement au conducteur de « conduire ». Vous lui demandez de faire un créneau, de s'insérer sur une autoroute et de naviguer dans un rond-point.
• Les tâches : Dans FEM-Bench, la « conduite » implique des choses comme :
  • Calculer comment une poutre 3D se courbe lorsqu'on la pousse.
  • Transformer une forme lisse et continue (comme un pont courbe) en une grille numérique de petits triangles (appelée « maillage »).
  • Résoudre des équations complexes pour voir si une structure va flamber (s'effondrer) sous la pression.

3. Le rebondissement : Deux parties à l'examen

Le benchmark ne demande pas seulement à l'IA d'écrire le code. Il lui demande deux choses :

1. Le Code : Le programme de simulation proprement dit.
2. Le Test : Un ensemble de règles de « contrôle » (tests unitaires) que l'IA doit écrire pour prouver que son propre code fonctionne.

La métaphore : C'est comme demander à un étudiant non seulement de construire un pont avec des bâtonnets de glace, mais aussi d'écrire une liste de contrôle prouvant que le pont ne tombera pas. Si l'étudiant construit un pont qui a l'air cool mais qui s'effondre quand on pose un poids dessus, il échoue. S'il construit un pont qui tient, mais qu'il est incapable d'écrire un test pour le prouver, il échoue également.

4. Les résultats : L'IA est intelligente, mais pas encore tout à fait là

Les auteurs ont soumis les 10 meilleurs modèles d'IA (y compris les plus récents de Google, OpenAI et Anthropic) à cet examen. Voici ce qu'ils ont trouvé :

• Les choses faciles : Les IA sont excellentes pour les bases. Elles peuvent facilement gérer des problèmes simples et rectilignes (comme une simple poutre en bois). C'est comme si elles pouvaient faire un créneau parfaitement.
• Les choses difficiles : Lorsque les problèmes deviennent complexes — comme traiter des forces de torsion, des formes courbes ou prédire quand une structure va flamber — les IA commencent à trébucher.
  • Le « fossé des connaissances » : Parfois, l'IA ne connaissait simplement pas la formule spécifique pour un phénomène physique complexe. C'était comme un conducteur qui sait conduire une voiture mais qui ne connaît pas les règles d'un rond-point.
  • Le « fossé d'assemblage » : Parfois, l'IA connaissait les pièces, mais ne pouvait pas les assembler correctement. C'était comme avoir toutes les instructions de LEGO mais emboîter les mauvaises briques.
  • Le « fossé de test » : Même lorsque l'IA écrivait une simulation parfaite, elle échouait souvent à écrire les tests pour prouver qu'elle était correcte. Écrire la « liste de contrôle » était plus difficile que de construire le « pont ».

Le score :

• Le meilleur modèle (Gemini 3 Pro) a réussi environ 90 % des tâches simples.
• Cependant, sur les tâches les plus difficiles (celles nécessitant une physique complexe sans aide), aucun modèle n'a pu les résoudre de manière cohérente.
• Curieusement, l'IA était souvent meilleure pour écrire le code que pour écrire les tests visant à vérifier ce code.

5. L'expérience de la « feuille de triche »

Les chercheurs ont essayé de voir s'ils pouvaient aider l'IA en lui donnant une « feuille de triche » (un prompt système avec des instructions supplémentaires).

• Résultat : Lorsqu'ils ont donné à l'IA les formules spécifiques et complexes qui lui manquaient, elle est soudainement devenue bien meilleure pour résoudre les problèmes difficiles.
• La leçon : L'IA n'est pas « stupide » ; elle manque simplement de connaissances spécifiques et profondes sur certaines formules physiques. Elle ne peut pas « inventer » la mathématique d'un pont qui s'effondre à la volée, mais si vous lui donnez la formule, elle peut l'utiliser parfaitement.

Résumé

FEM-Bench est un rappel à la réalité pour l'IA dans le domaine scientifique. Il montre que si l'IA devient très douée pour le codage général, elle a encore du mal à être un ingénieur fiable et indépendant pour des problèmes physiques complexes. Elle peut suivre des instructions et construire des modèles simples, mais elle ne peut pas encore raisonner de manière fiable à travers les lois profondes, désordonnées et précises de la physique requises pour simuler le monde réel sans l'aide de l'humain.

Le document conclut que nous avons besoin de benchmarks comme celui-ci pour suivre les progrès. À mesure que l'IA devient plus intelligente, l'« examen du permis de conduire » devra devenir plus difficile pour continuer à mesurer l'amélioration réelle.

Résumé technique

Résumé Technique : FEM-Bench : Un benchmark de raisonnement scientifique structuré pour l'évaluation des LLM générateurs de code

Énoncé du problème

Alors que les grands modèles de langage (LLM) progressent dans leur capacité à raisonner sur le monde physique, une lacune critique subsiste dans l'évaluation rigoureuse de leur aptitude à générer des modèles physiques scientifiquement valides. Bien que les benchmarks existants évaluent la logique de programmation générale, les compétences en génie logiciel ou le raisonnement mathématique, aucun n'évalue spécifiquement la capacité d'un LLM à effectuer la modélisation physique, la discrétisation numérique et le raisonnement computationnel structuré requis pour le calcul scientifique avancé. Dans des domaines comme la mécanique computationnelle, un programme qui s'exécute mais produit des résultats non convergents, instables ou physiquement impossibles n'a aucune valeur scientifique. La discipline exige une adhésion stricte aux équations directrices, à la cohérence numérique et aux transformations géométriques, pourtant les benchmarks actuels ne parviennent pas à capturer ces contraintes spécifiques au domaine. Il est nécessaire d'avoir un benchmark capable de distinguer la simple génération de code de l'implémentation d'algorithmes fondés sur la physique et numériquement cohérents.

Méthodologie

Les auteurs introduisent FEM-Bench, un benchmark diagnostique conçu pour évaluer les LLM sur leur capacité à générer du code correct de la Méthode des Éléments Finis (FEM) et de l'Analyse Structurelle Matricielle (MSA). Contrairement aux jeux de données d'entraînement à grande échelle, FEM-Bench est une suite organisée de 33 tâches introductives mais non triviales, alignées sur un premier cours de master en mécanique computationnelle.

Structure du Benchmark

• Conception des tâches : Chaque tâche est un module Python autonome comprenant une implémentation de référence, un ensemble de tests unitaires de type pytest et des implémentations incorrectes connues (« échecs attendus ») conçues pour tester le pouvoir discriminatoire.
• Domaines : La suite couvre trois domaines :
  • FEM 1D : Discrétisation fondamentale et élasticité linéaire.
  • FEM 2D : Interpolation d'ordre supérieur, quadrature multidimensionnelle et mappages géométriques.
  • MSA 3D : Routines d'éléments locaux, transformations de coordonnées, assemblage global et problèmes de valeurs propres (analyse de flambement).
• Difficulté échelonnée : Les tâches sont classées à l'aide d'un identifiant CC/H/T. CC désigne le défi conceptuel (non-linéarité linéaire vs géométrique), H est le nombre de fonctions auxiliaires dans la référence, et T indique le niveau (tier) des fonctions auxiliaires fournies au modèle (T0 : aucune fournie ; T1 : toutes fournies ; T2/T3 : partielles ou aucune). Cette conception isole les déficits de connaissances du domaine (incapacité à construire des composants manquants) des déficits de raisonnement compositionnel (incapacité à enchaîner les composants fournis).
• Pipeline d'évaluation : Le cadre évalue deux capacités :
  1. Exactitude de la fonction : Le code généré est exécuté contre des entrées de vérification curatées et comparé aux sorties de référence via un appariement numérique récursif.
  2. Évaluation de la suite de tests : Les tests unitaires générés doivent réussir sur l'implémentation de référence et échouer sur toutes les implémentations d'« échecs attendus » fournies. La métrique principale est le Taux de Succès Conjoint Moyen.

Configuration Expérimentale

Les auteurs ont évalué dix LLM de pointe (incluant Gemini 3 Pro, GPT-5, Claude Opus 4.5, ainsi que des modèles à poids ouverts comme Qwen3 et Llama 4) à travers les 33 tâches. L'inférence a été réalisée avec une température basse (0.1) et des réglages de raisonnement élevé lorsque cela était supporté. Les auteurs ont également mené une étude préliminaire utilisant l'algorithme d'optimisation de prompt GEPA pour déterminer si les écarts de performance étaient dus à l'ingénierie de prompt ou à des déficits intrinsèques de connaissances du domaine.

Résultats Clés

• Plafond de Performance : Aucun modèle n'a complété avec succès l'intégralité de la suite FEM-Bench 2025. Le meilleur modèle pour l'écriture de fonctions, Gemini 3 Pro, a résolu 30/33 tâches au moins une fois en cinq tentatives et 26/33 tâches de manière constante (5/5). Le meilleur modèle pour l'écriture de tests unitaires, GPT-5, a atteint un Taux de Succès Conjoint Moyen de 73,8 %.
• Gradient de Difficulté des Tâches : Les modèles ont reproduit de manière fiable les blocs de construction fondamentaux (ex: élasticité linéaire 1D, génération de maillage de base) mais ont éprouvé des difficultés significatives lorsque les tâches introduisaient une non-linéarité géométrique ou nécessitaient un raisonnement dépassant l'application directe de formules.
  • Tâches non résolues : Trois tâches n'ont été résolues ne serait-ce qu'une fois par aucun modèle : MSA_3D_assemble_global_geometric_stiffness_T3, MSA_3D_elastic_critical_load_T3, et MSA_3D_local_geometric_stiffness_T0. Ces tâches nécessitent la génération de matrices de rigidité géométrique complexes sans fonctions auxiliaires.
• Analyse d'Erreur : Les échecs ont été classés en trois déficits :
  1. Déficit de Connaissance du Domaine : Incapacité à se rappeler des formules de mécanique spécifiques (ex: termes de couplage de la rigidité géométrique).
  2. Déficit de Raisonnement Compositionnel : Échec de l'enchaînement correct des fonctions auxiliaires fournies.
  3. Déficit de Fidélité Algorithmique : Erreurs d'indexation, décalages de convention de signe ou routines incomplètes.
• Optimisation de Prompt : L'optimisation GEPA a révélé que les instructions de raisonnement génériques (ex: « réfléchissez attentivement ») n'amélioraient pas la performance. Des gains significatifs n'ont été observés que lorsque les prompts système optimisés injectaient explicitement des connaissances spécifiques du domaine (ex: la formulation exacte de la matrice de rigidité géométrique), confirmant que le goulot d'étranglement principal est un manque de connaissances spécifiques du domaine plutôt qu'une capacité de raisonnement général.

Signification et Revendications

L'article affirme que FEM-Bench établit une fondation structurée pour l'évaluation du code scientifique généré par IA, allant au-delà de la simple correction syntaxique pour évaluer la validité physique et la cohérence numérique.

• Utilité Diagnostique : Le benchmark identifie efficacement les modes de défaillance spécifiques dans le calcul scientifique, distinguant les modèles capables de suivre des instructions de ceux qui possèdent les capacités de raisonnement physique nécessaires.
• Limitations Actuelles : Les résultats indiquent que, bien que les LLM de pointe soient de plus en plus capables de contribuer à des tâches numériques structurées, ils ne sont pas encore prêts à implémenter ou vérifier de manière autonome des flux de travail de calcul scientifique avancés impliquant une non-linéarité géométrique ou des problèmes de valeurs propres complexes sans échafaudage externe ou injection explicite de connaissances du domaine.
• Direction Future : Les auteurs postulent que les futures itérations de FEM-Bench intégreront des tâches de plus en plus sophistiquées pour suivre les progrès. Ils suggèrent que combler l'écart actuel pourrait nécessiter l'intégration des LLM avec des outils externes pour le raisonnement symbolique, l'exécution de code automatisée et la récupération d'informations faisant autorité, plutôt que de compter uniquement sur les connaissances pré-entraînées.

Ce travail sert de base de référence pour la communauté, soulignant que le « dernier kilomètre » de la génération de code scientifique exige un niveau de précision et de raisonnement spécifique au domaine que les modèles actuels peinent à atteindre dans un cadre de passage unique et sans préparation (zero-shot).