Résumé Technique : VEHBench

Énoncé du Problème

La conception de récupérateurs d'énergie vibratoire (VEH - Vibration Energy Harvesters) pour les dispositifs de l'Internet des Objets (IoT) sans batterie implique des interactions mécano-électriques étroitement couplées et des contraintes physiques strictes (spectres de vibration, objectifs de puissance, limites de taille, propriétés des matériaux et marges de sécurité). Bien que les modèles de langage de grande taille (LLM) soient de plus en plus utilisés comme interfaces pour les flux de travail d'ingénierie — traduisant les exigences, examinant les retours et proposant des modifications de conception — les benchmarks d'ingénierie existants évaluent principalement la validité de l'artefact final. Ces évaluations de point de terminaison ne parviennent pas à révéler comment les LLM se comportent à travers les différentes étapes d'un flux de conception physique couplé. Plus précisément, les benchmarks actuels ne diagnostiquent pas si un modèle trie correctement les briefs incomplets, effectue des éditions bornées après un retour physique, récupère d'une trajectoire de conception corrompue ou adhère à des politiques de sélection explicites. Ce manque de diagnostic local aux étapes rend difficile l'identification des échecs spécifiques au flux de travail (ex: erreurs de contrôle d'entrée vs échecs de recherche) et entrave la sélection ou le routage des modèles pour des rôles d'ingénierie spécifiques.

Méthodologie

Les auteurs introduisent VEHBench, un benchmark de diagnostic natif de l'ingénierie conçu pour évaluer la co-conception assistée par LLM de VEH via des tâches locales aux étapes, fondées sur des vérificateurs.

Construction du Benchmark

• Domaine : Le benchmark se concentre sur la co-conception précoce de VEH piézoélectriques en porte-à-faux, un domaine compact mais couplé impliquant la dynamique structurelle, les matériaux intelligents et la conception de circuits.
• Source de Données : Les tâches sont dérivées d'un audit de la littérature portant sur 209 articles, aboutissant à 52 « ancres de conception » nettoyées (états physiques normalisés avec variables, bornes et contraintes).
• Vérification : Un oracle physique analytique (basé sur la théorie de la poutre d'Euler-Bernoulli en forme fermée et les équations de couplage électromécanique) calcule la faisabilité et la qualité de l'objectif. Aucun label humain ou « LLM-as-a-judge » n'est utilisé pour le scoring.
• Décomposition des Tâches : Le flux de travail est décomposé en quatre rôles de conception distincts (sondes), chacun ayant des états de confiance spécifiques, des actions admissibles et des conséquences d'échec :
  1. P1 (Triage de Spécification) : Le modèle reçoit un brief de conception (complet, incomplet ou infaisable) et doit décider de proposer, de s'abstenir ou de demander des informations manquantes.
  2. P2 (Recherche Guidée par Vérificateur) : Étant donné un design de départ et un retour de l'oracle, le modèle effectue des éditions bornées pour améliorer le candidat.
  3. P3 (Récupération d'État Corrompu) : Le modèle est exposé à une trajectoire de conception corrompue ou trompeuse et doit se réinitialiser, se ré-ancrer ou se stabiliser pour échapper au piège.
  4. P4 (Sélection Conditionnée par une Politique) : Étant donné un ensemble de candidats réalisables, le modèle classe ou sélectionne en fonction d'une politique d'ingénierie explicite (ex: prioriser la puissance vs la fiabilité).

Cadre d'Évaluation

• Modèles : 12 exécutions de modèles complets (incluant Qwen, Gemini, DeepSeek, GPT, Hunyuan, etc.) ont été évaluées à travers les 763 tâches.
• Métriques :
  • Métriques Principales : P1-Composite (score de certification pondéré), P2 Ratio de Puissance Réalisable Finale, P3-Succès (faisabilité finale après récupération), et P4 Kendall $\tau_b$ (cohérence du classement).
  • Profils Diagnostiques : Des profils de réponse-contrôle (Discipline d'Action, Style d'Édition, Conditionnement de Feedback, Effort de Réinitialisation d'État, Exécution de Politique) ont été extraits des journaux pour cartographier les échecs en signaux comportementaux.
  • Familles d'Erreurs : Des taux d'erreurs non exclusifs (ex: sur-action, clôture infaisable, échec post-échappement, mésappariement de politique) ont été calculés pour identifier les modes de défaillance spécifiques.

Contributions Clés

1. Cadre de Benchmark (VEHBench) : Le premier benchmark diagnostique pour la conception de VEH assistée par LLM qui va au-delà de la simple validité de l'artefact final pour évaluer le comportement de conception local aux étapes. Il combine la construction de tâches fondées sur la littérature, la vérification analytique externe et l'évaluation spécifique aux étapes.
2. Résultats Empiriques et Interprétation : Les auteurs ont systématiquement évalué les LLM actuels et ont constaté que la capacité est fortement dépendante de l'étape. Aucun modèle ne domine l'ensemble du flux de travail. Ils ont introduit un cadre reliant les résultats empiriques à des caractéristiques comportementales interprétables (ex: discipline d'action, édition bornée, récupération d'état).
3. Guidage Sensible aux Étapes : L'article démontre comment les résultats locaux aux étapes peuvent informer les applications pratiques de l'ingénierie, incluant la sélection, le routage et l'adaptation des modèles. Il identifie des lacunes de capacité spécifiques (ex: triage de spécification, récupération d'état corrompu) pour les futurs agents d'ingénierie.

Résultats Expérimentaux

• Classements Dépendants de l'Étape : Aucun modèle ne mène l'intégralité du flux de travail.
  • P1 (Triage) : qwen3-max a le mieux performé en équilibrant la discipline d'action (suppression des entrées non sécurisées et des ratés d'informations manquantes).
  • P2 (Recherche) : gemini-3.1-pro-preview a mené grâce à une haute clôture réalisable et des ratios de puissance utiles.
  • P3 (Récupération) : hunyuan-hy3-preview a excellé dans la stabilisation après l'échappement des états corrompus.
  • P4 (Sélection) : gpt-5.4 a obtenu la plus haute exécution de politique et cohérence de classement.
• Modes de Défaillance :
  • P1 : Les erreurs dominantes étaient la « sur-action » (proposer quand les briefs sont infaisables) et les « ratés d'infos manquantes », plutôt que le sur-refus.
  • P2 : La plupart des modèles pouvaient suivre les protocoles de sortie mais échouaient à fermer la boucle de recherche physique (clôture infaisable) ou souffraient de perte d'utilité.
  • P3 : Le principal goulot d'étranglement n'était pas l'échappement du piège mais la stabilisation de l'état après coup (échec post-échappement).
  • P4 : Les échecs étaient principalement des « mésappariements de politique » (échec de l'exécution des priorités d'ingénierie énoncées) plutôt que des erreurs de parsing ou de sélection de candidats infaisables.
• Intervention et Routage :
  • Interface d'État : Remplacer l'historique brut corrompu par un résumé d'état rédigé par un vérificateur a amélioré les taux de récupération P3 (de 50,0 % à 63,2 % en moyenne) et réduit les échecs en cascade.
  • Routage : Un routeur sensible aux étapes (sélectionnant différents modèles pour différentes étapes) a amélioré le score normalisé moyen hors échantillon de 0,892 (meilleur modèle unique de repli) à 0,945, principalement en changeant le spécialiste P3.

Signification et Revendications

L'article affirme que la capacité des LLM dans la conception d'ingénierie est dépendante du rôle, et que les classements agrégés sont moins informatifs que la compatibilité par étape. VEHBench fournit une base pour évaluer, sélectionner, router et améliorer les LLM d'ingénierie fondés sur des vérificateurs en exposant les points où le comportement du flux de travail échoue.

Les auteurs soulignent que VEHBench n'est pas un remplacement pour les simulations par éléments finis (FEM), les revues de fabrication ou la certification matérielle. Au lieu de cela, il sert de couche diagnostique pour déterminer si un LLM utilise de manière appropriée les signaux de validité physique à chaque étape de la conception. Le benchmark est limité à la co-conception analytiquement vérifiable de VEH en porte-à-faux, les auteurs notant que le même échafaudage peut être instancié pour des simulateurs plus riches et d'autres domaines couplés. Le travail soutient que pour les applications d'ingénierie, l'accent doit passer de la « conception matérielle autonome » à « l'assistance locale aux étapes » où les modèles sont sélectionnés et routés en fonction de leurs profils comportementaux spécifiques au sein du flux de conception.