💻 computer science

Synthesis-in-the-Loop Evaluation of LLMs for RTL Generation: Quality, Reliability, and Failure Modes

Cet article présente un cadre d'évaluation par synthèse en boucle utilisant l'Indice de Qualité Matérielle (HQI) pour évaluer 32 modèles de langage sur la génération RTL, révélant des niveaux de performance distincts et des modes de défaillance systématiques qui mettent en évidence le fossé entre la correction fonctionnelle et la qualité de l'implémentation matérielle.

Auteurs originaux : Weimin Fu, Zeng Wang, Minghao Shao, Ramesh Karri, Muhammad Shafique, Johann Knechtel, Ozgur Sinanoglu, Xiaolong Guo

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weimin Fu, Zeng Wang, Minghao Shao, Ramesh Karri, Muhammad Shafique, Johann Knechtel, Ozgur Sinanoglu, Xiaolong Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez une équipe d'architectes pour concevoir une maison. Autrefois, vous pourriez simplement leur demander de dessiner un plan de la maison et vérifier si le dessin était joli. Si le dessin comportait un toit et des portes, vous disiez : « Excellent travail ! »

Mais dans le monde réel de la fabrication de puces (les cerveaux des ordinateurs), un joli dessin ne suffit pas. La conception doit être constructible, efficace et sûre. Si l'architecte dessine un mur en verre qui ne peut pas être réellement construit, ou un escalier qui occupe trop d'espace, tout le projet échoue.

Ce papier est comparable à un rapport d'inspection rigoureux pour 32 « Architectes IA » différents (Grands Modèles de Langage) qui tentent de rédiger les plans de puces informatiques. Au lieu de simplement vérifier si le dessin de l'IA semble correct, les chercheurs ont construit une machine de test spéciale qui tente de construire réellement la conception pour voir si elle fonctionne.

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. Le test « Construis-le » (Synthèse en boucle)

La plupart des tests précédents pour le codage par IA ressemblaient à un concours d'orthographe : ils vérifiaient si l'IA écrivait les mots correctement (syntaxe) et si l'histoire avait du sens (simulation).

Ce papier a ajouté une « phase de construction ». Ils ont pris le code de l'IA et l'ont fait passer par un processus d'usine (appelé synthèse) qui transforme le code en un plan physique de puce.

Le résultat : De nombreuses IA ont réussi le « concours d'orthographe » mais ont échoué à la « construction ». Elles ont écrit un code qui semblait correct mais qui s'effondrerait si vous essayiez de le construire.
La nouvelle note : Ils ont créé un « Indice de Qualité Matérielle » (HQI). Pensez-y comme une note sur 100 qui mesure non seulement si la conception fonctionne, mais aussi à quel point elle utilise efficacement l'espace et le temps, et combien d'avertissements l'usine leur a donnés.

2. Les trois niveaux d'architectes

Lorsqu'ils ont classé les 32 modèles d'IA, ils n'ont pas trouvé une ligne lisse allant du « mauvais » au « bon ». Au contraire, les modèles se sont répartis en trois groupes distincts, comme trois ligues différentes d'équipes sportives :

La Ligue Élite (Niveau 1) : Ces 14 modèles sont les « Maîtres Architectes ». Ils produisent systématiquement des conceptions non seulement constructibles, mais hautement efficaces. Le meilleur performant, Gemini-3-Pro, a obtenu une impressionnante note de 85 sur 100.
La Ligue Amateur (Niveau 2) : Ces 15 modèles sont des « Juniors ». Ils peuvent construire des maisons simples, mais lorsque la conception devient complexe, ils commencent à faire des erreurs. Ils accusent environ 10 points de retard par rapport à la Ligue Élite.
La Ligue Débutante (Niveau 3) : Ces 3 modèles sont des « Stagiaires ». Ils peinent même à achever la structure de base. Leurs conceptions échouent souvent totalement au test de construction.

3. Le problème du « Meilleur des cinq » vs « Premier essai »

Imaginez que vous demandiez à un architecte de concevoir une maison.

La note « Meilleur des 5 » : Si vous demandez à l'architecte de dessiner 5 versions différentes et de choisir la meilleure, il pourrait faire un excellent travail.
La note « Premier essai » : Si vous ne lui laissez dessiner qu'une seule version et que vous devez l'utiliser immédiatement, la qualité chute souvent considérablement.

Le papier a révélé un énorme écart ici. Certains modèles pouvaient produire un chef-d'œuvre si on leur donnait cinq essais, mais leur premier essai était souvent médiocre.

Pourquoi cela compte : À l'avenir, nous voulons des agents IA qui fonctionnent automatiquement (comme un robot qui conçoit une puce et passe à l'étape suivante sans qu'un humain ne vérifie). Si le robot doit attendre cinq essais pour obtenir un bon résultat, cela ralentit tout. Le papier indique que ces IA ne sont pas encore tout à fait prêtes pour ce travail de « robot » car leur premier essai n'est pas assez fiable.

4. Comment ils échouent : le crash « tardif » vs « précoce »

Les chercheurs ont examiné pourquoi les conceptions échouaient et ont découvert un motif amusant basé sur l'origine de l'IA :

Modèles Propriétaires (Les grandes entreprises technologiques) : Ces IA sont comme des étudiants qui ont beaucoup travaillé mais qui se sont perdus lors de l'examen final. Ils écrivent généralement un code qui semble parfait au début, mais lorsque l'usine tente de le construire, ils butent sur un mur tard dans le processus (comme réaliser qu'une porte est mal placée une fois les murs érigés).
Modèles à Poids Ouverts (Les projets communautaires) : Ces IA sont comme des étudiants qui ont sauté les bases. Ils échouent très tôt. Ils oublient souvent d'ajouter le « wrapper » autour de la conception ou tentent d'utiliser des matériaux qui n'existent pas dans le monde réel (comme essayer de construire un pont en eau).

Le papier suggère que cela se produit parce que les IA « Ouvertes » ont été entraînées principalement sur du code destiné à la test (simulations), tandis que les IA « Propriétaires » semblent avoir vu plus de code destiné à la construction (synthèse).

5. Coût vs Qualité

Enfin, ils ont vérifié le prix.

Le piège du cher : Certains des modèles d'IA les plus chers (comme ceux qui passent beaucoup de temps à « réfléchir » avant de répondre) n'étaient pas les meilleurs pour construire des puces. Ils étaient lents et coûteux, mais ne produisaient pas de meilleurs plans.
Le choix valeur : Certains modèles moins chers et plus rapides (comme Gemini-3-Flash) ont produit des conceptions de premier ordre pour une infime fraction du coût. Il s'avère que, pour ce travail spécifique, « réfléchir plus dur » ne signifiait pas « construire mieux ».

La conclusion

Ce papier nous dit que si l'IA devient très bonne pour écrire du code qui semble correct, elle peine encore à écrire du code qui est prêt à être construit. Pour utiliser l'IA dans la conception de vraies puces informatiques, nous devons arrêter de simplement vérifier si le code passe un test, et commencer à vérifier s'il peut réellement être fabriqué efficacement. Tant que la fiabilité du « Premier essai » ne s'améliorera pas, nous ne pourrons pas faire entièrement confiance à ces architectes IA pour travailler seuls.

Résumé Technique : Évaluation en Boucle de Synthèse des LLM pour la Génération RTL

Énoncé du Problème

La génération de code au niveau Register-Transfer (RTL) à l'aide de modèles de langage à grande échelle (LLM) présente un défi unique, distinct de la synthèse logicielle. Si la génération logicielle exige une validité syntaxique et une correction fonctionnelle, la génération RTL impose que les conceptions soient syntaxiquement valides, synthétisables en listes de portes au niveau logique, fonctionnellement correctes sous simulation, et efficaces en termes de surface et de timing matériel. Les benchmarks existants (par exemple, VerilogEval, RTLLM) évaluent principalement les modèles sur la base de taux de réussite en simulation ($pass@k$), ce qui ne permet pas de distinguer les conceptions qui passent simplement un banc de test de celles qui se compilent en matériel efficace et synthétisable. De plus, l'émergence de l'IA agentique, qui orchestre des flux de travail complets d'automatisation de la conception électronique (EDA), nécessite un passage de l'évaluation de la capacité « meilleur des $k$ » à l'évaluation de la qualité d'une tentative unique ($pass@1$), car les agents autonomes ne peuvent se permettre l'explosion combinatoire des stratégies multi-échantillons. Les méthodes d'évaluation actuelles ne capturent pas les métriques de « qualité des résultats » (QoR) (surface, délai, avertissements) requises pour la fiabilité du déploiement.

Méthodologie

Les auteurs proposent un cadre d'évaluation en Boucle de Synthèse pour combler ces lacunes.

Benchmark et Modèles : L'étude évalue 32 modèles de langage (incluant des variantes propriétaires et à poids ouverts de OpenAI, Google, Anthropic, Meta, DeepSeek, etc.) sur 202 tâches Verilog tirées de VerilogEval (155 tâches à module unique) et RTLLM (47 tâches multi-modules réelles). Chaque modèle est sollicité avec cinq tentatives indépendantes par tâche.
Pipeline d'Évaluation : Une conception générée doit franchir trois portes séquentielles pour être évaluée en termes de qualité :
1. Validité Syntaxique : Vérifiée via Icarus Verilog.
2. Synthétisabilité : Vérifiée via l'élaboration et le mappage Yosys sous la bibliothèque de cellules standards Nangate45 45nm.
3. Correction Fonctionnelle : Vérifiée via la simulation de banc de test avec correspondance à la première défaillance.
Indice de Qualité Matérielle (HQI) : Pour les conceptions franchissant toutes les portes, un score de 0 à 100 est calculé sur la base des métriques post-synthèse par rapport à une référence « or » experte. Le score est dérivé de la surface normalisée ( $\hat{a}$ ), du délai ( $\hat{d}$ ) et du nombre excédentaire d'avertissements ( $\hat{w}$ ) :
$\text{coût} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$
$\text{HQI} = \min\left(\frac{100}{\text{coût}}, 100\right)$
Les conceptions échouant à l'une des portes reçoivent un HQI de 0.
Métriques Agrégées : L'étude définit la Couverture pondérée par la Complexité (taux de résolution des tâches), le HQI Global (plafond de la capacité meilleur des 5), et le HQI Attendu (qualité d'une tentative unique). L'écart entre le HQI Global et le HQI Attendu quantifie l'écart de « prêt au déploiement ».
Taxonomie des Échecs : Les échecs de synthèse (passant Icarus mais échouant Yosys) sont classés dans une taxonomie à neuf classes basée sur la sortie de diagnostic de Yosys.

Résultats Clés

1. Paysage des Capacités à Trois Niveaux

Le clustering K-means des 32 modèles révèle trois niveaux de capacité distincts :

Niveau 1 (Frontière) : 14 modèles avec un HQI Global $\ge$ 66. Mené par Gemini-3-Pro (87,5 % de couverture, 85,1 HQI), suivi de GPT-5.4-Pro et Gemini-3-Flash. Ce niveau inclut les meilleures variantes de OpenAI, Google et Anthropic.
Niveau 2 (Cluster Dense) : 15 modèles avec un HQI Global compris entre 43 et 66. Inclut de puissants modèles à poids ouverts comme DeepSeek-V3.2 et Qwen3.5-397B-OSS, ainsi que des modèles propriétaires de milieu de gamme.
Niveau 3 (Faible Performance) : 3 modèles avec un HQI Global < 43, incluant Mistral-Nemo et GPT-5-Nano.

2. Discrepancy entre Simulation et Synthèse

Les taux de réussite basés sur la simulation surestiment systématiquement la préparation matérielle. En moyenne, le taux de réussite meilleur des 5 dépasse le HQI Global de 7,5 points, avec des écarts atteignant jusqu'à 14,9 points pour certains modèles. S'en remettre uniquement aux taux de réussite en simulation conduit à des inversions de classement ; par exemple, GPT-4.1 se classe 14e par taux de réussite mais 17e par HQI, tandis que GPT-5.4-Pro passe de la 9e à la 2e place lorsque la qualité est prise en compte.

3. L'Écart de Prêt au Déploiement

Une découverte critique est l'écart significatif entre le HQI Global (meilleur des 5) et le HQI Attendu (tentative unique).

Dans le Niveau 1, l'écart varie de 3,7 à 17,8 points (médiane 8,7).
Dans les niveaux inférieurs, les écarts dépassent 15 points, atteignant un maximum de 22,1 points.
Cela indique qu'un appel unique au modèle peut ne conserver que la moitié de la qualité d'une stratégie multi-tentatives, constituant un obstacle à l'intégration dans des pipelines agentiques autonomes.

4. Taxonomie des Modes de Défaillance

L'analyse de 195 échecs de synthèse révèle des différences systématiques entre les types de modèles :

Modèles Propriétaires : Échouent tard dans le pipeline. Les modes de défaillance dominants sont les « erreurs syntaxiques tardives » (le code passe le parser mais échoue à l'élaboration en raison de problèmes structurels) et les « dépassements de temps de synthèse » (listes de portes complexes). Cela suggère une exposition à du RTL de niveau synthèse dans les données d'entraînement.
Modèles à Poids Ouverts : Échouent tôt. Les modes dominants sont les « références de module non définies » (manque de wrappers) et les « constructions non synthétisables » (par exemple, boucles while, blocs initial). Ce schéma correspond à des corpus d'entraînement biaisés vers du code orienté simulation plutôt que vers du RTL de niveau synthèse.

5. Caractéristiques d'Inférence

Le coût et la qualité montrent une faible corrélation. Les modèles à coût élevé avec une surcharge de raisonnement importante (par exemple, GPT-5-Pro) ne garantissent pas une qualité RTL supérieure. Gemini-3-Flash émerge comme un modèle de frontière rentable, offrant une qualité de Niveau 1 (81,2 HQI) à une fraction du coût des modèles de raisonnement de premier plan.

Importance et Contributions

L'article revendique trois contributions principales :

Un Cadre en Boucle de Synthèse : Il introduit un pipeline et l'Indice de Qualité Matérielle (HQI) qui va au-delà des métriques binaires succès/échec pour évaluer la qualité de l'implémentation (surface, délai, avertissements) par rapport à des références expertes.
Caractérisation Empirique : Il fournit une évaluation complète de 32 modèles, révélant un paysage structuré à trois niveaux et quantifiant l'« écart de prêt au déploiement » où la qualité d'une tentative unique traîne significativement derrière le potentiel meilleur des $k$ .
Taxonomie des Échecs : Il expose une divergence systématique dans les modes de défaillance entre les modèles propriétaires et à poids ouverts, reliant ces différences à la composition des données d'entraînement (niveau synthèse vs niveau simulation).

Les auteurs concluent que si les LLM montrent des promesses pour la génération RTL, les modèles actuels ne peuvent pas encore être intégrés dans des pipelines agentiques autonomes sans améliorer la fiabilité en tir unique. L'écart entre les taux de réussite en simulation et les métriques de qualité conscientes de la synthèse nécessite un changement des normes d'évaluation pour l'automatisation de la conception matérielle. Les travaux futurs devraient se concentrer sur le raffinement itératif avec rétroaction de synthèse et la curation de corpus d'entraînement de niveau synthèse pour répondre aux modes de défaillance spécifiques des modèles à poids ouverts.