🤖 AI

RTL-BenchLS: A Large-Scale Benchmark for RTL Reasoning and Generation with Large Language Models

Cet article introduit RTL-BenchLS, un benchmark à grande échelle comprenant plus de 10 000 conceptions Verilog formellement vérifiées et trois nouvelles tâches de raisonnement auto-supervisées qui surmontent les limites d'évolutivité des benchmarks existants afin d'évaluer et de guider rigoureusement le développement des LLM pour l'automatisation de la conception matérielle.

Auteurs originaux : Jing Wang, Shang Liu, Wenji Fang, Yuchao Wu, Yugao Zhu, Zhiyao Xie

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jing Wang, Shang Liu, Wenji Fang, Yuchao Wu, Yugao Zhu, Zhiyao Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un apprenti brillant mais inexpérimenté comment construire des circuits électroniques complexes (appelés conceptions RTL) en utilisant uniquement des instructions en langage naturel. Pour voir si l'apprenti apprend réellement, vous avez besoin d'un test.

Pendant longtemps, les tests utilisés pour évaluer ces « apprentis » IA (les grands modèles de langage ou LLM) étaient comme des livres de coloriage de maternelle. Ils étaient petits, simples, et l'IA pouvait facilement obtenir un score parfait simplement en mémorisant les motifs. L'article soutient que nous avons besoin d'un véritable chantier de construction pour voir si ces IA sont réellement capables de faire le travail.

Voici l'histoire de RTL-BenchLS, le nouveau test, beaucoup plus difficile, introduit dans l'article.

1. Le Problème : Les tests de « maternelle »

Les tests existants étaient trop faciles. Ils comprenaient :

Trop peu de conceptions : Comme avoir seulement 50 petits puzzles au lieu de milliers.
Trop simples : Comme demander à l'IA de construire une seule brique Lego au lieu d'un château entier.
Une seule astuce : Ils demandaient principalement à l'IA de traduire une phrase en code. Une fois que l'IA est devenue douée pour cela, le test cessait d'être utile car l'IA « saturait » (atteignant 100 % sur tout).

De plus, créer un test plus difficile était considéré comme impossible. Pourquoi ? Parce que pour créer un test difficile, il faut généralement qu'un expert humain rédige la « clé de correction » (un banc de test) pour chaque puzzle. Il n'y a pas assez d'experts humains pour faire cela pour 10 000 circuits complexes.

2. La Solution : Un « Miroir Magique » qui s'auto-vérifie

Les chercheurs ont construit RTL-BenchLS, une immense bibliothèque de plus de 10 000 conceptions de circuits vérifiées. Ce ne sont pas de minuscules briques ; ce sont des structures complexes, certaines faisant près de 500 lignes de code.

Pour résoudre le problème de la « clé de correction » sans embaucher des milliers d'humains, ils ont inventé trois nouveaux types de puzzles qui agissent comme un miroir magique. L'IA doit prouver qu'elle comprend le circuit en accomplissant des tâches qui doivent fonctionner si elle comprend réellement la logique, plutôt que de simplement deviner la bonne réponse.

Les trois nouveaux puzzles :

Puzzle 1 : Le défi « Résumer et Reconstruire » (Raisonnement aller-retour)

La configuration : Vous donnez à l'IA un schéma de circuit complexe.
La tâche : L'IA doit d'abord écrire un résumé de son fonctionnement (comme une recette), puis, en utilisant uniquement ce résumé, reconstruire exactement le même circuit à partir de zéro.
Le piège : Si le résumé omet ne serait-ce qu'un minuscule détail, le circuit reconstruit sera différent. Le système vérifie si le nouveau circuit est identique à l'original.
Analogie : C'est comme demander à un chef de goûter un plat complexe, d'en écrire la recette, puis de cuisiner à nouveau le plat à partir de cette note. Si le goût est différent, il a échoué.

Puzzle 2 : Le défi de la « Pièce Manquante » (Raisonnement par contenu masqué)

La configuration : Vous montrez un circuit à l'IA, mais vous couvrez un bloc de code spécifique avec un autocollant « vierge ».
La tâche : L'IA doit regarder le code environnant et la description de l'endroit masqué pour comprendre exactement ce qui se trouvait sous l'autocollant et le remplir correctement.
Analogie : Imaginez un puzzle où une pièce est cachée. Vous devez regarder l'image autour du trou et deviner exactement à quoi ressemble la pièce manquante pour compléter l'image.

Puzzle 3 : Le défi du « Détective de Bugs » (Raisonnement sur les problèmes de dépôt)

La configuration : Vous donnez à l'IA un dossier complet de code (un projet) et une plainte d'un utilisateur disant : « Cette partie est cassée ! »
La tâche : L'IA doit trouver la partie cassée dans le dossier de code massif et la réparer pour qu'elle fonctionne exactement comme la correction « parfaite » qu'un expert humain ferait.
Analogie : Vous donnez à un mécanicien une voiture qui fait un bruit bizarre et une note disant « ça fait un grincement ». Le mécanicien doit trouver la vis desserrée exacte dans le moteur et la réparer, sans rien casser d'autre.

3. Les Résultats : L'IA est encore une « Novice »

Les chercheurs ont testé 8 des modèles d'IA les plus intelligents sur ce nouveau benchmark difficile. Les résultats sont révélateurs :

Sur les anciens tests faciles : Les meilleures IA obtenaient presque 88 % de réussite.
Sur les nouveaux tests difficiles :
- Aller-retour (Résumer et Reconstruire) : La meilleure IA n'a réussi qu'environ 23 %.
- Pièce manquante : La meilleure IA a obtenu environ 28 %.
- Détective de bugs : La meilleure IA n'a obtenu qu'environ 12 %.

Ce que cela signifie : Même les IA les plus intelligentes sont actuellement médiocres pour réellement comprendre la logique matérielle complexe. Elles sont douées pour imiter des motifs sur des tâches simples, mais lorsqu'on leur demande de raisonner à travers un problème complexe, elles luttent considérablement.

4. Pourquoi cela importe

Cet article ne dit pas que l'IA ne construira jamais de puces. Il dit que nous avons surestimé leurs capacités parce que nos tests étaient trop faciles.

RTL-BenchLS est comme passer le test d'une classe de maternelle à un cabinet d'ingénierie professionnelle. Cela nous montre exactement là où l'IA échoue (comme se perdre dans une logique complexe ou manquer de petits détails dans un rapport de bug) et donne aux ingénieurs un véritable outil pour mesurer les progrès. Cela laisse une grande marge de progression, prouvant que le voyage vers une conception matérielle entièrement automatisée ne fait que commencer.

Résumé Technique : RTL-BenchLS

Énoncé du Problème

Le domaine de l'automatisation de la conception matérielle exploite de plus en plus les grands modèles de langage (LLM) pour la génération et le raisonnement au niveau de transfert de registres (RTL). Cependant, les progrès dans ce domaine sont entravés par les limites des benchmarks existants. Les benchmarks actuels, tels que VerilogEval et RTLLum, souffrent de deux déficiences primaires :

Échelle et Complexité Limitées : Les ensembles de données existants contiennent un petit nombre de conceptions (typiquement < 200) qui sont principalement des tâches simples à module unique avec moins de 100 lignes de code (LoC). Ils ne parviennent pas à représenter la complexité des sous-systèmes matériels du monde réel.
Portée des Tâches Étroite et Rareté des Données : La plupart des benchmarks se concentrent exclusivement sur la génération de spécification vers RTL. L'augmentation de l'échelle de ces benchmarks est fondamentalement difficile car elle nécessite des données « alignées » — spécifiquement, le triplet composé de spécifications en langage naturel, de code RTL et de testbenches écrits manuellement. De telles données de haute qualité et alignées sont rares dans le domaine public, ce qui provoque la saturation des performances des modèles de pointe sur les tâches actuelles et rend impossible la distinction entre les capacités des modèles ou l'orientation d'un développement ultérieur.

Méthodologie

Pour répondre à ces limitations, les auteurs introduisent RTL-BenchLS, un benchmark à grande échelle comprenant plus de 10 000 conceptions Verilog formellement vérifiées. La méthodologie se concentre sur deux piliers : la construction de données et la conception de tâches novatrices.

Construction des Données

Le jeu de données agrège 10 028 conceptions provenant de cinq sources :

Répertoires du Monde Réel (S1) : 971 modules extraits de plus de 25 projets open-source (ex. : NVIDIA DLA, OpenC910, HummingBird E200), fournissant une complexité spécifique au domaine.
Corpus Générés par LLM (S2–S5) : ~9 000 modules distillés à partir de corpus d'entraînement existants (OriGen, AutoVCoder, RTLPP, MG-Verilog) pour fournir échelle et diversité structurelle.

Les auteurs emploient un pipeline de filtrage rigoureux pour garantir la qualité :

Filtrage de la Complexité : Les conceptions sont filtrées basées sur les lignes de code (LoC) et le nombre de modules (NoM), résultant en une moyenne de 63 LoC (max 479 LoC), ce qui est nettement plus important que les benchmarks précédents.
Élagage par Similitude : Une similitude par paires (utilisant TF-IDF et la similitude cosinus) est calculée pour supprimer les doublons quasi identiques.
Vérification Formelle : Chaque conception conservée subit une vérification d'équivalence logique (LEC) ou une vérification d'équivalence séquentielle (SEC) utilisant des outils industriels (Cadence Conformal et JasperGold). Cela garantit que toutes les conceptions sont fonctionnellement correctes sans dépendre de testbenches curatés manuellement.

Nouvelles Tâches de Benchmark

RTL-BenchLS introduit trois tâches qui évaluent conjointement le raisonnement et la génération, allant au-delà de la simple génération de spécification vers RTL :

Raisonnement Aller-Retour (Auto-supervisé) : Le LLM doit compresser une conception RTL originale $D$ en un abstrait intermédiaire $A$ (dans des formats tels que le langage naturel, le diagramme de style NL, le code exécutable ou le texte libre) puis reconstruire un RTL $D'$ fonctionnellement équivalent à partir de $A$ . Le succès est défini par $D' \equiv D$ via la vérification d'équivalence formelle. Cela élimine le besoin de labels externes.
Raisonnement de Contenu Masqué (Auto-supervisé) : Un bloc de code ou un sous-module est masqué dans la conception. Le LLM doit générer une description concise de la logique masquée et ensuite reconstruire le code manquant basé sur le contexte environnant. Le succès est vérifié en contrôlant si la conception reconstruite est équivalente à l'originale.
Raisonnement de Problème de Répertoire : Le LLM reçoit un rapport de problème réel (commentaire) et le contexte du répertoire (incluant le code buggé) et doit générer un correctif qui est fonctionnellement équivalent au patch "golden" du développeur. Cette tâche évalue la compréhension du contexte long et le débogage multi-artefacts.

Contributions Clés

Échelle Sans Précédent : Le benchmark fournit plus de 10 000 conceptions formellement vérifiées, soit deux ordres de grandeur de plus que les benchmarks supportant la vérification fonctionnelle.
Complexité Diversifiée : Les conceptions couvrent une gamme plus large de complexité (jusqu'à 495 LoC) comparé aux modules principalement simples des benchmarks existants.
Paradigme Auto-supervisé : Deux des trois tâches sont auto-supervisées, résolvant le goulot d'étranglement de l'alignement des données qui a historiquement empêché le passage à l'échelle des benchmarks.
Infrastructure de Vérification Formelle : Le cadre d'évaluation repose entièrement sur la vérification d'équivalence formelle (LEC/SEC), supprimant la dépendance aux testbenches manuels et garantissant une vérification de correction rigoureuse et automatisée.
Évaluation Complète : Le papier évalue huit LLM de pointe (incluant GPT-4o, Claude Sonnet/Haiku, DeepSeek, Qwen et LLaMA) à travers toutes les tâches.

Résultats Expérimentaux

L'évaluation révèle que les LLM actuels font face à des défis importants en matière de raisonnement et de génération RTL, avec des performances bien en dessous des niveaux de saturation observés dans les benchmarks plus simples :

Raisonnement Aller-Retour : Même le meilleur modèle (Claude Sonnet-4.5) atteint seulement un taux de réussite de ~23 % sur le raisonnement aller-retour en langage naturel. La performance varie considérablement selon le format d'abstraction ; les abstracts de type code exécutable (Python/C) performent mieux (~39–52 %) que le pur langage naturel.
Raisonnement de Contenu Masqué : La performance est plus uniforme entre les modèles, le meilleur (LLaMA-3.3-70B) atteignant ~28 %.
Correction de Problème de Répertoire : C'est la tâche la plus difficile. Même avec un réglage simplifié où la région buggée est fournie, le meilleur modèle (DeepSeek-v3.2) n'atteint que ~12 %.
Comparaison : Lorsque les mêmes modèles sont testés sur les benchmarks existants (VerilogEval, RTLLM) en utilisant la nouvelle tâche de raisonnement aller-retour, la performance chute drastiquement (ex. : LLaMA-3.3 passe de 53,2 % à 12,2 %), confirmant que RTL-BenchLS est substantiellement plus difficile.

Signification et Revendications

Les auteurs affirment que RTL-BenchLS représente une étape critique pour la communauté de l'automatisation de la conception matérielle. En fournissant un jeu de données à grande échelle, formellement vérifié avec des tâches auto-supervisées, ce benchmark :

Brise le Goulot d'Échelle : Il démontre qu'une conception de tâche efficace peut surmonter la rareté des labels alignés, permettant la création de benchmarks beaucoup plus larges et diversifiés.
Révèle les Réels Écarts de Capacité : Les faibles taux de réussite (12–28 %) comparés à la quasi-saturation sur les anciens benchmarks indiquent que les LLM actuels manquent de la profondeur de raisonnement nécessaire pour les tâches de conception matérielle complexes du monde réel.
Guide le Développement Futur : Les résultats soulignent des domaines d'amélioration spécifiques, tels que le besoin d'une meilleure gestion du raisonnement de contexte long, de la précision de la logique au niveau du bit, et de l'intégration de la vérification formelle dans les agents LLM.

Le papier conclut que RTL-BenchLS laisse une marge importante pour les améliorations futures et sert d'infrastructure fondamentale pour développer des méthodes basées sur les LLM plus capables pour la conception matérielle. Le jeu de données, les scripts d'évaluation et les outils de vérification sont rendus publics pour soutenir la recherche reproductible.