🤖 AI

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

Le papier présente STG, un cadre structuré qui exploite la structure inhérente à la conception matérielle pour générer des bancs de test déterministes, surpassant de manière significative les approches existantes basées sur les LLM en termes de vitesse, de fiabilité et de couverture, tout en servant d'outil efficace pour la curation de données et la mise à l'échelle au moment de l'exécution dans les flux de travail RTL.

Auteurs originaux : En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un maître architecte (une IA) capable de dessiner instantanément les plans de nouvelles maisons (des puces informatiques) à partir d'une simple description comme « construisez une maison avec trois chambres ». C'est une excellente chose, mais il y a un énorme problème : comment savoir si le plan est réellement sûr et fonctionnel ?

Traditionnellement, pour vérifier un plan, il faudrait embaucher une équipe d'inspecteurs humains pour construire un modèle à échelle réelle, le soumettre à tous les tempêtes possibles et voir s'il s'effondre. Cela prend un temps infini et coûte une fortune.

Récemment, des gens ont essayé d'utiliser une autre IA pour rédiger le rapport d'inspection. Mais cette nouvelle IA est comme un stagiaire nerveux et sujet aux hallucinations. Elle devine le test, invente parfois des règles et dit souvent « Tout va bien ! » alors que la maison est en feu. Elle est lente, coûteuse et peu fiable.

Entrez en scène : STG (Structured Testbench Generation).

Les auteurs de ce document ont créé un nouvel outil appelé STG. Au lieu de demander à une IA d'« imaginer » un test, STG agit comme une chaîne de montage intelligente et automatisée qui construit un test parfait basé sur la structure réelle du plan.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'approche par « Modèle » (Fini les suppositions)

Imaginez que vous avez des instructions Lego.

L'ancienne méthode (LLM) : Vous demandez à un robot de « rédiger un test ». Le robot essaie d'écrire une histoire sur le test d'une maison Lego. Il pourrait oublier une étape, inventer une fausse règle ou s'embrouiller. Il est créatif, mais désordonné.
La méthode STG : STG regarde la maison Lego, voit qu'elle possède une porte, une fenêtre et un toit. Il saisit ensuite un « Kit d'inspection » pré-fabriqué et parfait. Il remplit automatiquement les détails spécifiques (comme « vérifier la porte », « vérifier la fenêtre ») et exécute le test. Il ne devine pas ; il suit une recette logique et stricte.

2. Trois « Kits d'inspection » différents

Le document explique que différents types de puces nécessitent des tests différents, tout comme différents véhicules nécessitent des contrôles de sécurité distincts :

Conceptions combinatoires (La maison statique) : Ce sont des puces qui réagissent instantanément aux entrées (comme un interrupteur). STG les traite comme une serrure combinatoire. Il tente chaque combinaison possible de boutons pour s'assurer que la lumière s'allume correctement. C'est exhaustif et ne laisse aucune pierre non retournée.
Conceptions séquentielles générales (La voiture en mouvement) : Ces puces possèdent une horloge et une mémoire (comme un moteur de voiture). STG agit comme un moniteur de conduite. Il ne se contente pas de vérifier la voiture à un feu rouge ; il vérifie comment la voiture réagit pendant que vous tournez le volant ou appuyez sur l'accélérateur en plein cycle. Il détecte les bugs de type « Mealy » (réactions instantanées) que les autres tests manquent.
Conceptions dominées par les FSM (Le labyrinthe) : Certaines puces sont comme des labyrinthes complexes avec de nombreux états. Une conduite aléatoire ne vous mènera pas à la sortie. STG agit comme un GPS avec une carte. Il lit la carte interne de la puce et guide le test spécifiquement à travers chaque chemin du labyrinthe, garantissant qu'aucune impasse ne reste inexplorée.

3. Pourquoi cela importe (Les résultats)

Le document affirme que STG change la donne pour trois raisons principales :

C'est un champion de la vitesse : STG est 720 fois plus rapide que les anciennes méthodes d'IA. Si l'ancienne méthode mettait une journée entière pour vérifier un lot de puces, STG le fait en quelques minutes. C'est comme remplacer un escargot par une voiture de course.
C'est un porteur de vérité : Les anciennes méthodes d'IA donnaient souvent des « faux passages » (disant qu'une puce défectueuse était bonne). STG est beaucoup plus fiable. Il a trouvé 7,8 % de puces défectueuses en plus que les anciennes méthodes n'avaient détectées. Il a également aidé à corriger un bug caché dans les outils de test standards utilisés par l'industrie (une « condition de course » où le test vérifiait la mauvaise chose au mauvais moment).
Cela économise énormément d'argent et d'énergie : Parce que STG fonctionne sur un simple processeur d'ordinateur (CPU) au lieu d'un énorme supercalculateur d'IA (GPU) gourmand en énergie, il utilise 127 fois moins d'énergie. C'est la différence entre faire fonctionner une usine avec un seul travailleur efficace et une usine avec 100 robots surchargés et hurlants.

4. L'analogie du « Professeur et de l'Élève »

Le document utilise également STG pour entraîner des modèles d'IA plus petits et plus intelligents (un processus appelé « distillation »).

Imaginez qu'un Professeur (une immense IA) essaie d'enseigner à un Élève (une petite IA) comment concevoir des puces.
Le Professeur génère des milliers de problèmes d'entraînement.
STG agit comme le correcteur strict. Il vérifie instantanément si les réponses du Professeur sont justes ou fausses.
Parce que STG est si rapide et peu coûteux, le Professeur peut générer beaucoup plus de problèmes d'entraînement de haute qualité. L'Élève apprend plus vite et devient aussi bon que le Professeur, mais sans avoir besoin de la puissance cérébrale massive du Professeur.

Résumé

En bref, STG arrête d'essayer de « rêver » des tests pour les puces informatiques. Au lieu de cela, il analyse le plan et construit automatiquement un test structuré parfait basé sur la conception réelle de la puce. Il est plus rapide, moins cher, plus précis et plus fiable que les méthodes actuelles de l'IA, ce qui en fait un outil vital pour l'avenir de la conception automatisée de puces.

Résumé Technique : Génération de Bancs de Test Structurés pour la Conception et la Curation de Données Orientées Vérification par LLM

Définition du Problème

Le document traite d'un goulot d'étranglement critique dans les flux de travail de conception de registres de transfert de niveau (RTL) pilotés par les grands modèles de langage (LLM) : la génération de bancs de test fiables et à haute couverture pour vérifier les conceptions matérielles générées. Les approches existantes traitent la génération de bancs de test comme une synthèse de code non contrainte, s'appuyant sur une génération stochastique par prompting de LLM. Cela conduit à trois limitations principales :

Coût élevé et faible reproductibilité : L'amélioration de la fiabilité nécessite un prompting itératif ou une génération d'ensemble, ce qui augmente considérablement les coûts en jetons (tokens).
Couverture insuffisante : La génération stochastique manque souvent les cas limites (corner cases), particulièrement dans les comportements liés au contrôle de flux et aux états.
Verdict peu fiable : Les bancs de test incohérents produisent des verdicts de réussite erronés (false-pass) sur des conceptions sous test (DUT) incorrectes et ne parviennent pas à distinguer les conceptions partiellement correctes des conceptions totalement incorrectes.

Ces problèmes sont exacerbés par les tendances émergentes des LLM telles que le scaling à l'inférence (test-time scaling) (où la vérification fait partie d'une boucle de recherche itérative) et la curation de données orientée vérification (où de grands lots de DUT candidats doivent être filtrés pour les données d'entraînement). Dans ces contextes, la vérification n'est plus seulement une étape en aval, mais un mécanisme central d'amélioration du modèle, exigeant des bancs de test à bas coût, déterministes et comportementalement significatifs.

Méthodologie : Le Cadre STG

Les auteurs proposent STG (Structured Testbench Generation), un cadre qui déplace la création de bancs de test de la synthèse de code non contrainte vers un processus déterministe et conscient de la structure. STG exploite la structure intrinsèque des conceptions matérielles pour générer des bancs de test via un rendu basé sur des modèles (templates).

Flux de Travail Central

Analyse et Parsing de Module : STG analyse le DUT et une référence d'or fiable (ou un modèle de référence "argent" / silver) en utilisant Icarus Verilog et des heuristiques légères.
- Classification du type de conception : Les conceptions sont classées en trois types : Combinatoire, Séquentielle Générale, ou Dominée par des FSM (Machines à États Finis).
- Classification des signaux : Les ports d'entrée sont classés en Horloge, Reset, Contrôle ou Données en utilisant la correspondance floue par plus grande sous-séquence commune (LCS) par rapport aux indices de noms et aux heuristiques de largeur.
- Détection de FSM : Pour les conceptions séquentielles, STG utilise la reconnaissance de formes déterministe (scan des blocs always_ff avec registres d'état) ou une analyse assistée par LLM pour extraire les structures de machines à états finis (FSM).
Génération de Banc de Test Spécifique à la Stratégie : Selon la classification, STG rend des modèles Jinja paramétrés avec des stratégies de stimulation spécifiques :
- Combinatoire : Énumération exhaustive de toutes les combinaisons de signaux de contrôle ( $2^{b_c}$ ), avec des signaux de données randomisés ( $N_s$ échantillons) pour chaque vecteur de contrôle.
- Séquentielle Générale : Une stratégie en deux passes, consciente du reset. Elle pilote les entrées à l'intérieur de la période d'horloge (pas seulement sur les fronts) pour capturer les réponses de type Mealy intra-cycle et vérifie les sorties à la fois sur les fronts d'horloge et après les changements intra-cycle. Elle gère la récupération du reset en insérant probabilistiquement des resets entre les cycles.
- Guidée par FSM : Pour les conceptions dominées par des FSM, STG extrait un graphe de transition d'état et effectue un parcours en profondeur (DFS). Il sépare les conditions d'entrée pilotables des conditions d'attente internes, pilotant les entrées de manière déterministe pour satisfaire les gardes de transition, garantissant une couverture de transition complète sans exploration aléatoire.
Extension de Référence "Argent" (Silver-Reference) : Bien que principalement conçu pour les contextes de référence connue (DUT vs Golden RTL), STG peut s'étendre aux scénarios sans référence d'or en remplaçant le module d'or par un modèle de référence "argent" en C++/SystemC généré par LLM.

Contributions Clés

Cadre STG : Un cadre de génération de banc de test déterministe et conscient de la structure qui surpasse la génération par prompt de LLM en termes d'efficacité, de couverture et de fiabilité.
Curation de Données Orientée Vérification : Démonstration que STG permet de filtrer efficacement de grands ensembles de données d'entraînement, supportant l'entraînement de modèles de génération de RTL distillés performants via un simple pipeline de réglage fin supervisé (SFT).
Backend de Scaling à l'Inférence : Preuve que STG sert de backend de vérification efficace pour les boucles de raffinement guidées par LLM (ex: MCTS), améliorant la qualité et l'efficacité de la recherche à travers plusieurs modèles de base.

Résultats Expérimentaux

Le cadre a été évalué sur des benchmarks de génération Verilog (VerilogEval, RTLLM-v2, CVDP) selon trois scénarios :

1. Qualité et Efficacité du Banc de Test

Vitesse : STG génère des bancs de test 720× plus vite qu'un pipeline itératif basé sur les LLM (0,13s contre 92,4s par banc de test).
Couverture : STG atteint une couverture de lignes plus élevée (95,88 % contre 93,97 %) et une couverture de basculement (toggle coverage) supérieure (95,77 % contre 85,40 %).
Fiabilité : STG réduit les verdicts de réussite erronés sur les DUT incorrects. Dans une étude de 3 046 DUT, STG a correctement identifié 7,8 % de conceptions incorrectes de plus que l'approche basée sur le LLM, principalement en évitant les faux succès sur des bugs subtils.
Couverture FSM : Sur des conceptions FSM à états profonds, la stimulation aléatoire a échoué à atteindre les états profonds (S11–S14), tandis que le parcours guidé par FSM de STG a atteint 100 % de couverture de transition.

2. Curation de Données Orientée Vérification

Efficacité des Ressources : Le filtrage de 115k problèmes avec STG sur un seul cœur CPU a pris 5,6 heures et consommé 0,56 kWh d'énergie. En revanche, une approche purement LLM sur un GPU haut de gamme a pris 59,1 heures et consommé 70,9 kWh (une réduction d'énergie de 127× et une accélération de 10,6×).
Performance du Modèle : Les modèles distillés entraînés sur des données curées par STG (en utilisant uniquement une étape unique de SFT) ont atteint des performances de pointe ou compétitives sur VerilogEval, RTLLM-v2 et le benchmark exigeant CVDP. Ces modèles ont surpassé ou égalé des pipelines complexes impliquant du SFT multi-étapes et de l'apprentissage par renforcement (RL), suggérant que les flux de travail complexes de RL peuvent ne pas produire de gains constants sur les nouveaux benchmarks.

3. Scaling à l'Inférence (Test-Time Scaling)

Efficacité de Recherche : Intégré dans une boucle de raffinement basée sur MCTS, STG a réduit le nombre de nœuds de recherche nécessaires pour résoudre les problèmes de 14 à 47 % sur quatre modèles de base (allant de 7B à 685B de paramètres).
Qualité des Signaux : La nature déterministe et informative des signaux de vérification de STG a permis à la boucle de recherche de rejeter plus tôt les candidats faibles et de converger vers des conceptions correctes avec moins d'itérations.

Résultats Additionnels

Correction de Benchmark : La génération déterministe de STG et l'inspection humaine ont révélé une condition de course (race condition) systématique dans les bancs de test de VerilogEval (où la stimulation et les vérificateurs se déclenchent sur le même front d'horloge sans garantie d'ordre). Les auteurs ont corrigé cela, notant que les évaluations précédentes pouvaient être compromises par ces faux échecs.
Reproductibilité : Les auteurs ont noté des problèmes de reproductibilité significatifs avec la méthode VeriRL, où leur checkpoint répliqué s'est comporté de manière incohérente sur les benchmarks par rapport aux affirmations de l'article original.

Signification et Revendications

L'article affirme que STG établit un backbone de vérification pratique et à bas coût pour les flux de travail de conception HDL pilotés par les LLM. En traitant la vérification comme un problème de génération structurée plutôt que comme une synthèse de code non contrainte, STG répond aux problèmes d'évolutivité et de fiabilité qui entravent actuellement l'adoption des LLM dans la conception matérielle.

Les auteurs soutiennent que l'efficacité des récents flux de travail complexes d'entraînement et d'apprentissage par renforcement reste discutable, particulièrement sur les nouveaux benchmarks, où leur pipeline plus simple propulsé par STG offre des performances compétitives ou supérieures avec un surcoût computationnel nettement inférieur. Ils positionnent STG comme un catalyseur essentiel pour les cycles d'apprentissage continu dans la conception matérielle, où une curation de données efficace et fiable est essentielle pour le réentraînement itératif des modèles.