QiMeng-CRUX: Narrowing the Gap Between Natural Language and Verilog via Core Refined Understanding eXpression for Circuit Design

Le papier présente QiMeng-CRUX, un cadre innovant qui réduit l'écart entre les descriptions en langage naturel et la génération de code Verilog en introduisant un espace intermédiaire structuré appelé CRUX, optimisé par un entraînement en deux étapes pour produire des résultats state-of-the-art.

L'essentiel

Imaginez que vous voulez construire une maison très complexe. Vous avez un architecte génial (c'est l'Intelligence Artificielle, ou LLM) qui sait tout construire, mais vous lui donnez vos instructions sur un bout de papier froissé, avec des dessins gribouillés et des phrases comme : « Je veux une pièce qui fait ça, et puis un truc qui ressemble à ça, mais en plus petit ».

Le résultat ? L'architecte est perdu. Il construit une cuisine à la place d'une chambre, ou il oublie le toit. C'est exactement ce qui se passe quand on demande à une IA de créer du code pour des puces électroniques (du langage Verilog) en utilisant simplement du texte naturel. Le texte est trop vague, et le code électronique doit être parfait, sinon la puce ne fonctionne pas.

Voici comment les auteurs de ce papier, QiMeng-CRUX, ont résolu ce problème, expliqué simplement :

1. Le Problème : Le "Bruit" dans les Instructions

Les humains parlent souvent de manière floue. On dit « comptez les uns » pour un circuit, mais on oublie de préciser combien de fils d'entrée il y a, ou si c'est un circuit qui s'arrête tout seul ou qui tourne en boucle.
Pour l'IA, c'est comme essayer de cuisiner un gâteau en suivant une recette qui dit juste : « Mélangez les ingrédients ». Quels ingrédients ? Combien ? Dans quel ordre ?

2. La Solution Magique : Le "CRUX" (Le Traducteur Interne)

Au lieu de donner directement la recette floue à l'architecte, les auteurs ont inventé un traducteur intermédiaire appelé CRUX (Core Refined Understanding eXpression).

Imaginez que CRUX est un chef de cuisine expérimenté qui se tient entre vous et l'architecte.

• Vous lui donnez votre idée floue : « Je veux un compteur de bits ».
• CRUX ne se contente pas de répéter. Il transforme votre idée en un plan de construction ultra-précis en trois étapes :
  1. L'Interface (Les portes) : « Ok, on a 3 fils d'entrée et 2 fils de sortie. C'est noté. »
  2. La Fonction Cœur (La recette) : « Le but est de compter combien de '1' il y a dans les entrées. »
  3. Les Points de Vigilance (Les pièges) : « Attention ! Ne pas oublier que si tout est à 1, le résultat doit être 3, pas 2. Et le circuit doit être synchro. »

Ce plan structuré (CRUX) est ensuite donné à l'architecte (l'IA). Résultat : il construit exactement ce qu'il faut, sans erreur.

3. L'Entraînement en Deux Étapes (L'École de Cuisine)

Pour que leur modèle (QiMeng-CRUX) apprenne à faire ce travail de chef, ils l'ont entraîné en deux temps :

• Étape 1 : L'Apprentissage Supervisé (La répétition)
  Ils ont montré au modèle des milliers d'exemples : « Voici une demande floue, voici le plan CRUX parfait, et voici le code final parfait. » Le modèle a appris à créer le plan CRUX avant de construire le code. C'est comme apprendre à un élève à faire un croquis avant de peindre le tableau.

• Étape 2 : L'Optimisation par Récompense (Le concours de cuisine)
  Ici, c'est plus subtil. Ils ont dit au modèle : « Génère un plan CRUX et le code. Si le code fonctionne, c'est bien. Mais si ton plan CRUX était si clair et si logique qu'il t'a facilité la tâche pour trouver le bon code, tu reçois un bonus ! »
  Cela force l'IA à devenir non seulement un bon constructeur, mais aussi un excellent organisateur de pensées. Elle apprend que la clarté du plan mène à la perfection du résultat.

4. Les Résultats : Pourquoi c'est impressionnant ?

Les tests montrent que cette méthode est une révolution :

• Précision : Là où les autres modèles échouaient souvent (comme un architecte qui pose des murs de travers), QiMeng-CRUX réussit dans des cas très difficiles, comme la conception de circuits complexes avec des machines à états (des circuits qui prennent des décisions).
• Polyvalence : Le "plan CRUX" est si bien fait qu'on peut même le donner à d'autres modèles d'IA (qui n'ont pas été entraînés avec cette méthode) pour les aider à mieux travailler. C'est comme si vous donniez un plan de cuisine parfait à un autre chef : il cuisinera mieux, même sans avoir suivi votre école.

En Résumé

Ce papier nous dit que pour faire travailler une IA sur des tâches techniques complexes, il ne suffit pas de lui donner des ordres en langage naturel. Il faut d'abord lui faire structurer sa pensée dans un langage intermédiaire (CRUX) qui fait le pont entre nos mots flous et la rigueur mathématique du code électronique.

C'est comme passer d'une conversation de café (« Fais-moi un truc cool ») à un plan d'architecte détaillé (« Voici les fondations, les murs, et le toit »), garantissant que la maison (ou la puce électronique) est solide et fonctionnelle.

Résumé technique

1. Problématique

La génération de code en langage de description matérielle (HDL), et plus particulièrement en Verilog, à partir de descriptions en langage naturel pose des défis majeurs pour les modèles de langage (LLM).

• Ambiguïté et désordre : Les descriptions utilisateur sont souvent libres, ambiguës, redondantes et non structurées. Les informations cruciales (comme les détails de la logique séquentielle ou les contraintes de timing) sont souvent implicites ou dispersées.
• Écart sémantique : Il existe un fossé fondamental entre l'espace d'expression naturel (libre, expressif) et l'espace cible du Verilog (strictement structuré, rigide syntaxiquement et sémantiquement).
• Limites des approches actuelles : Les méthodes existantes se concentrent principalement sur la phase de génération de code en se basant uniquement sur des descriptions brutes, négligeant l'impact de la formulation de l'entrée sur la qualité du code final. Cela entraîne souvent des erreurs de conception, des dérives sémantiques et des implémentations non synthétisables.

2. Méthodologie : QiMeng-CRUX

Pour combler cet écart, les auteurs proposent QiMeng-CRUX, une approche qui introduit un espace intermédiaire structuré appelé CRUX (Core Refined Understanding eXpression).

A. L'Espace CRUX

CRUX agit comme une représentation intermédiaire qui capture la sémantique essentielle de l'intention de l'utilisateur tout en organisant l'expression pour une génération de code précise. Il se compose de trois composants clés :

1. Module Interface : Définit explicitement les ports d'entrée/sortie, leurs noms, directions et largeurs de signaux.
2. Core Functions (Fonctions principales) : Capture la logique comportementale essentielle du circuit, spécifiant les objectifs fonctionnels et le flux de contrôle/données.
3. Key Considerations (Considérations clés) : Met en évidence les détails d'implémentation subtils mais critiques (ex: états de machines à états finis, contraintes de synthèse) pour garantir l'exactitude.

B. Framework d'Entraînement en Deux Étapes

Le modèle est entraîné via un cadre innovant combinant deux phases :

1. Modélisation d'Expression Jointe (Joint Expression Modeling) - Étape I :

   • Construction du jeu de données (RealSpec) : Les auteurs augmentent le jeu de données CodeV en simulant des descriptions réalistes avec des variations, des ambiguïtés et une dégradation contrôlée des interfaces (suppression aléatoire d'informations) pour renforcer la robustesse.
   • Extraction CRUX : Pour chaque tâche, un CRUX structuré est généré (via des LLMs comme DeepSeek-R1 ou Qwen2.5-Coder) à partir de la spécification réelle et du code de référence.
   • SFT (Supervised Fine-Tuning) : Le modèle est entraîné pour générer d'abord le CRUX à partir de la spécification réelle, puis le code Verilog à partir du CRUX.

2. Optimisation Dual-Space (Dual-Space Optimization) - Étape II :

   • Utilisation d'une procédure d'apprentissage par renforcement basée sur GRPO (Group Relative Policy Optimization) améliorée par CRUX.
   • Récompense Composite : L'optimisation vise deux objectifs simultanés :
     • Code-Reward : Vérifie la correction fonctionnelle du code généré via des bancs de test automatisés.
     • CRUX-Reward : Mesure la capacité du CRUX généré à guider le modèle vers une solution correcte. Cela est calculé en évaluant la vraisemblance conditionnelle du code de référence étant donné le CRUX généré. Cela force le modèle à produire des CRUX qui réduisent l'incertitude et concentrent la distribution des solutions possibles.

3. Contributions Clés

• Introduction de CRUX : Un espace intermédiaire structuré qui transforme les descriptions naturelles non structurées en un plan d'ingénierie cohérent (Interface, Fonction, Contraintes), servant de pont sémantique vers le Verilog.
• Framework d'entraînement Dual-Space : Une méthode qui optimise conjointement la qualité de l'expression intermédiaire (CRUX) et du code final, dépassant les limites de la supervision statique.
• Génération de données réalistes (RealSpec) : Une stratégie de construction de données qui introduit du bruit et des omissions contrôlées pour simuler les conditions d'utilisation réelles, améliorant la robustesse du modèle.
• Efficacité computationnelle : Contrairement aux modèles de "raisonnement" (Reasoning Models) qui nécessitent des fenêtres de contexte énormes (16k+ tokens) et des cycles itératifs longs, QiMeng-CRUX utilise une génération en un seul passage (one-shot) avec une fenêtre maximale de 4096 tokens, offrant un rapport coût/performance supérieur.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks de référence : VerilogEval-v1/v2 et RTLLM-v1/v2.

• Performance État de l'Art (SOTA) : QiMeng-CRUX (basé sur Qwen2.5-Coder-7B) dépasse tous les modèles généraux et spécifiques au Verilog, y compris des modèles fondationaux massifs comme GPT-4o et DeepSeek-V3.
  • Sur RTLLM-v2, il atteint 63.8% de pass@1, surpassant le précédent SOTA de 12,8% et rivalisant avec DeepSeek-R1 (671B).
  • Sur VerilogEval-v2 (Spec-to-RTL), il améliore le pass@1 de 49,3% à 64,7% (T=0), soit un gain de +15,4%.
• Robustesse : Le modèle montre une performance équilibrée entre les tâches de complétion de code (Code-Completion) et de spécification vers RTL (Spec-to-RTL), évitant les écarts importants observés chez d'autres modèles.
• Transférabilité : L'espace CRUX s'avère transférable. Utilisé comme prompt pour d'autres modèles de code (sans réentraînement), il améliore significativement leurs performances, prouvant sa valeur intrinsèque comme guide sémantique.
• Études d'ablation : Elles confirment que l'ajout de RealSpec améliore la robustesse aux variations de prompts, tandis que CRUX est crucial pour comprendre l'intention de conception profonde. L'utilisation de la récompense CRUX en phase II affine la précision au détriment d'une légère diversité, ce qui est bénéfique pour la génération de code fiable.

5. Signification et Impact

Ce travail démontre que la clé pour automatiser la conception matérielle ne réside pas seulement dans la puissance brute des LLMs, mais dans la structuration de l'information intermédiaire.

• Changement de paradigme : Au lieu de demander au modèle de passer directement d'une phrase vague à du code complexe, QiMeng-CRUX force le modèle à "réfléchir" en structurant d'abord l'intention (CRUX) avant de coder.
• Accessibilité : En atteignant des performances de pointe avec un modèle de 7B paramètres (et une fenêtre de contexte modeste), cette approche rend la génération de matériel de haute qualité plus accessible et économiquement viable que l'utilisation de modèles massifs de type "raisonnement".
• Futur de la CAO : La méthode ouvre la voie à des outils de conception assistée par ordinateur plus fiables, capables de gérer des spécifications humaines imparfaites tout en garantissant une synthèse matérielle correcte.

En résumé, QiMeng-CRUX établit un nouveau standard pour la génération de Verilog en prouvant qu'un espace intermédiaire sémantiquement riche et structuré est indispensable pour aligner efficacement l'intention humaine avec la rigueur du code matériel.