Résumé technique : Comment les LLM échouent et généralisent dans le codage RTL pour la conception matérielle

Énoncé du problème

Traduire les priors de programmation séquentielle des grands modèles de langage (LLM) vers la logique temporelle parallèle requise pour la conception matérielle au niveau de transfert de registres (RTL) demeure un goulot d'étranglement critique. Contrairement aux langages séquentiels (ex. Python, C), le RTL décrit des flux de signaux concurrents où les conditions de course (race conditions) et les dépendances temporelles sont primordiales. De plus, le code RTL est sous-représenté dans les données d'entraînement publiques par rapport au code à usage général.

Les auteurs étudient deux questions primordiales :

1. Les LLM peuvent-ils exploiter les connaissances de pré-entraînement pour résoudre des tâches de codage RTL ?
2. Le réglage fin par apprentissage par renforcement (RL) peut-il aider les modèles à généraliser les compétences de codage des domaines généraux vers le domaine matériel ?

Les benchmarks existants et les modèles spécialisés rapportent souvent des taux de réussite élevés mais manquent d'une analyse granulaire de pourquoi les modèles échouent, occultant si les échecs proviennent de la syntaxe, de malentendus sémantiques ou de lacunes fondamentales de connaissances.

Méthodologie

1. Taxonomie des erreurs à quatre niveaux

Le papier introduit une nouvelle taxonomie des erreurs fondée sur le pipeline de compilation et de vérification des langages de description matérielle (HDL). Ce cadre catégorise les échecs en quatre niveaux mutuellement exclusifs :

• L1 (Syntaxique) : Le code est rejeté par l'analyseur (ex. mots-clés manquants, expressions malformées).
• L2 (Sémantique) : Le code est analysé mais viole des contraintes sémantiques statiques (ex. cibles wire dans des blocs procéduraux, confusion entre affectations bloquantes/non-bloquantes, listes de sensibilité incomplètes, inférence involontaire de verrou (latch)).
• L3 (Fonctionnelle) : Le code est syntaxiquement et sémantiquement valide mais échoue à la simulation du banc de test (testbench). Ceci est subdivisé par solvabilité au niveau du problème :
  • L3S (Solvable) : Le modèle échoue sur une itération spécifique mais réussit le banc de test dans au moins une autre itération pour le même problème. Cela indique un échec stochastique adressable par le passage à l'échelle du temps d'inférence (ex. échantillonnage Best-of-N).
  • L3U (Insolvable) : Le modèle échoue au banc de test à travers toutes les itérations échantillonnées pour un problème. Cela indique une lacune de connaissance persistante nécessitant une amélioration du modèle (ex. un meilleur pré-entraînement ou une meilleure architecture).

2. Cadre d'évaluation

Les auteurs ont évalué un ensemble diversifié de modèles sur le benchmark VerilogEval-Human (156 problèmes) :

• Modèles frontières propriétaires : 9 modèles (ex. variantes de GPT-5, Claude Opus, Gemini).
• Modèles Open-Source : 5 modèles (ex. Qwen2.5-Coder, DS-R1).
• Modèles spécialisés en RTL : 3 modèles affinés spécifiquement pour le RTL (ex. CodeV-R1, ScaleRTL).
• Expériences de réglage fin par RL : Deux expériences utilisant la famille de modèles K2-Think (pré-entraînée sur des données non-RTL) avec GRPO (Group Relative Policy Optimization).
  • E1 : GRPO appliqué directement après le réglage fin supervisé (SFT).
  • E2 : GRPO appliqué après un pré-entraînement par RL sur domaine général, suivi d'un GRPO spécifique au RTL.

Toutes les évaluations ont été menées dans un cadre de tour unique sans utilisation d'outils itératifs ou de retour de compilation afin d'isoler les connaissances internalisées des modèles.

Résultats clés

1. Le plafond empirique et les lacunes de connaissances

Les modèles frontières plafonnent à un taux de Pass@1 de 90,8 % (Claude Opus 4.6). Ce plafond est défini par les erreurs L3U (Insolvables), qui persistent à travers tous les paradigmes d'entraînement.

• Plancher L3U : Même les meilleurs modèles présentent un taux L3U de 4,2 %.
• Lacunes de connaissances : Ces erreurs représentent de "vraies lacunes de connaissances" immunisées contre le passage à l'échelle du calcul au moment du test. L'union des 17 modèles évalués résout 96,2 % des problèmes, suggérant que la plupart des erreurs L3U sont spécifiques au modèle plutôt qu'intrinsèquement insolvables.

2. Le phénomène "Compiler vs Comprendre"

Le réglage fin supervisé (SFT) et le RL réduisent principalement les erreurs L1 et L2 mais augmentent souvent les échecs L3.

• Effet du SFT : Le SFT agit comme un "sauvetage syntaxique", convertissant les échecs de compilation en soit un Succès (Pass) soit en échecs fonctionnels L3. Par exemple, le SFT sur un modèle 7B a réduit les erreurs L1 de 58,7 points de pourcentage mais a augmenté les erreurs totales L3 de 4,4 points.
• Effet du RL : Le réglage fin par RL réduit de la même manière les erreurs L1/L2 tout en augmentant les erreurs L3S et L3U. Le code nouvellement compilable échoue à l'étape fonctionnelle, révélant que le modèle a appris à produire une syntaxe valide sans acquérir une compréhension matérielle holistique.
• Conclusion : Les techniques d'alignement (SFT/RL) apprennent aux modèles à compiler, pas nécessairement à concevoir.

3. Opportunités de passage à l'échelle au moment de l'inférence

Les modèles spécialisés en RTL présentent les taux de L3S les plus élevés (11–12 %), nettement supérieurs aux modèles frontières (1,2–8,8 %).

• Cela indique que les modèles spécialisés possèdent les connaissances requises mais les appliquent de manière incohérente.
• Par conséquent, les modèles spécialisés en RTL bénéficient davantage du passage à l'échelle au moment de l'inférence (échantillonnage Best-of-N) que les modèles frontières généraux, car leurs erreurs sont largement récupérables.

4. Généralisation et stabilité du RL

• Transfert de domaine transverse : Le réglage fin par RL sur des modèles pré-entraînés non-RTL (K2-Think) transfère avec succès les compétences de codage vers le RTL, réduisant les erreurs de compilation.
• Stabilisation : Les modèles ayant un pré-entraînement RL de domaine général préalable (E2) ont montré une stabilité quasi parfaite, conservant les problèmes précédemment résolus tout en acquérant de nouvelles capacités. En revanche, les modèles sans ce pré-entraînement (E1) ont présenté des régressions significatives (ex. 13 problèmes passant de Pass à L3U), suggérant que le RL général agit comme un stabilisateur de capacité.

Signification et affirmations

Le papier soutient que les limitations actuelles des LLM en conception matérielle ne sont pas simplement une question de volume de données ou de réglage d'alignement, mais une contrainte fondamentale du connaissances de pré-entraînement.

1. Limites de l'alignement : Le SFT et le RL ne créent pas de nouvelle compréhension matérielle ; ils ne font qu'exposer les lacunes de connaissances existantes en permettant aux modèles de passer les contrôles de syntaxe et de sémantique requis pour atteindre l'étape de vérification fonctionnelle.
2. Taxonomie actionnable : La division L3S/L3U fournit un outil de diagnostic critique. Les erreurs L3S peuvent être atténuées via le passage à l'échelle au moment de l'inférence, tandis que les erreurs L3U nécessitent des améliorations au niveau du modèle (ex. pré-entraînement spécifique au RTL avec des motifs de raisonnement temporel).
3. Diversité des modèles : La haute complémentarité entre les familles de modèles (où l'union des modèles résout 96,2 % des problèmes) suggère que les méthodes d'ensemble ou les stratégies de routage pourraient presque éliminer les échecs fonctionnels sans percée architecturale.
4. Directions futures : Les auteurs concluent que l'avancement du domaine nécessite un passage des interventions d'alignement vers des études de raisonnement de modèle, en se concentrant spécifiquement sur les stratégies de pré-entraînement qui incorporent le raisonnement temporel matériel et en tirant parti de la diversité des modèles pour adresser les lacunes de connaissances complémentaires.

Les auteurs maintiennent une position modeste, reconnaissant que leurs conclusions sont limitées par le nombre d'itérations (K=10) et le cadre d'évaluation en un seul tour, ce qui peut ne pas refléter pleinement les flux de travail agentiques et itératifs capables de résoudre automatiquement de nombreuses erreurs L1/L2.