SiliconMind-V1: Multi-Agent Distillation and Debug-Reasoning Workflows for Verilog Code Generation

L'article présente SiliconMind-V1, un cadre multi-agents qui génère des données d'entraînement axées sur le raisonnement et intègre une vérification par banc d'essai pour permettre à des modèles de langage localement affinés de générer, tester et déboguer itérativement du code Verilog, surpassant ainsi les méthodes actuelles en matière de correction fonctionnelle avec moins de ressources.

L'essentiel

Voici une explication simple de la recherche SiliconMind-V1, imagée comme si nous parlions d'un atelier d'artisans plutôt que de lignes de code complexes.

🏭 Le Problème : L'Architecte qui a peur de l'erreur

Imaginez que vous devez construire une maison très complexe (un circuit électronique). Pour cela, vous avez besoin d'un architecte capable de dessiner les plans (le code Verilog).

Jusqu'à récemment, pour obtenir ces plans, on faisait appel à des "super-architectes" payants (les gros modèles d'intelligence artificielle propriétaires comme GPT-4). Mais il y a trois gros problèmes :

1. C'est cher : Chaque dessin coûte de l'argent.
2. C'est privé : Vous devez montrer vos plans secrets à un inconnu.
3. C'est aveugle : L'architecte vous donne un plan, mais il ne vérifie pas si la maison va vraiment tenir debout. Il se contente de dire "ça a l'air joli".

💡 La Solution : SiliconMind-V1, le "Jeune Apprenti Génial"

Les chercheurs de Taiwan et d'Harvard ont créé SiliconMind-V1. Ce n'est pas un géant coûteux, mais un petit modèle d'intelligence artificielle (comme un apprenti) qu'ils ont entraîné localement, sans payer personne, et sans avoir besoin d'outils externes.

Leur secret ? Ils n'ont pas juste appris à l'apprenti à dessiner des plans. Ils lui ont appris à penser, tester et réparer ses propres erreurs.

Voici comment ils ont fait, étape par étape, avec une analogie culinaire :

1. La Cuisine de l'Entraînement (Le Pipeline Multi-Agents)

Au lieu de donner des milliers de recettes toutes faites à l'apprenti, les chercheurs ont monté une petite équipe de robots cuisiniers (des agents) pour créer un livre de cuisine parfait :

• L'Agent Réviseur : Il prend une vieille recette (un problème) et s'assure qu'elle est claire. "Ah, tu as oublié de dire combien de personnes tu nourris ?"
• L'Agent Solution : Il essaie de cuisiner le plat. Mais attention, il ne donne pas juste le plat fini. Il écrit un journal de bord (le "raisonnement") : "J'ai mis trop de sel, donc je vais enlever...". C'est crucial : l'apprenti apprend comment il a trouvé la solution, pas juste la solution elle-même.
• L'Agent Test : C'est le critique culinaire. Il goûte le plat. Si c'est trop salé, il ne dit pas juste "ça ne passe pas". Il écrit un rapport : "Le sel est trop fort, la sauce ne lie pas".
• L'Agent Debug (Réparateur) : Si le plat est raté, il lit le rapport du critique et dit à l'Agent Solution : "Refais-le, mais en suivant ces conseils précis".

Grâce à cette équipe, ils ont créé un jeu de données où l'apprenti voit non seulement la bonne recette, mais aussi comment on corrige les erreurs.

2. L'Entraînement en "Auto-Correction"

Une fois l'apprenti (SiliconMind-dev) un peu formé, ils l'ont mis en situation réelle :

• On lui donne un problème.
• Il essaie de cuisiner.
• S'il se trompe, il doit lire son propre rapport d'erreur, comprendre pourquoi c'est raté, et réécrire la recette.

C'est comme si l'apprenti cuisinier devait non seulement cuisiner, mais aussi devenir son propre inspecteur de qualité. Il apprend à se dire : "Attends, j'ai oublié le four, je vais corriger ça."

3. Le Résultat : Un Apprenti qui vaut des Maîtres

Le résultat final, SiliconMind-V1, est incroyable :

• Moins cher : Il a été entraîné avec beaucoup moins de ressources (environ 9 fois moins cher et plus rapide que les méthodes actuelles).
• Plus intelligent : Il ne se contente pas de donner une réponse. Il peut utiliser trois stratégies :
  1. Normal : Il donne la réponse directement.
  2. Réflexion profonde : Il prend son temps pour réfléchir à plusieurs scénarios avant de répondre.
  3. Agentique : Il joue à plusieurs rôles lui-même (il cuisine, il goûte, il corrige, il re-cuisine) jusqu'à ce que le plat soit parfait.

🏆 Pourquoi c'est important ?

Imaginez que vous avez un petit atelier de réparation de voitures.

• Les anciennes méthodes : Vous envoyez la voiture chez un concessionnaire très cher qui vous dit "C'est réparé" sans jamais vous montrer comment il a fait. Si ça ne marche pas, vous payez encore plus.
• SiliconMind-V1 : C'est un mécanicien local qui a appris à diagnostiquer ses propres erreurs. Il vous dit : "J'ai cru que c'était le carburateur, mais en y réfléchissant, c'est la bougie. Je vais la changer."

En résumé :
Cette recherche montre qu'on n'a pas besoin de géants coûteux et fermés pour créer des puces électroniques. En créant un système où l'IA apprend à raisonner, tester et se corriger elle-même (comme un humain qui apprend de ses erreurs), on obtient un outil plus rapide, moins cher, plus privé et souvent plus fiable que les meilleurs experts actuels.

C'est comme passer d'un élève qui mémorise par cœur les réponses, à un élève qui comprend la logique et sait se corriger quand il se trompe. 🚀

Résumé technique

1. Problématique

La conception matérielle (Hardware Design) fait face à un défi croissant de productivité dû à la complexité des systèmes numériques modernes. Bien que les modèles de langage (LLM) aient montré des promesses pour générer du code Verilog, les approches existantes présentent plusieurs limitations majeures :

• Dépendance aux modèles propriétaires : La plupart des méthodes reposent sur des LLM commerciaux (GPT-4, Claude) ou des outils EDA (Electronic Design Automation) payants, ce qui pose des problèmes de coût, de confidentialité des données et de reproductibilité.
• Manque de vérification fonctionnelle : De nombreuses méthodes se concentrent uniquement sur la correction syntaxique ou utilisent des récompenses basées sur le résultat final (outcome-based), sans enseigner au modèle comment raisonner ou pourquoi un code échoue.
• Absence d'auto-correction : Les modèles actuels peinent à déboguer leurs propres erreurs sans outils externes, limitant leur capacité à généraliser sur des tâches complexes de conception RTL (Register-Transfer Level).
• Rareté des données de qualité : Il existe un manque de jeux de données d'entraînement ouverts, vérifiés fonctionnellement et enrichis de traces de raisonnement pour la génération de Verilog.

2. Méthodologie : Le Framework SiliconMind

L'article propose SiliconMind-V1, un cadre unifié combinant la distillation multi-agents et des flux de travail de raisonnement et de débogage. L'approche repose sur deux composantes principales :

A. Pipeline de Génération de Données d'Entraînement (Multi-Agent)

Ce pipeline automatise la création de données d'entraînement riches en raisonnement, sans utiliser de modèles commerciaux pendant la phase de génération finale. Il utilise un modèle enseignant open-source puissant (gpt-oss-120b) pour orchestrer quatre agents spécialisés :

1. Agent de Révision : Affine les problèmes de conception (spécifications) à partir de codes sources existants pour garantir la cohérence entre le problème et la solution.
2. Agent de Solution : Génère du code Verilog en produisant d'abord une trace de raisonnement (reasoning trace) avant le code final.
3. Agent de Testbench : Crée des bancs de test (testbenches) compatibles avec des simulateurs open-source (Icarus Verilog) pour valider fonctionnellement le code.
4. Agent de Vérification : Simule le code avec le banc de test. En cas d'échec, il diagnostique l'erreur (code ou testbench) et demande une correction itérative.

Phase d'Auto-Correction (Self-Correction) :
Une fois un modèle intermédiaire (SiliconMind-dev) entraîné, le pipeline l'utilise pour identifier ses propres faiblesses :

• Le modèle tente de résoudre des problèmes et génère des échecs (att-) et des succès (att+).
• Un Agent de Test analyse les échecs pour produire un rapport de test détaillé.
• Un Agent de Débogage utilise ce rapport pour raisonner sur la correction et générer une solution corrigée.
• Cela crée un jeu de données enrichi incluant des traces de test et de débogage (test & debug traces).

B. Entraînement du Modèle (SiliconMind-V1)

Le modèle final est obtenu par Fine-Tuning Supervisé (SFT) sur ces données multi-facettes. L'objectif est d'apprendre au modèle à :

• Raisonner avant de coder.
• Générer des rapports de test internes.
• Déboguer son propre code en se basant sur ces rapports, sans outils externes.

C. Moteur d'Inférence Multi-Stratégies

Pour l'utilisation, trois stratégies sont proposées pour mettre à l'échelle l'effort de raisonnement (Test-Time Scaling) :

1. Régulière : Génération directe avec un prompt de réflexion.
2. Deep Thinking : Le modèle est contraint de générer une solution, de la tester et de la déboguer dans une seule trace de raisonnement longue.
3. Agentic : Séparation programmatique en trois étapes (Solution, Test, Debug) permettant des itérations multiples jusqu'à satisfaction, simulant un système multi-agents autonome.

3. Contributions Clés

• Premier Framework Open-Source Complet : Première proposition d'un cadre capable de générer, tester et déboguer du code Verilog localement, sans dépendre de modèles commerciaux ou d'outils EDA propriétaires.
• Pipeline de Données Multi-Agents : Création automatisée d'un jeu de données de 36k tuples (problème, raisonnement, code, banc de test, traces de débogage), résolvant le problème de pénurie de données de haute qualité dans le domaine matériel.
• Apprentissage par Raisonnement et Auto-Correction : Le modèle apprend non seulement à coder, mais aussi à simuler mentalement le comportement du circuit et à corriger ses erreurs via des rapports de test générés par lui-même.
• Efficacité et Évolutivité : Démonstration que des modèles de petite taille (4B à 8B) peuvent surpasser des modèles beaucoup plus grands grâce à une distillation de raisonnement ciblée.

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois benchmarks majeurs : VerilogEval-v2, RTLLM-v2 et CVDP.

• Performance Supérieure : SiliconMind-V1 (basé sur Qwen2.5-Coder-7B) surpasse l'état de l'art QiMeng-CodeV-R1 (le précédent leader) en termes de justesse fonctionnelle (Pass@1), notamment sur les benchmarks VerilogEval-v2-NTU et CVDP.
• Efficacité des Ressources :
  • Coût d'entraînement : SiliconMind-V1 a été entraîné avec 36k points de données et 92 heures GPU H100, contre 87k points et 2656 heures GPU A100 pour CodeV-R1.
  • Accélération : Une accélération d'environ 9x en temps d'entraînement par rapport aux méthodes précédentes, tout en obtenant de meilleurs résultats.
• Généralisation : Les variantes de SiliconMind-V1 (sur des bases Qwen3-4B, Qwen3-8B et même Olmo-3-7B-Think) surpassent systématiquement CodeV-R1 sur plusieurs benchmarks, prouvant que la méthode de distillation de raisonnement est généralisable.
• Analyse d'Ablation : L'étude montre que l'ajout de la phase d'auto-correction (Self-Correction) améliore significativement la performance (gain moyen de ~4-6% en Pass@1), et que la stratégie "Agentic" offre le meilleur compromis précision/coût pour les tâches difficiles.

5. Signification et Impact

Ce travail marque une avancée significative dans l'automatisation de la conception matérielle assistée par IA :

1. Démocratisation : Il rend possible l'utilisation de LLM performants pour le Verilog dans des environnements privés et à faible coût, éliminant la barrière des API coûteuses.
2. Fiabilité Fonctionnelle : En intégrant la vérification fonctionnelle et le débogage directement dans le processus d'entraînement et d'inférence, le modèle produit du code plus fiable et moins sujet aux erreurs sémantiques.
3. Nouveau Paradigme d'Entraînement : Il démontre que l'entraînement sur des données de raisonnement et d'auto-correction (plutôt que sur de simples récompenses de résultat) est crucial pour la généralisation dans les tâches de conception complexe.
4. Reproductibilité : La disponibilité du pipeline et des modèles open-source favorise la recherche future et l'adoption industrielle sans verrouillage propriétaire.

En résumé, SiliconMind-V1 établit une nouvelle référence pour la génération de code Verilog par IA, prouvant qu'une approche centrée sur le raisonnement et l'auto-vérification, menée localement, peut surpasser les solutions commerciales coûteuses.