iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation

Cet article présente iScript, un modèle de langage adapté au domaine de la conception physique pour la génération de scripts Tcl Innovus, ainsi que la benchmark iScript-Bench, en surmontant le manque de données grâce à une pipeline de synthèse multi-étapes et en démontrant des performances supérieures aux modèles d'état de l'art grâce à une stratégie d'entraînement en deux étapes et un cadre de vérification rigoureux.

L'essentiel

Imaginez que vous êtes un architecte de circuits électroniques ultra-complexes, comme si vous construisiez une mégalopole miniature à l'intérieur d'une puce de silicium. Pour que cette ville fonctionne, vous devez donner des ordres précis à des machines géantes (les outils de conception). Ces ordres s'écrivent dans un langage spécial et très pointu appelé Tcl.

Le problème ? Ce langage est comme un dialecte oublié, très difficile à apprendre, et il n'y a presque aucun manuel public pour l'apprendre. Les ingénieurs humains passent des années à maîtriser ces codes, et une seule erreur peut faire s'effondrer toute la "ville" électronique.

C'est ici qu'intervient iScript, présenté dans cet article comme un "super-assistant" intelligent. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Un élève brillant mais ignorant

Les intelligences artificielles actuelles (comme les grands modèles de langage) sont comme des étudiants brillants qui ont lu tous les livres du monde, sauf ceux sur la conception de puces électroniques. Si vous leur demandez d'écrire du code Tcl, ils sont perdus car ils n'ont jamais vu ce "dialecte" spécifique. Ils ne connaissent pas les règles du jeu.

2. La Solution : iScript, le spécialiste formé sur mesure

Les auteurs ont créé iScript, un modèle d'IA spécialisé uniquement pour ce travail. Pour le former, ils ont dû être très ingénieux car il n'y avait pas assez de données d'entraînement (comme si on voulait apprendre à quelqu'un à conduire sans avoir de voitures ni de routes).

Ils ont utilisé une usine à données en trois étapes :

• Étape 1 : La cuisine à l'envers. Au lieu de donner des recettes (des ordres) pour obtenir des plats (des scripts), ils ont pris des milliers de scripts existants et ont demandé à une IA très puissante de deviner : "Quel ordre humain aurait pu produire ce plat ?". C'est comme si un chef goûtait un gâteau et déduisait la recette exacte.
• Étape 2 : Le contrôle qualité. Ils ont fait passer tous ces scripts générés par un filtre automatique (un "linteur") pour s'assurer qu'ils ne contenaient pas de fautes de grammaire.
• Étape 3 : L'explication. Ils ont demandé à l'IA d'ajouter une "pensée étape par étape" (Chain-of-Thought) à chaque script. C'est comme demander à l'élève non seulement de donner la réponse, mais d'écrire son brouillon pour montrer comment il a trouvé la solution.

Résultat : Ils ont créé un manuel d'apprentissage de 10 000 leçons parfaites, avec des exercices, des solutions et des explications détaillées.

3. L'Entraînement : Deux niveaux de formation

Pour transformer un modèle généraliste en expert iScript, ils ont utilisé une méthode en deux temps :

1. L'immersion (Pré-entraînement) : L'IA a lu des milliers de lignes de code Tcl pour s'habituer au "son" et à la structure du langage. C'est comme apprendre à parler couramment un dialecte avant de pouvoir écrire des poèmes.
2. L'apprentissage par l'exemple (Affinage) : Ensuite, on lui a donné les 10 000 leçons créées précédemment pour lui apprendre à répondre précisément aux demandes des ingénieurs.

4. Le Test : iScript-Bench, le permis de conduire

Comment savoir si l'IA est vraiment bonne ? On ne peut pas simplement lui demander de coder, car exécuter ces codes sur de vrais outils industriels coûte une fortune et prend trop de temps.

Les auteurs ont donc créé iScript-Bench, un terrain de jeu virtuel (un banc d'essai) avec trois niveaux de difficulté :

• Niveau 1 (Débutant) : Écrire une ligne simple.
• Niveau 2 (Intermédiaire) : Combiner plusieurs commandes.
• Niveau 3 (Expert) : Gérer des scénarios complexes avec de la logique.

Pour vérifier les réponses, ils utilisent une double sécurité :

1. Le vérificateur de grammaire : Un robot vérifie si le code est syntaxiquement correct (pas de fautes de frappe).
2. Le juge IA : Une autre IA, très bien informée, lit le code et dit : "Est-ce que ce code ferait vraiment ce que l'ingénieur voulait ?".

5. Les Résultats : Le champion du jeu

Les tests montrent que iScript bat largement les géants actuels de l'IA (comme GPT-4, Gemini, etc.).

• Sur les tâches simples, il est quasi parfait.
• Sur les tâches complexes, là où les autres modèles échouent complètement (0 % de réussite), iScript réussit encore à trouver des solutions correctes.

En résumé

Imaginez que vous deviez apprendre à piloter un avion de chasse. Les autres IA sont comme des pilotes de ligne très expérimentés qui n'ont jamais touché à un avion de combat. iScript, lui, est un pilote qui a passé des mois dans un simulateur ultra-réaliste, entraîné spécifiquement sur les commandes de ce type d'avion.

Cet article montre que pour des domaines très techniques comme la conception de puces, il ne suffit pas d'avoir une IA "générale" intelligente. Il faut la spécialiser, lui donner les bons manuels d'entraînement, et la tester sur des terrains de jeu réalistes. iScript est cette première étape vers une automatisation fiable de la conception électronique.

Résumé technique

Voici un résumé technique détaillé de l'article « iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation », présenté en français.

1. Problématique

La conception physique (Physical Design - PD) des circuits intégrés modernes repose massivement sur des scripts Tcl pour automatiser les flux de placement et de routage (Place-and-Route, P&R) dans des outils industriels comme Cadence Innovus. Cependant, l'automatisation de cette tâche via des Modèles de Langage (LLM) généraux se heurte à trois obstacles majeurs :

• Pénurie de données : Les scripts de conception physique sont propriétaires et rares dans les ensembles de données publics, limitant l'entraînement des modèles.
• Sémantique spécifique : Les commandes Tcl sont hautement spécialisées, avec une sémantique forte et un couplage complexe (ex: la région de placement doit correspondre à la géométrie du plan de masse). Les LLM généraux manquent de ce vocabulaire et de ce contexte.
• Absence de benchmark et d'évaluation fiable : Il n'existe pas de norme pour évaluer la génération de scripts Tcl. L'exécution complète dans un outil EDA commercial est coûteuse et non reproductible, tandis que les vérifications purement syntaxiques sont insuffisantes pour garantir la fonctionnalité.

2. Méthodologie

Les auteurs proposent une approche complète comprenant la création de données, l'entraînement d'un modèle spécialisé et un cadre d'évaluation innovant.

A. Pipeline de Synthèse de Données (Data Synthesis)

Pour surmonter le manque de données, l'équipe a développé un pipeline multi-étapes générant un jeu de données de 10 000 tuples (Exigence, Chaîne de Pensée, Script) :

1. Génération de scripts : Extraction de commandes Tcl à partir de manuels et de communautés, suivie d'une génération de fragments de scripts via un système multi-agents.
2. Validation syntaxique statique : Filtrage des scripts invalides à l'aide d'un linter Tcl pour ne conserver que des structures correctes.
3. Inférence inverse et CoT : Utilisation d'un modèle enseignant puissant (GPT-4.1) pour :
   • Inférer l'exigence : Déduire l'intention naturelle (en langage naturel) qui a généré le script valide.
   • Générer la Chaîne de Pensée (CoT) : Créer une explication étape par étape du raisonnement logique reliant l'exigence au script.

B. Entraînement du Modèle iScript

Le modèle de base est Qwen3-8B, choisi pour ses performances en codage et ses capacités bilingues (anglais/chinois). L'entraînement suit une stratégie à deux étapes :

1. Pré-entraînement continu adapté au domaine (CPT) : Le modèle est exposé à un corpus de scripts Tcl bruts pour internaliser la syntaxe, le vocabulaire et les patterns spécifiques à Innovus.
2. Affinement supervisé (SFT) avec CoT : Le modèle apprend à mapper les exigences utilisateurs aux scripts corrects en utilisant les données de raisonnement (CoT). Cela permet au modèle de comprendre non seulement quoi générer, mais pourquoi, améliorant ainsi la logique complexe.

C. iScript-Bench et Cadre d'Évaluation

Les auteurs introduisent iScript-Bench, le premier benchmark dédié à la génération de scripts Tcl pour le P&R.

• Structure : 116 tâches réparties en 5 catégories (Requête d'information, Analyse de netlist, Ajustement du plan de masse, Optimisation du placement, Analyse temporelle) et 3 niveaux de difficulté (L1 à L3).
• Stratégie de vérification en deux étapes :
  1. Vérification syntaxique statique : Exécution des scripts dans un bac à sable (sandbox) léger pour détecter les erreurs de syntaxe (logs d'erreurs).
  2. Évaluation fonctionnelle par LLM : Un LLM évaluateur (augmenté de connaissances techniques) compare le script généré à une référence ("golden script") et aux exigences, vérifiant la logique fonctionnelle sans nécessiter l'exécution complète sur un outil EDA lourd.

3. Résultats Expérimentaux

Les expériences comparent iScript à quatre LLMs de pointe (GPT-4.1, Gemini-2.5-pro, Claude-sonnet-4.5, DeepSeek-V3.1) sur le benchmark iScript-Bench.

• Performance globale : iScript surpasse systématiquement les modèles généraux.
  • Pass@1 (Syntaxe) : 59,48 % pour iScript contre 31,03 % pour le meilleur concurrent (Gemini).
  • Pass@1 (Fonctionnel) : 18,97 % pour iScript contre 14,66 % pour Gemini.
  • Pass@5 (Syntaxe) : 91,38 % pour iScript.
• Robustesse face à la difficulté : Alors que les performances des modèles généraux chutent drastiquement sur les tâches complexes (Niveau L3), iScript maintient un taux de réussite syntaxique élevé (61,54 % en Pass@1 sur L3).
• Fiabilité de l'évaluation : Une étude comparative avec des experts humains a montré que l'évaluateur LLM utilisé dans le cadre de vérification a une précision quasi parfaite (aucun faux positif), agissant comme une estimation conservative mais fiable de la performance.

4. Contributions Clés

1. iScript : Un modèle LLM adapté au domaine, entraîné via une stratégie CPT+SFT avec supervision par CoT, capable de générer des scripts Tcl Innovus syntaxiquement valides et sémantiquement pertinents.
2. iScript-Bench : Le premier benchmark standardisé pour l'évaluation de la génération de scripts Tcl en conception physique, couvrant divers scénarios et niveaux de difficulté.
3. Pipeline de données : Une méthode novatrice de synthèse de données combinant extraction de commandes, validation statique et inférence inverse pour créer des données d'entraînement de haute qualité à partir de sources limitées.
4. Cadre d'évaluation reproductible : Une stratégie de vérification hybride (syntaxe + évaluation par LLM) qui permet une comparaison scalable et reproductible sans dépendre de l'exécution coûteuse d'outils EDA propriétaires.

5. Signification et Impact

Ce travail comble un vide critique dans la recherche « EDA + LLM ». Il démontre que l'adaptation de domaine (via CPT) et l'utilisation de données synthétiques riches en raisonnement (CoT) sont essentielles pour appliquer les LLMs à des tâches d'ingénierie complexes comme le placement et le routage.

En fournissant un benchmark et une méthode d'évaluation reproductibles, iScript établit une nouvelle référence pour la communauté, facilitant les comparaisons futures et accélérant le développement d'outils d'automatisation pour les ingénieurs en conception physique. Cela pourrait réduire considérablement la charge de travail manuelle et la barrière à l'entrée pour les nouveaux ingénieurs dans les nœuds technologiques avancés.

Limites et perspectives : Les auteurs notent que la quantité de données d'entraînement reste un goulot d'étranglement pour les tâches extrêmement complexes et que l'évaluation fonctionnelle basée sur LLM, bien que fiable, ne remplace pas encore l'exécution réelle dans un outil EDA. Les travaux futurs viseront à collecter plus de données et à développer un système d'évaluation automatique complet.