iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation

Dit paper introduceert iScript, een domein-aangepast LLM en bijbehorende benchmark die via een multi-stap data-synthesepijplijn en een tweestaps-verificatieframework effectief Tcl-scripts voor fysiek ontwerp genereert, waardoor de prestaties van bestaande modellen op dit gebied aanzienlijk worden verbeterd.

De kern

Stel je voor dat het ontwerpen van een moderne computerchip (zoals die in je smartphone) net zo complex is als het bouwen van een hele stad, maar dan in een ruimte kleiner dan een vingernagel. Om deze "stad" te bouwen, gebruiken ingenieurs een speciaal gereedschap genaamd Innovus. Maar om dit gereedschap te laten doen wat ze willen, moeten ze het besturen met een vreemde taal: Tcl.

Tcl is als een heel specifieke, oude dialect dat alleen door experts wordt gesproken. Als je één verkeerd woordje gebruikt, kan de hele stad (de chip) instorten.

Hier is wat dit paper, iScript, doet, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Taalbarrière"

Vroeger moesten ingenieurs elke regel code zelf typen. Dat is saai, foutgevoelig en duurt eeuwen.
Recentelijk zijn er slimme computers (AI's) gekomen die tekst kunnen schrijven, zoals een super-intelligente chatbot. Maar als je deze algemene chatbots vraagt om Tcl-code te schrijven voor chipontwerp, gaan ze het volledig mis.

• Waarom? Omdat ze die specifieke "Tcl-dialect" nooit hebben gehoord. Het is alsof je een Fransman vraagt om in het Japans een recept te schrijven voor een heel specifiek gerecht. Hij kent de grammatica, maar niet de ingrediënten.
• Het gebrek aan data: Er zijn ook heel weinig voorbeelden van goede Tcl-code beschikbaar op internet, omdat bedrijven hun geheimen bewaken. De AI heeft dus niets om van te leren.

2. De Oplossing: iScript (De Speciale Leraar)

De onderzoekers hebben een nieuwe AI gebouwd genaamd iScript. Ze hebben dit niet zomaar gedaan; ze hebben een slimme drie-stappenplan gebruikt om de AI te trainen:

• Stap 1: De "Kookboek" Generator (Data Synthese)
  Omdat er geen echte recepten (code) genoeg zijn, hebben ze een AI gebruikt om duizenden mogelijke recepten te bedenken door commando's te mixen en te matchen.
• Stap 2: De "Keurmeester" (Static Syntax Check)
  Een computer heeft al die nieuwe recepten gecontroleerd. Als er een grammaticafout in zat, werd het recept weggegooid. Alleen de perfect geschreven code bleef over.
• Stap 3: De "Uitlegger" (Chain-of-Thought)
  Dit is het slimste deel. Ze hebben een andere, super-slimme AI gevraagd om voor elk goed recept een uitleg te schrijven.
  • Voorbeeld: "Ik heb dit commando gebruikt omdat we eerst de basis moesten leggen voordat we de muren konden bouwen."
  • Zo leerde iScript niet alleen wat er moet worden getypt, maar ook waarom. Het leerde het redeneren achter de code.

Het resultaat is een AI die niet alleen de taal spreekt, maar ook begrijpt wat de ingenieur eigenlijk wil bereiken.

3. De Test: iScript-Bench (De Examenhal)

Hoe weet je of de AI het echt goed doet? Je kunt niet elke chip die de AI ontwerpt fysiek bouwen; dat is te duur en te langzaam.
Dus hebben de onderzoekers een examen bedacht (iScript-Bench):

• Ze hebben 116 verschillende taken gemaakt, variërend van "vraag me iets over de chip" (makkelijk) tot "ontwerp een complexe stroomkring" (heel moeilijk).
• Ze hebben een tweestaps-controle bedacht:
  1. De Grammatica-check: Kijkt de code wel kloppend? (Net als een spellingcontrole).
  2. De Logica-check: Een andere AI (die ook veel weet over chips) leest de code en zegt: "Ja, dit doet wat de opdrachtgever wilde."

4. De Resultaten: De Nieuwe Kampioen

Toen ze iScript lieten strijden tegen de bekendste AI's ter wereld (zoals GPT-4, Gemini en Claude), gebeurde er iets opmerkelijks:

• De grote, algemene AI's faalde vaak. Ze schreven code die er mooi uitzag, maar die technisch onzin was voor chipontwerp.
• iScript won overtuigend. Het schreef niet alleen code die geen fouten had, maar ook code die daadwerkelijk werkte voor de ingenieurs. Zelfs bij de moeilijkste taken bleef iScript veel beter presteren dan de concurrenten.

Samenvattend

Stel je voor dat je een meester-bouwer nodig hebt om een stad te bouwen.

• De oude manier: Je leert de bouwer alles zelf, regel voor regel.
• De algemene AI: Je vraagt een wiskundig genie om te bouwen, maar die heeft nog nooit een baksteen vastgehouden.
• iScript: Je neemt dat genie, geeft hem een jaar lang een opleiding in de bouw, leert hem de specifieke bouwregels van die ene stad, en laat hem oefenen met duizenden voorbeelden waarbij iemand uitlegt waarom elke baksteen op zijn plek ligt.

Dit paper laat zien dat als je AI's specifiek traint voor een heel moeilijke, specifieke taak (zoals chipontwerp), ze veel beter zijn dan de "alles-kunners". Het opent de deur voor een toekomst waar ingenieurs minder tijd kwijt zijn aan typen en meer tijd hebben voor creatief ontwerpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation" in het Nederlands.

Probleemstelling

De fysieke ontwerp (Physical Design - PD) fase van moderne ASIC-implementaties is extreem complex en vertrouwt zwaar op Tcl-scripting voor tools zoals Cadence Innovus. Dit vormt echter een groot knelpunt voor de industrie:

1. Data-schaarste: Er is een gebrek aan openbare, hoogwaardige trainingsdata voor PD-scripts vanwege de proprietaire aard van industriële workflows.
2. Domain-specifieke complexiteit: Generieke Large Language Models (LLMs) presteren slecht omdat de Tcl-commando's en opties een zeer gespecialiseerd, schaars vocabulaire vormen. Daarnaast is er een sterke semantische koppeling tussen commando's (bijv. plaatsing moet overeenkomen met de floorplan-geometrie), wat de vertaling van natuurlijke taal naar uitvoerbare code moeilijk maakt.
3. Gebrek aan benchmarks en evaluatie: Er bestaat geen gestandaardiseerde benchmark voor het evalueren van LLMs in dit domein. Bestaande methoden zijn vaak beperkt tot syntactische checks (die geen functionaliteit garanderen) of vereisen dure, niet-reproduceerbare uitvoering in commerciële EDA-tools.

Methodologie

De auteurs introduceren iScript, een domein-geadapted LLM, en iScript-Bench, de eerste benchmark specifiek voor deze taak. De aanpak omvat drie hoofdblokken:

1. Data Synthese Pipeline

Om het gebrek aan data op te lossen, ontwikkelden de auteurs een multi-stadia proces om een dataset van 10.000 tuples te genereren bestaande uit (Requirement, Chain-of-Thought, Script):

• Stadium 1 (Generatie): Extractie van commando's uit handleidingen en generatie van scriptfragmenten via een multi-agent systeem.
• Stadium 2 (Validatie): Toepassing van een statische Tcl-linter om syntactisch ongeldige scripts te filteren.
• Stadium 3 (Back-inference & CoT): Een krachtig "teacher model" (GPT-4.1) wordt gebruikt om de natuurlijke taal-vereisten ("requirement") te infereren uit de geldige scripts. Vervolgens genereert het model een Chain-of-Thought (CoT) uitleg die het redeneringsproces van het script stap-voor-stap beschrijft.

2. Trainingsstrategie (CPT + SFT)

Het basismodel is Qwen3-8B. De training volgt een tweestapsstrategie:

• Domain-Adaptive Continued Pre-Training (CPT): Het model wordt voorgeprogrammeerd met ruwe Tcl-scripts om de syntaxis en het vocabulaire van Innovus-Tcl te internaliseren ("fluentie").
• Supervised Fine-Tuning (SFT) met CoT: Het model wordt getraind op de gegenereerde tuples. Door de CoT-data te gebruiken, leert het model niet alleen wat het moet genereren, maar ook waarom (de semantische mapping van intentie naar actie).

3. Evaluatie Framework (Tweestapsverificatie)

Omdat volledige tool-uitvoering onpraktisch is, stellen ze een schaalbaar verificatieframework voor:

• Stap 1: Statische Syntaxisverificatie: Scripts worden uitgevoerd in een lichtgewicht "sandbox" (gebaseerd op een minimale fysieke layout). Scripts die fouten (** ERROR:) genereren, worden verworpen.
• Stap 2: LLM-gebaseerde Functionele Evaluatie: Scripts die de syntaxischeck doorstaan, worden beoordeeld door een LLM (Gemini-2.5-pro). Deze LLM krijgt extra context (commando-definities uit handleidingen) om te beoordelen of het script de beoogde functionaliteit bereikt, vergeleken met een "golden reference".

Belangrijkste Bijdragen

1. iScript: Een gespecialiseerd LLM voor het genereren van syntactisch correcte en semantisch betekenisvolle Tcl-scripts voor fysiek ontwerp, getraind via CPT en SFT met CoT-supervisie.
2. iScript-Bench: De eerste benchmark voor PD-Tcl-generatie, die 5 taakcategorieën (zoals Floorplan Adjustment, Timing Analysis) en 3 moeilijkheidsniveaus (L1-L3) omvat.
3. Verificatie Framework: Een reproduceerbaar, tool-onafhankelijk evaluatiesysteem dat statische syntaxiscontrole combineert met een kennis-verrijkte LLM voor functionele validatie.
4. Data Synthese: Een innovatieve pipeline die lage-kwaliteit data omzet in hoogwaardige (Requirement, CoT, Script) paren, specifiek voor Innovus-Tcl.

Resultaten

De prestaties van iScript werden vergeleken met state-of-the-art modellen (GPT-4.1, Gemini-2.5-pro, Claude, DeepSeek) op de iScript-Bench:

• Over het algemeen: iScript presteert significant beter dan alle generieke modellen op zowel syntactische als functionele correctheid.
• Pass@1 Scores: iScript behaalde een totale syntaxis-score van 59,48% en een functionele score van 18,97%. Dit is aanzienlijk hoger dan de tweede beste (Gemini: 31,03% syntaxis, 14,66% functie).
• Moeilijkheidsniveaus: iScript toont robuustheid bij complexe taken (L3). Waar andere modellen bij L3 vaak inzakken naar ~3-4% syntaxis-correctheid, behoudt iScript een score van 61,54%.
• Betrouwbaarheid: De LLM-gebaseerde functionele evaluatie toonde een hoge precisie aan bij vergelijking met menselijke experts (geen "false positives"), wat aangeeft dat de gerapporteerde scores niet overdreven zijn.

Betekenis en Impact

Dit werk is baanbrekend voor het domein van "EDA + LLM" omdat het de kloof overbrugt tussen generieke code-generatie en de strenge eisen van chipontwerp.

• Het bewijst dat domein-adaptatie en data-synthese essentieel zijn voor succes in nichedomeinen met schaarse data.
• Het introduceert een gestandaardiseerde benchmark, wat reproduceerbaarheid en eerlijke vergelijking tussen modellen mogelijk maakt voor de eerste keer in dit domein.
• Het biedt een praktische oplossing voor het evalueren van scripts zonder de kosten en beperkingen van commerciële EDA-tools, waardoor snellere iteratie en onderzoek mogelijk worden.

De auteurs erkennen wel beperkingen, zoals de nog steeds beperkte hoeveelheid trainingsdata voor zeer complexe logische combinaties en het feit dat een volledig geautomatiseerd uitvoeringssysteem (in plaats van een sandbox) de ultieme evaluatie zou zijn. Toekomstig werk richt zich op het verzamelen van meer data en het bouwen van een volledig geautomatiseerd evaluatiesysteem.