iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation

本論文は、物理設計におけるTclスクリプト生成の課題に対処するため、データ合成パイプラインと2段階学習戦略を用いて開発されたドメイン適応型LLM「iScript」と、その性能を評価する包括的なベンチマーク「iScript-Bench」を提案し、既存の最先端モデルを上回る精度を達成したことを示しています。

要約

🏗️ 1. 背景：なぜこんな研究が必要なの？

半導体（スマホや PC の脳みそ）を作る工程は、現代では非常に複雑です。これを設計するエンジニアは、**「Tcl（テクル）」**という特殊なプログラミング言語で、何千行にも及ぶ「指示書（スクリプト）」を手書きで書いています。

• 現状の悩み：
  • この指示書を書くのは、熟練の職人しかできません。
  • 新人が入っても、すぐに覚えられるようなものではありません。
  • 間違った指示を書くと、何十億円もする機械が壊れたり、製品が不良品になったりします。

そこで、「AI（大規模言語モデル）に書かせてしまおう！」と考えたのですが、普通の AI はこの分野に弱かったのです。

• 理由： 半導体業界の指示書は、一般のプログラミングとは全く違う「専門用語」や「特殊なルール」ばかり。しかも、そのデータは企業秘密で公開されていないため、AI が勉強する教材が不足していました。

🤖 2. 解決策：「iScript」という新しい AI

この研究チームは、**「iScript（アイ・スクリプト）」**という、半導体設計に特化した AI を開発しました。

📚 勉強法：「独学」から「師匠との修行」へ

普通の AI は、ネット上の一般的なデータで勉強しただけです。しかし、iScript は以下のような特別なトレーニングを受けました。

1. 教材の自作（データ合成）：
   公開されていない教材がないので、チームは「AI 同士」を使って、指示書（スクリプト）と、それを作るための「思考プロセス（CoT）」を大量に作り出しました。
   • 例え話： 料理のレシピ本がないので、シェフ（AI）に「この料理を作った手順を逆算して、レシピと『なぜこうしたのか』という理由」を 1 万個も作ってもらい、それを教材にしたようなものです。
2. 2 段階トレーニング：
   • 第 1 段階（語彙力アップ）： まず、Tcl という言語の「文法」や「単語」を徹底的に覚えさせます。
   • 第 2 段階（思考力アップ）： 次に、「ユーザーの要望（例：『ここを広くして』）」を聞いて、どうすればいいかを論理的に考え、指示書を書く練習をさせます。

📝 3. 評価：「本当に正しいの？」をどうチェックする？

AI が作った指示書が正しいかどうかをチェックするのは、半導体業界では非常に難しい問題です。

• 問題点： 実際の機械（高価な半導体製造装置）で動かしてテストするのは、時間もお金もかかりすぎて現実的ではありません。
• 解決策（2 ステップ検証）：
  1. 文法チェック（静的検証）： 言葉の使い方が間違っていないか、軽いテスト環境でチェックします。
  2. 意味チェック（AI による評価）： 文法が合っているものだけを、もう一人の「AI 審査員」に見せます。この審査員は、専門知識を持って「この指示書は、本当にユーザーの要望を満たしているか？」を判断します。

🏆 4. 結果：iScript の活躍

チームは「iScript-Bench」という、半導体設計のテスト問題集も作りました。これを使って、iScript と他の有名な AI（GPT-4 や Gemini など）を比べました。

• 結果：
  • iScript が圧勝！ 文法の正しさも、意味の正しさも、他の AI よりもはるかに高いスコアを出しました。
  • 特に、難しい問題（L3 レベル）になると、他の AI はほとんど正解できなくなりましたが、iScript はまだ正解していました。

💡 まとめ：何がすごいのか？

この研究のすごいところは、「データがないから AI は作れない」という常識を覆した点です。

• データ不足を AI で補う： 教材がないなら、AI 同士で教材を作り出す。
• 専門特化： 汎用的な AI に、業界の「暗黙のルール」や「思考の癖」を徹底的に叩き込んだ。
• 信頼できる評価： 高価な機械を使わずに、AI 同士で正確さをチェックする方法を開発した。

日常の例えで言うと：
「料理の名人になるには、何十年も修行が必要だ」と言われていたのに、**「AI に『なぜそうするのか』という理由まで含めた 1 万個のレシピと、その理由を徹底的に学ばせたところ、新人でもプロ並みの料理が作れるようになった」**という感じです。

これにより、半導体設計の現場では、新人でもすぐに指示書が書けるようになり、開発スピードが劇的に上がることが期待されています。

技術概要

論文要約：iScript

物理設計用 Tcl スクリプト生成のためのドメイン適応型大規模言語モデルとベンチマーク

1. 背景と課題 (Problem)

現代の半導体設計（ASIC）における物理設計（Physical Design, PD）工程は、ナノメートル単位の微細化に伴い極めて複雑化しており、Cadence Innovus などの EDA ツールを制御する Tcl スクリプトの作成が不可欠です。しかし、この分野における LLM（大規模言語モデル）の適用には以下の重大な課題が存在します。

• データ不足: 産業用ワークフローは機密性が高いため、公開された高品質な物理設計用 Tcl スクリプトのデータセットが存在せず、学習データが極端に不足しています。
• ドメイン固有の難易度: ツール固有のコマンドやオプションは専門的かつ希薄な語彙であり、一般的な LLM はこれらを十分に学習していません。また、配置（Placement）や配線（Routing）などのコマンド間には強い意味的結合があり、自然言語の要件を実行可能なスクリプトに変換することが困難です。
• 評価基準の欠如: 物理設計スクリプトの正しさを検証するには、商用 EDA ツールでの実行が必要ですが、これはコストが高く再現性が低いため、既存の研究では構文チェックのみや人間の主観的な評価に頼らざるを得ず、体系的なベンチマークが存在しませんでした。

2. 提案手法 (Methodology)

著者らは、これらの課題を解決するために、iScript（ドメイン適応型 LLM）とiScript-Bench（専用ベンチマーク）、およびデータ合成パイプラインと二段階検証フレームワークを提案しました。

A. データ合成パイプライン (Data Synthesis Pipeline)
学習データの不足を補うため、以下の 3 段階のプロセスで 1 万組の「要件 (Requirement) - 推論 (CoT) - スクリプト (Script)」ペアを構築しました。

1. スクリプト生成: 公開されている EDA ツールのマニュアルや技術コミュニティからコマンドを抽出し、マルチエージェントシステムを用いて Tcl スクリプト断片を大量に生成（組み合わせ生成）。
2. 静的構文検証: 生成されたスクリプトを Tcl Linter（静的構文チェッカー）に通し、構文エラーを排除して構文的に正しいスクリプトのみを抽出。
3. 要件逆推論と CoT 生成: 強力な教師モデル（GPT-4.1）を用いて、正しいスクリプトから「自然言語の要件」を逆推論し、さらに「なぜそのスクリプトが要件を満たすか」を説明する Chain-of-Thought (CoT) を生成。これにより、高品質な教師データを作成。

B. モデルトレーニング (iScript)
ベースモデルとしてQwen3-8Bを採用し、以下の 2 段階のトレーニング戦略を適用しました。

1. ドメイン適応型継続前学習 (CPT): Innovus Tcl の構文や専門用語をモデルに埋め込むため、大量の Tcl スクリプトで継続学習を行い、Tcl 言語への「流暢さ」を向上させます。
2. 教師あり微調整 (SFT) with CoT: 要件からスクリプトへのマッピングを学習させます。CoT データを含めることで、単なるコード生成ではなく、設計意図に基づいた論理的な推論プロセスをモデルに習得させます。

C. 評価フレームワーク (Evaluation Strategy)
商用ツールなしでスクリプトの正しさを評価する2 段階検証フレームワークを提案しました。

1. 静的構文検証: 軽量な物理設計サンドボックス環境でスクリプトを実行し、エラーログ（** ERROR:）の有無で構文の正しさを判定。
2. LLM ベースの機能評価: 構文通過スクリプトに対し、専門知識（コマンド定義やオブジェクト特性）をプロンプトに付与した評価用 LLM（Gemini-2.5-pro）に、要件と参照スクリプト（Golden Script）を提示し、機能の正しさを判定させます。

D. ベンチマーク (iScript-Bench)
物理設計スクリプト生成専用の初のベンチマークです。

• タスクカテゴリ: 5 分野（設計情報照会、ネットリスト分析、フロアプラン調整、配置最適化、タイミング分析）を網羅。
• 難易度: 3 レベル（単一コマンド、複数コマンドの組み合わせ、複雑なロジック）に分類。
• データ規模: 116 件のテストケース（構文・機能両方の評価対象）。

3. 実験結果 (Results)

既存の最先端 LLM（GPT-4.1, Gemini-2.5-pro, Claude-sonnet-4.5, DeepSeek-V3.1）と比較評価を行いました。

• 総合性能: iScript はすべてのカテゴリと難易度において、他の汎用 LLM を凌駕しました。
  • Pass@1 (構文): iScript は 59.48%（2 位の Gemini は 31.03%）。
  • Pass@1 (機能): iScript は 18.97%（2 位の Gemini は 14.66%）。
  • Pass@5 (構文): iScript は 91.38% と、ほぼ完璧に近いスコアを達成。
• 難易度別: 最も難しいレベル（L3）においても、他のモデルが機能正解率 0% に陥る中で、iScript は 11.54% の正解率を維持し、複雑なタスクへの耐性が高いことを示しました。
• 人間との比較: LLM による機能評価の信頼性を検証するため、100 件のスクリプトを熟練エンジニアに評価させました。LLM が「正解」と判定した 39 件は、すべて人間の評価（42 件）に含まれており、**偽陽性（誤って正解と判定すること）が 0%**であることを確認しました。

4. 主な貢献 (Key Contributions)

1. iScript の開発: 物理設計（PD）用 Tcl スクリプト生成に特化した、CPT+SFT と CoT 監督学習を組み合わせたドメイン適応型 LLM。
2. iScript-Bench の提案: 物理設計スクリプト生成を評価するための初の標準ベンチマーク（5 カテゴリ、3 難易度レベル）。
3. スケーラブルな検証フレームワーク: 商用 EDA ツールへの依存なしに、構文と機能の両方を再現性高く評価できる 2 段階検証手法の確立。
4. 高品質データ合成パイプライン: 構文検証と CoT 生成を組み合わせた、専門分野におけるデータ不足を解消する新しいデータ作成手法。

5. 意義と将来展望 (Significance & Future Work)

この研究は、EDA 分野における「LLM + 物理設計」の自動化を推進する重要なマイルストーンです。特に、機密データが存在しない分野において、合成データとドメイン適応技術を用いて高品質なモデルを構築し、かつ再現性のある評価基準を確立した点は画期的です。

今後の課題:

• 学習データのさらなる拡充（特に複雑なタスクの組み合わせ理解の向上）。
• 完全自動の検証システム（実際の EDA ツール実行結果に基づく評価）の構築。

本論文は、EDA 分野における AI 活用が、単なるコード生成から、信頼性の高い物理設計自動化へと進化するための基盤を提供しています。