iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation

이 논문은 물리적 설계 Tcl 스크립트 생성의 데이터 부족 문제를 해결하기 위해 다단계 데이터 합성 파이프라인을 통해 구축된 대규모 언어 모델 'iScript'와 이를 평가하는 벤치마크를 제안하고, 이를 통해 기존 최첨단 모델보다 우수한 성능을 입증했습니다.

핵심

이 논문은 **"반도체 설계라는 매우 어렵고 전문적인 일을 도와주는 새로운 AI 비서 (iScript)"**를 소개하는 연구입니다.

일반적인 AI(예: 챗봇) 가 일상적인 대화나 코딩은 잘하지만, **반도체 칩을 설계하는 특수한 언어 (Tcl 스크립트)**를 다루면 엉뚱한 답을 내놓거나 아예 말을 못 하는 경우가 많습니다. 이 논문은 그 문제를 해결하기 위해 어떻게 AI 를 훈련시켰는지, 그리고 그 성능을 어떻게 검증했는지 설명합니다.

핵심 내용을 일상적인 비유로 풀어보면 다음과 같습니다.

---

1. 문제 상황: "전문가용 요리책"을 모르는 일반 요리사

반도체 설계 (Physical Design) 는 마치 초고급 미슐랭 레스토랑의 주방과 같습니다.

• Tcl 스크립트: 주방장들이 사용하는 매우 특수한 조리법과 도구 사용법입니다. (예: "이 재료를 3 분간 150 도에서 굽되, 팬을 왼쪽으로 5 도 기울여라" 같은 아주 정교한 지시)
• 일반 AI: 훌륭한 일반 요리사입니다. "파스타 만들어줘"라고 하면 잘 해내지만, "이 특수한 반도체 공정에 맞춰서 레시피를 짜줘"라고 하면 당황합니다. 왜냐하면 전문 용어가 너무 많고, 데이터가 거의 없으며, 실수하면 칩이 망가져서 큰 손실이 발생하기 때문입니다.

2. 해결책: "iScript"라는 초특급 요리사 양성

저자들은 일반 AI 를 반도체 설계 전문가로 만들기 위해 3 단계 훈련 과정을 거쳤습니다.

① 데이터 만들기: "가짜 레시피"를 만들어서 가르치기

실제 반도체 회사에서는 설계 데이터가 비밀 (비공개) 이라 AI 가 배울 수 있는 책이 없습니다. 그래서 저자들은 AI 가 스스로 데이터를 만들어내게 했습니다.

• 비유: 요리사 학교에서 실제 레시피가 없으니, AI 가 먼저 "이런 조리법 조합은 어떨까?"라고 상상해서 가짜 레시피를 1 만 개 만들게 했습니다.
• 검증: 그중에서 문법 오류가 있는 레시피는 걸러내고 (Static Linting), "이 레시피를 왜 이렇게 썼을까?"라는 **이유 (Chain-of-Thought)**까지 AI 가 스스로 설명하게 만들었습니다.
• 결과: "요리 요구사항 (Requirement) + 생각 과정 (CoT) + 완성된 레시피 (Script)"로 된 1 만 개의 고품질 교재를 만들었습니다.

② 훈련 과정: 두 단계로 성장시키기

• 1 단계 (CPT - 기초 다지기): AI 가 반도체 설계 용어 (Tcl) 자체에 익숙해지도록, 전문 용어만 잔뜩 읽게 했습니다. 마치 전문 용어 사전만 외우는 과정입니다.
• 2 단계 (SFT - 실전 훈련): 이제 "이런 요구사항이 들어오면 이렇게 레시피를 짜야 해"라고 가르쳤습니다. 특히 **왜 그렇게 해야 하는지 이유 (CoT)**를 함께 가르쳐서, AI 가 단순히 외우는 게 아니라 이해하고 추론하도록 훈련시켰습니다.

3. 평가 방법: "실제 요리 테스트" 대신 "전문가 심사"

AI 가 만든 레시피가 진짜로 먹으면 되는지 확인하려면, 실제 반도체 공장에서 실행해봐야 합니다. 하지만 이는 시간도 오래 걸리고 비용도 너무 비싸서 모든 것을 테스트할 수 없습니다.

그래서 저자들은 2 단계 심사 시스템을 만들었습니다.

1. 문법 검사 (Static Syntax): 레시피에 오타나 문법 오류가 있는지 빠르게 확인합니다. (예: "불을 켜라"라고 했는데 "불을 끄라"라고 적혀있으면 바로 탈락)
2. 기능 평가 (LLM-based Evaluation): 문법만 맞는 게 아니라, "이 레시피가 정말 원하는 요리를 만들어낼 수 있을까?"를 또 다른 AI 전문가가 심사합니다. 이 심사 AI 는 실제 메뉴북 (매뉴얼) 을 보고 있으니, 인간 전문가 못지않게 정확하게 판단합니다.

4. 결과: 일반 AI vs iScript

시험 결과, iScript가 다른 최신 AI 들보다 훨씬 뛰어난 성능을 보였습니다.

• 일반 AI: 간단한 명령은 잘하지만, 복잡한 설계 요구사항을 받으면 엉뚱한 답을 내놓거나 아예 실패합니다.
• iScript: 복잡한 요구사항도 잘 이해하고, 문법 오류가 적으며, 필요한 기능을 수행할 수 있는 레시피를 잘 만들어냅니다.
  • 특히 **난이도가 높은 문제 (L3)**에서도 다른 AI 들이 거의 0% 에 가까운 성공률을 보일 때, iScript 는 여전히 60% 이상의 문법 정확도를 유지했습니다.

5. 결론 및 한계

이 연구는 **"데이터가 부족한 특수 분야에서는, AI 가 스스로 데이터를 만들어내고 이유를 생각하게 훈련시키는 것이 중요하다"**는 것을 증명했습니다.

• 한계: 아직 데이터가 완벽하지 않아 아주 복잡한 문제는 가끔 틀리기도 하고, 실제 공장에서 실행해보지 않고 AI 가 심사하는 방식이라 100% 완벽하지는 않습니다.
• 미래: 더 많은 데이터를 모아서 AI 가 직접 공장에서 실행해보는 자동화 시스템을 만들 계획입니다.

---

한 줄 요약:

"반도체 설계라는 난해한 언어를 구사하는 **전문가 AI(iScript)**를 만들기 위해, 가짜 데이터를 만들어 가르치고 이유를 생각하게 훈련시켰으며, 그 결과 일반 AI 들보다 훨씬 똑똑하고 신뢰할 수 있게 되었다는 연구입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

현대 ASIC 물리 설계 (Physical Design, PD) 프로세스는 나노 미터급 공정 기술의 발전으로 인해 점점 복잡해지고 있으며, 이를 자동화하기 위해 Tcl 스크립트가 필수적으로 사용됩니다. 그러나 기존 범용 대규모 언어 모델 (LLM) 을 EDA (전자 설계 자동화) 도메인에 적용할 때 다음과 같은 심각한 한계가 존재합니다.

• 데이터 부족: 산업계 프로세스는 독점적 (Proprietary) 이기 때문에 공개된 고품질 PD Tcl 스크립트 데이터가 극도로 부족합니다.
• 도메인 특이성: Innovus 와 같은 EDA 도구의 Tcl 명령어와 옵션은 매우 전문적이고 희소 (Sparse) 하여 일반 LLM 이 학습하기 어렵습니다.
• 의미적 결합 (Semantic Coupling): 명령어 간의 강한 의미적 의존성 (예: 배치 영역은 플로어플랜 기하학과 일치해야 함) 으로 인해 자연어 요구사항을 실행 가능한 Tcl 로 매핑하는 것이 매우 어렵습니다.
• 평가 기준 부재: 물리 설계 스크립트의 정확성을 검증하려면 상용 EDA 도구 실행이 필요하지만 이는 비용이 많이 들고 재현이 어렵습니다. 기존 연구들은 문법 검사만 수행하거나 인적 검토에 의존하여 체계적인 벤치마크가 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 iScript(도메인 적응형 LLM) 와 iScript-Bench(벤치마크), 그리고 데이터 생성 파이프라인을 제안했습니다.

2.1 데이터 생성 파이프라인 (Multi-stage Data Synthesis)

공개 데이터의 부재를 극복하기 위해 3 단계 데이터 합성 파이프라인을 구축하여 10,000 개의 (요구사항, CoT, 스크립트) 튜플을 생성했습니다.

1. 스크립트 생성 (Script Generation): EDA 도구 매뉴얼, 기술 포럼, 커뮤니티 자료 등을 기반으로 Tcl 명령어와 파라미터를 추출하고, 멀티 에이전트 시스템을 통해 다양한 명령어 조합으로 초기 스크립트 코퍼스를 생성합니다.
2. 정적 문법 검증 (Static Syntax Validation): 생성된 원시 스크립트를 Tcl Linter(정적 구문 검사기) 를 통과시켜 문법적으로 유효하지 않은 스크립트를 필터링합니다.
3. 요구사항 역추론 및 CoT 생성 (Requirement Back-Inference & CoT): 강력한 교사 모델 (GPT-4.1 등) 을 사용하여 유효한 스크립트에서 자연어 '요구사항'을 역추론하고, 해당 스크립트가 요구사항을 어떻게 충족하는지에 대한 Chain-of-Thought (CoT) 설명을 생성합니다.

2.2 모델 학습 전략 (iScript Training)

기저 모델로 Qwen3-8B를 선택하고 두 단계의 학습 전략을 적용했습니다.

1. 도메인 적응형 지속 사전 학습 (Domain-Adaptive Continued Pre-Training, CPT): Innovus Tcl 의 어휘와 구문 패턴을 모델의 가중치에 주입하여 Tcl 작성 능력 (Fluency) 을 향상시킵니다.
2. 지도 미세 조정 (Supervised Fine-Tuning, SFT) with CoT: 사용자 요구사항 (Requirement) 에서 올바른 스크립트 (Script) 로의 의미적 매핑을 학습합니다. 이때 CoT 데이터를 포함시켜 모델이 단순히 코드를 생성하는 것을 넘어 논리적 추론 과정을 학습하도록 합니다.

2.3 평가 프레임워크 (Two-Step Verification)

상용 EDA 도구 실행 없이 효율적으로 평가하기 위해 2 단계 검증 방식을 도입했습니다.

1. 정적 문법 검증 (Static Syntax Verification): 경량화된 물리 설계 샌드박스 환경에서 스크립트를 실행하여 문법 오류 (** ERROR: 패턴) 가 있는지 확인합니다.
2. LLM 기반 기능 평가 (LLM-based Functional Evaluation): 문법 검사를 통과한 스크립트에 대해, 공식 매뉴얼의 명령어 정의와 객체 속성 정보를 포함시킨 지식 강화 프롬프트를 가진 LLM 이 요구사항 충족 여부를 평가합니다.

3. 주요 기여 (Key Contributions)

1. iScript 모델: CPT 와 CoT 기반 SFT 를 통해 훈련된, 물리 설계 Tcl 스크립트 생성에 특화된 도메인 적응형 LLM 을 개발했습니다.
2. iScript-Bench: 물리 설계 Tcl 생성 능력을 평가하기 위한 최초의 벤치마크입니다. 5 가지 주요 작업 카테고리 (디자인 정보 조회, 네트리스트 분석, 플로어플랜 조정, 배치 최적화, 타이밍 분석) 와 3 가지 난이도 수준 (L1~L3) 을 포함합니다.
3. 확장 가능한 검증 프레임워크: 상용 EDA 도구 접근 없이도 문법적 정확성과 기능적 적절성을 체계적으로 평가할 수 있는 2 단계 검증 전략을 제시했습니다.

4. 실험 결과 (Results)

iScript 는 GPT-4.1, Gemini-2.5-pro, Claude-sonnet-4.5, DeepSeek-V3.1 등 최신 범용 LLM 들과 비교 실험을 수행했습니다.

• 전체 성능: iScript 는 모든 카테고리에서 다른 모델들을 압도적으로 능가했습니다.
  • Pass@1 (문법): iScript 는 59.48% 를 기록하여 2 위 모델 (Gemini, 31.03%) 보다 약 2 배 높은 성능을 보였습니다.
  • Pass@1 (기능): iScript 는 18.97% 로 2 위 (14.66%) 보다 높았으며, 특히 GPT 나 DeepSeek 이 0% 를 기록한 난이도 높은 카테고리에서도 유의미한 점수를 얻었습니다.
  • Pass@5: 문법 정확도 91.38%, 기능 정확도 46.55% 를 기록하여 성능 격차가 더욱 벌어졌습니다.
• 난이도별 성능: 난이도가 L1 에서 L3 로 증가함에 따라 모든 모델의 성능이 하락했으나, iScript 는 L3(최고 난이도) 에서도 61.54% 의 문법 정확도를 유지하며 다른 모델들 (약 3~4%) 보다 훨씬 강력한 견고성 (Robustness) 을 입증했습니다.
• 평가 신뢰도: LLM 기반 기능 평가와 인간 전문가 검토를 비교한 결과, LLM 평가기는 인간이 승인한 42 개 스크립트 중 39 개를 정확히 식별했습니다. LLM 이 거절한 3 개는 인간이 승인한 '대체 명령어'를 사용한 경우로, LLM 평가기가 거짓 양성 (False Positive) 이 없는 매우 엄격한 하한선 추정기로 작동함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 EDA 스크립트 생성 분야에서 데이터 부족, 전문성 부재, 평가 방법론의 한계라는 세 가지 핵심 장벽을 극복하기 위한 체계적인 접근을 제시했습니다.

• 데이터 합성의 중요성: 소량의 공개 데이터만으로는 도메인 특화 모델을 훈련하기 어렵다는 점을 지적하고, 다단계 데이터 합성 파이프라인을 통해 고품질 학습 데이터를 확보하는 방법론을 입증했습니다.
• CoT 의 효과: 단순 코드 생성이 아닌 추론 과정 (CoT) 을 학습시킴으로써 복잡한 물리 설계 논리를 이해하고 적용하는 능력을 크게 향상시켰습니다.
• 벤치마크의 표준화: iScript-Bench 를 통해 EDA+LLM 연구에 표준화된 평가 기준을 마련함으로써, 향후 연구의 재현성과 비교 가능성을 높였습니다.

결론적으로, iScript 는 물리 설계 자동화 분야에서 LLM 의 실용성을 입증한 선구적인 작업이며, 향후 더 많은 고품질 데이터 수집과 완전 자동화된 실행 기반 평가 시스템 구축을 통해 발전할 수 있는 토대를 마련했습니다.