CktEvo: Repository-Level RTL Code Benchmark for Design Evolution

이 논문은 기존 벤치마크가 다루지 못했던 레포지토리 수준의 RTL 코드 진화를 평가하기 위해, 실제 IP 코어 간의 종속성을 고려하여 기능은 유지하면서 전력·성능·면적 (PPA) 을 개선하는 LLM 기반 벤치마크 및 폐루프 프레임워크인 'CktEvo'를 제안합니다.

핵심

1. 배경: 반도체 설계는 왜 어려운가요?

반도체 (칩) 를 설계하는 것은 거대한 레고 성을 만드는 것과 같습니다.

• 기존 방식: 설계자들은 수천 개의 레고 조각 (코드 파일) 을 하나하나 조립하고, "이게 더 작아지려면 어떻게 해야 할까?"라고 고민하며 수정합니다.
• AI 의 등장: 최근 AI 가 등장하자, 사람들은 "AI 에게 '더 좋은 성을 만들어줘'라고 말하면 되겠지?"라고 생각했습니다.
• 문제점: 하지만 AI 는 말을 잘못 들을 수도 있고 (할루시네이션), 작은 조각 하나만 바꾸면 전체 성이 무너질 수도 있습니다. 기존 연구들은 AI 가 작은 방 (모듈) 하나만 새로 짓거나, 고장 난 부분을 고치는 데만 집중했습니다. 전체 성 (저장소 전체) 을 유지하면서 효율성을 높이는 작업은 아직没人 (아무도) 해내지 못했습니다.

2. CktEvo 란 무엇인가요?

이 논문은 **"전체 레고 성을 해체하지 않고, AI 가 스스로 조각을 다듬어 더 튼튼하고 빠르게 만드는 방법"**을 연구했습니다.

• 비유: 마치 낡은 아파트를 리모델링할 때, 건물을 통째로 부수지 않고 내부 구조만 최적화해서 더 넓은 공간과 빠른 엘리베이터를 만드는 것과 같습니다.
• 핵심 목표:
  1. 기능은 그대로: 집안 구조를 바꾸더라도 누가 들어와도 원래 목적 (예: 화장실은 화장실) 을 수행해야 합니다. (기능 보존)
  2. PPA 개선: 전력 (Power), 성능 (Performance), 면적 (Area) 을 모두 잡아야 합니다. 즉, 더 작고, 더 빠르고, 전기세도 더 아껴야 합니다.

3. 어떻게 작동하나요? (AI 의 자동화 과정)

이 시스템은 AI 가 혼자서 일하는 자동 공장처럼 작동합니다.

1. 진단 (EDA 도구): 먼저 전문 도구들이 "어디가 병목 현상 (지연) 이고, 어디가 너무 비싸게 (면적) 차지하고 있나?"를 분석합니다.
2. 지도 (그래프 분석기): AI 가 코드를 읽을 때 혼란스러워하지 않도록, 복잡한 코드를 **지도 (그래프)**로 변환해 "여기서 이 선을 잘라내면 2 초 빨라진다"라고 알려줍니다.
3. 수정 (AI 에이전트): AI 는 이 지도를 보고 "이 부분을 이렇게 고쳐볼까요?"라고 제안합니다.
4. 검증 (안전장치): AI 가 고친 코드는 바로 적용되지 않습니다. 형식 검증 도구가 "이게 원래 기능과 똑같은가?"를 100% 확인합니다. 만약 기능이 깨지면 AI 는 다시 고치고, 맞으면 다음 단계로 넘어갑니다.
5. 반복: 이 과정을 수십 번 반복하며 점점 더 좋은 설계로 진화시킵니다.

4. 실험 결과: 얼마나 잘했나요?

연구진은 11 개의 실제 반도체 설계 파일 (프로세서, 메모리 제어기 등) 을 가지고 실험했습니다.

• 결과: 사람의 개입 없이 AI 만이 전체 설계의 효율성 (면적 × 지연 시간) 을 약 10% 이상 개선했습니다.
  • 특히 **지연 시간 (속도)**이 약 8% 빨라졌습니다.
  • 비유: 기존에 100 분 걸리던 공정을 AI 가 스스로 다듬어서 90 분으로 줄인 것과 같습니다.
• 재미있는 점: AI 는 단순히 코드를 잘라낸 게 아니라, 상태 기계 (State Machine) 를 단순화하거나 불필요한 레고 조각을 제거하는 등 설계자의 사고방식과 유사한 전략을 사용했습니다.

5. 왜 이것이 중요한가요?

• 새로운 패러다임: 과거에는 AI 가 "아무것도 없는 상태에서 코드를 짜는 (생성)" 역할만 했다면, 이제는 "이미 완성된 코드를 더 잘게 다듬는 (진화)" 역할을 할 수 있음을 증명했습니다.
• 실용성: 반도체 업계는 이미 최적화된 설계가 많습니다. 여기서 1% 의 개선도 엄청난 돈과 시간을 아껴줍니다. 이 시스템은 그런 미세한 개선을 자동으로 찾아냅니다.

요약

CktEvo는 AI 를 반도체 설계 공장의 숙련된 엔지니어로 만든 것입니다. AI 는 설계자가 만든 완성된 청사진을 받아, "여기를 조금만 고치면 더 빠르고 작아질 거야"라고 제안하고, 그 제안이 안전하고 기능에 문제가 없는지 스스로 검증하며 반복적으로 개선해 나갑니다. 이는 미래의 반도체 설계가 인간과 AI 가 협력하여 자동으로 진화해 나갈 수 있는 토대를 마련한 것입니다.

기술 요약

CktEvo: 설계 진화를 위한 레포지토리 수준 RTL 코드 벤치마크 기술 요약

본 논문은 하드웨어 설계 자동화 분야에서 대규모 언어 모델 (LLM) 의 활용을 넘어, 레포지토리 (Repository) 수준의 RTL(Register-Transfer Level)을 위한 새로운 벤치마크와 참조 프레임워크인 CktEvo를 제안합니다.

1. 문제 정의 (Problem Statement)

기존의 LLM 기반 하드웨어 설계 연구는 다음과 같은 한계를 가지고 있습니다:

• 단일 모듈 중심: 대부분의 연구가 자연어 프롬프트를 통한 단일 모듈 생성이나 디버깅에 집중하여, 실제 산업 현장과 같은 다중 파일 간의 의존성 (Cross-file dependencies) 을 고려하지 못합니다.
• 할루시네이션 및 검증 부족: 생성된 코드가 기능적으로 타당하지 않거나, 보안/비기능적 요구사항을 충족하지 못해 전문가의 수동 검토가 필수적입니다.
• PPA(전력, 성능, 면적) PPA 최적화는 개별 모듈이 아닌 전체 레포지토리와 툴체인 (Toolchain) 의 상호작용에서 나타나는 속성 (Emergent property) 임에도 불구하고, 기존 접근법은 고수준 합성 (HLS) 이나 격리된 모듈 최적화에 그칩니다.

따라서, **기능을 보존하면서 PPA 를 개선하는 레포지토리 수준의 RTL 진화 **(Evolution)를 체계적으로 연구할 수 있는 벤치마크와 프레임워크가 필요했습니다.

2. 방법론 (Methodology)

2.1 태스크 정의

CktEvo 는 주어진 초기 "골든 (Golden)" RTL 레포지토리를 입력받아, **기능적 동등성 **(Functional Equivalence)을 유지하면서 **면적 **(Area)과 **지연 **(Delay)을 최적화하는 반복적 다목적 최적화 문제로 정의합니다.

• 입력: 다중 파일로 구성된 RTL 소스 코드 ($C_0$) 및 설계 제약 조건 ($\Phi$).
• 목표: $J_{area}$와 $J_{delay}$를 최소화하는 새로운 설계 변형 ($D_T$) 생성.
• 제약: 새로운 기능 추가 불가, 기존 기능의 동등성 유지 필수.

2.2 벤치마크 구성 (CktEvo Benchmark)

• 데이터 소스: GitHub 및 OpenCore 등에서 수집된 11 개의 고품질 오픈소스 RTL 레포지토리 (프로세서, 컨트롤러, 고속 인터페이스, 인코더/디코더 등).
• 특징:
  • 레포지토리 수준: 단일 모듈이 아닌 계층적 구조의 전체 프로젝트.
  • 툴체인 독립성: 오픈소스 (Yosys) 와 상용 툴 (Synopsys) 모두에서 합성 가능하도록 검증됨.
  • 생산급 베이스라인: 기존 EDA 툴로 최적화가 이미 진행된 상태 (Local Optimum) 에서 추가적인 개선을 목표로 함.

2.3 폐루프 진화 프레임워크 (Closed-loop Evolution Framework)

LLM 을 활용한 자동화된 진화 에이전트를 위한 6 단계 폐루프 프로세스를 제공합니다 (그림 1 참조):

1. EDA 툴체인 실행: 현재 설계의 PPA 리포트 생성.
2. 그래프 기반 코드 분석기: RTL 소스를 제어 데이터 흐름 그래프 (CDFG) 로 변환하고, EDA 리포트에서 임계 경로 (Critical Path) 와 면적 병목 구간을 식별하여 주석 (Annotation) 을 추가합니다.
3. 프롬프트 생성기: 분석된 병목 정보와 관련 코드 스니펫을 LLM 에게 전달할 컨텍스트가 풍부한 프롬프트로 변환합니다.
4. LLM 쿼리: LLM 이 병목 해결을 위한 코드 수정 (Diff) 을 제안합니다.
5. **수정 및 정정 **(Rectification): 제안된 코드의 문법 오류를 LLM 을 통해 자동 수정합니다.
6. **검증 **(Verification): 형식 검증 (Formal Check) 을 통해 수정된 코드가 원본과 기능적으로 동등한지 확인합니다. 통과 시만 다음 세대로 채택됩니다.

진화 알고리즘:

• 이중 사이클 평가: 빠른 합성 (Fast LS) 으로 기본 오류를 필터링한 후, 성공적인 후보에 대해 완전한 EDA 평가 및 형식 검증을 수행합니다.
• MAP-Elites 기반 아카이브: 구조적 특징 (모듈 수, 레지스터 수 등) 에 따라 설계 공간을 이분화하고, 각 영역에서 가장 우수한 성능을 보이는 설계를 저장하여 다양성을 유지합니다.
• LLM 유도 돌연변이: 부모 설계와 상위 성능의 '영감 (Inspiration)' 설계들을 프롬프트에 포함시켜 LLM 이 더 나은 수정안을 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 레포지토리 수준 RTL 진화 태스크 공식화: 기능 보존 하에 PPA 를 최적화하는 산업 현장과 유사한 문제 정의를 제시했습니다.
2. **최초의 벤치마크 **(CktEvo) 11 개의 다양한 범주와 규모의 다중 파일 Verilog 설계로 구성된 고품질 벤치마크를 공개했습니다.
3. 폐루프 참조 프레임워크: 툴체인 피드백, 크로스-파일 편집, 반복적 수리를 지원하는 LLM 기반 에이전트 프레임워크를 구현하고 검증했습니다.

4. 실험 결과 (Results)

4.1 오픈소스 툴체인 (Yosys) 결과

• 전체적 개선: 모든 설계 인스턴스에서 PPA 지표가 개선되었습니다.
• 성능 향상: DeepSeek-v3 모델을 사용한 경우, 평균 ADP(Area-Delay Product)를 10.50% 감소시켰습니다.
  • 지연 (Delay) 감소: 평균 7.92% (면적 감소 2.80% 보다 훨씬 효과적).
  • 특정 설계 (hsm) 에서 34.97% 의 타이밍 개선 달성.
• 한계: USB, ethmac 등 표준화된 인터페이스 설계는 개선 폭이 작았으나, 컨트롤러 및 프로세서 (risc, simple_cpu) 설계에서는 LLM 이 상태 머신 리팩토링 등을 통해 큰 개선을 이루었습니다.

4.2 상용 툴체인 (Synopsys Design Compiler) 결과

• 개선 폭: 상용 툴의 강력한 최적화 능력으로 인해 개선 폭은 오픈소스보다 작았으나 (평균 ADP 1.77% 감소), 여전히 의미 있는 진전이 있었습니다.
• 의의: 이미 최적화된 상태 (Local Optimum) 에서도 audio 설계의 임계 경로 지연을 10.61% 단축하는 등 추가적인 PPA 여유를 확보할 수 있음을 입증했습니다.

4.3 코드 진화 패턴 분석

LLM 에이전트는 무작위 수정이 아닌 다음과 같은 고수준 전략을 적용했습니다:

• 코딩 스타일 최적화: 합성 툴에 더 유리한 비블로킹 할당, 벡터 연산 등으로 변환.
• 논리 평탄화 및 가지치기: 직렬화된 논리 체인을 병렬화하고 불필요한 파이프라인 레지스터 제거.
• 상태 머신 최적화: 분산된 상태 플래그를 통합된 바이너리 인코딩 상태 레지스터로 병합.

5. 의의 및 결론 (Significance & Conclusion)

CktEvo 는 LLM 이 단순한 코드 생성기를 넘어, **실무적인 하드웨어 설계 전문가 **(Design Expert)로 진화할 수 있는 토대를 마련했습니다.

• 산업적 가치: 인간 전문가의 개입 없이도 레포지토리 수준에서 PPA 를 지속적으로 개선할 수 있음을 입증하여, 칩 설계 시간 단축 및 성능 향상에 기여합니다.
• 미래 과제: 현재 LLM 은 로컬 최적화에 강점이 있으나, 상용 툴과 경쟁하기 위해서는 모듈 수준을 넘어선 전체 아키텍처 리팩토링 능력과 PDK/툴체인 특화 지식을 습득해야 합니다.

본 연구는 LLM 기반의 자율적 하드웨어 엔지니어링을 위한 엄격하고 실행 가능한 기준점을 제시합니다.