OpenRTLSet: A Fully Open-Source Dataset for Large Language Model-based Verilog Module Design

기술 요약: OPENRTLSET

문제 정의
하드웨어 설계, 특히 고수준 사양으로부터 Verilog 코드를 생성하는 데 있어 대규모 언어 모델(LLM)을 적용하는 것은 현재 대규모의 고품질이며 완전한 오픈 소스인 학습 데이터셋의 심각한 부족으로 인해 어려움을 겪고 있습니다. 풍부한 오픈 소스 저장소가 존재하는 소프트웨어 도메인과 달리, Verilog 코드는 종종 독점적인 산업 영역 내에 제한되어 있거나 재현 가능한 연구에 필요한 투명성이 결여되어 있습니다. MG-Verilog 또는 PyraNet과 같은 기존 데이터셋은 규모가 제한적이거나, 상업적 사용을 방지하는 제한적인 라이선스를 가지고 있거나, 표준화된 고품질의 자연어 쌍(natural language pairings)이 부족하다는 문제를 안고 있습니다. 이러한 격차는 학술 및 상업적 용도 모두를 위해 구문론적 및 기능적으로 올바른 하드웨어 설계를 생성할 수 있는 도메인 특화 모델의 개발을 저해합니다.

방법론
저자들은 131,000개 이상의 다양한 Verilog 모듈로 구성된 완전한 오픈 소스 데이터셋을 구축하기 위한 포괄적인 엔드 투 엔드(end-to-end) 워크플로우인 OPENRTLSET을 소개합니다. 이 방법론은 세 가지 주요 단계로 구성됩니다:

1. 데이터 수집 및 큐레이션:

   • 출처: 데이터셋은 세 가지 별개의 소스로부터 코드를 집계합니다: 네이티브 Verilog/SystemVerilog를 포함하는 GitHub 저장소(약 102k 모듈), Verilog로 변환된 VHDL 저장소(약 5k 모듈), 그리고 HLS(High-Level Synthesis) 도구를 통해 변환된 합성 가능한 C/C++ 저장소(약 24k 모듈).
   • 라이선스: 엄격한 필터링 프로세스를 통해 모든 코드가 학술 및 상업적 설정 모두에서 자유롭게 사용할 수 있도록 보장하며, 제한적이거나 독점적인 라이선스를 가진 저장소는 제거합니다.
   • 전처리: 다중 모듈 파일을 개별 모듈로 분해합니다. 중복된 주석과 공백을 제거하고, 메타데이터(모듈 이름, I/O 핀)를 추출하여 구조화된 JSONL 형식을 생성합니다.

2. 데이터셋 레이블링:

   • 모델: 저자들은 자연어 설명을 생성하기 위해 오픈 소스 추론 중심 LLM인 DeepSeek-R1 70B를 활용합니다.
   • 컨텍스트 증강: 레이블링 흐름의 참신한 측면은 Verilator를 사용하여 Verilog 모듈의 C++ 표현을 생성하는 것입니다. 저자들은 설명 생성 과정 중의 의미론적 이해를 높이기 위해 LLM에 Verilog 코드와 Verilator가 생성한 C++ 컨텍스트를 모두 제공하는 실험을 진행했습니다.
   • 양자화(Quantization): 레이블링 프로세스는 계산 효율성과 레이블링 충실도 사이의 균형을 맞추기 위해 DeepSeek-R1 모델에 대한 INT4 및 BF16 양자화 간의 트레이드오프를 평가합니다.

3. 미세 조정(Fine-Tuning) 및 평가:

   • 레이블링된 데이터셋은 Granite 시리즈(8B) 및 Qwen 시리즈(7B 및 32B)를 포함한 다양한 오픈 소스 LLM 제품군을 미세 조정하는 데 사용됩니다.
   • 성능은 VerilogEval 벤치마크(Machine 및 Human 변체 모두)를 사용하여 Pass@1, Pass@5, Pass@10 지표를 측정하여 평가됩니다.

주요 기여

• OPENRTLSET 데이터셋: 추적 가능한 GitHub 출처와 허용적인 라이선스를 통해 완전한 재현성을 보장하는 가장 큰 규모의 완전 오픈 소스 Verilog 데이터셋(131k 모듈)을 구축했습니다.
• 엔드 투 엔드 레이블링 플로우: 하드웨어 코드를 위한 고품질 자연어 설명을 생성하기 위해 추론 기반 LLM(DeepSeek-R1)과 선택적인 Verilator 생성 C++ 컨텍스트를 통합하는 완전한 오픈 소스 파이프라인을 제공합니다.
• 체계적인 절제 연구(Ablation Studies): 데이터셋 구성(Verilog 대 Verilog+C++), 모델 크기(7B–32B), 그리고 양자화 전략이 코드 생성 성능에 미치는 영향에 대한 광범한 분석을 제공합니다.
• 벤치마킹: 동일한 플로우로 재레이블링된 경우에도 OPENRTLSET으로 학습된 모델이 MG-Verilog와 같은 기존 데이터셋보다 우수한 성능을 보임을 입증하는 비교 분석을 수행했습니다.

결과
실험 결과는 다음과 같은 몇 가지 핵심적인 발견을 강조합니다:

• 성능 향상: OPENRTLSET으로 미세 조정하면 베이스라인 모델보다 유의미한 개선을 보입니다. VerilogEval-Machine 벤치마크에서 전체 131k 데이터셋으로 Qwen2.5-32B를 미세 조정했을 때 Pass@10은 **89.3%**를 기록했으며, 이는 11k 다운샘플링 구성보다 5.4% 높은 절대적 향상 수치입니다.
• 데이터셋 품질 대 플로우: 기존 MG-Verilog 데이터셋을 저자의 플로우로 재레이블링했을 때 성능이 향상되었으나, OPENRTLSET 데이터셋이 일관되게 더 우수한 성능을 보였습니다. 이는 OPENRTLSET의 소스 코드 다양성과 품질이 레이블링 방법론만큼 중요하다는 것을 시사합니다.
• 컨텍스트 증강: 레이블링 전략에 대한 절제 연구 결과, 작은 모델(7B–8B)의 경우 Verilog에 Verilator 생성 C++를 증강하는 것("Verilog & C++")이 종종 더 나은 결과를 낳았습니다. 그러나 더 큰 Qwen2.5-32B 모델의 경우 Verilog만 사용하는 것이 때때로 더 나은 성능을 보였으며, 이는 모델 용량이 추가 컨텍스트의 유용성에 영향을 미침을 나타냅니다.
• 양자화: 최종 미세 조정된 모델 성능을 크게 저하시키지 않으면서 계산 자원을 절약하기 위해 레이블링 단계에서 INT4 양자화가 선택되었습니다.
• 모델 효율성: 연구에 따르면 미세 조정 후 작은 모델(예: Granite3.3-8B)이 Verilog 작업에서 더 큰 폐쇄형 모델(예: Claude 3.7, GPT-3.5-turbo)보다 뛰어난 성능을 낼 수 있었으나, 32B 파라미터 모델이 가장 높은 절대 점수를 달성했습니다.

의의
본 논문은 OPENRTLSET이 LLM 기반 하드웨어 설계를 위한 접근 가능한 연구 및 상업적 사용의 새로운 토대를 구축한다고 주장합니다. 독점적인 장벽을 제거하고 표준화된 고품질 데이터셋을 제공함으로써, 저자들은 올바른 하드웨어 설계를 생성할 수 있는 도구의 발전을 가속화하고자 합니다. 이 연구는 엄격한 데이터 큐레이션 및 추론 기반 레이블링이 결합될 때 오픈 소스 접근 방식이 하드웨어 설계 작업에서 우수한 성능을 달-성할 수 있음을 보여주며, 이 분야의 근본적인 병목 현상을 해결합니다. 데이터셋과 관련 미세 조정 모델은 추가적인 혁신을 촉진하기 위해 커뮤니티에 공개됩니다.