RuC: HDL-Agnostic Rule Completion Benchmark Generation

"RuC: HDL-Agnostic Rule Completion Benchmark" 논문에 대한 상세 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 이 전자 설계 자동화 (EDA) 분야에서 유망한 성과를 보이고 있지만, 하드웨어 기술 언어 (HDL) 의 코드 완성 능력을 평가하는 기존 벤치마크는 다음과 같은 중대한 한계를 겪고 있습니다:

• 세분화 제어 부재: 현재 벤치마크는 일반적으로 두 가지 범주로 나뉩니다. 전체 모듈을 마스킹하는 **모듈 완성 (MC)**은 종종 명세서 없이는 재구성하기엔 너무 복잡하고 문맥이 방대하며, 무작위 한 줄을 마스킹하는 **단일 줄 완성 (SLC)**이 있습니다.
• 임의 단위: SLC 는 마스킹 단위로 '줄 (lines)'에 의존하는데, 이는 의미 있는 HDL 구조가 아닌 포맷팅 산물입니다. 무작위 줄은 사소하거나 구문상 불완전할 수 있어 특정 언어 기능을 테스트하지 못합니다.
• 평가 엄격성: 많은 벤치마크는 정확한 일치 (exact-match) 지표나 단순 시뮬레이션에 의존하여 하드웨어 설계의 부분적 정확성이나 엄격한 기능적 동등성을 포착하지 못합니다.

저자들은 단일 할당부터 전체 논리 블록까지 임의의 의미 있는 세분화를 허용하고 특정 HDL 구조에 대한 LLM 이해도를 체계적으로 평가하기 위해 구문 주도 (grammar-driven) 마스킹을 사용하는 프레임워크가 필요하다고 주장합니다.

2. 방법론: RuC 프레임워크

저자들은 규칙 기반 완성을 위한 구문 주도, 언어 중립적 프레임워크인 **RuC(Rule-based Completion)**를 제안합니다.

A. 핵심 개념: 구문 주도 마스킹

무작위 줄이나 전체 모듈을 마스킹하는 대신, RuC 는 언어의 형식 구문 (예: SystemVerilog) 을 기반으로 HDL 소스 코드를 **구문 분석 트리 (Parse Tree)**로 파싱합니다.

• 규칙 선택: 사용자는 port_declaration, continuous_assignment, case_statement, always_construct와 같은 특정 구문 규칙 (비단말) 을 마스킹할 대상으로 선택합니다.
• 세분화 제어: 서로 다른 규칙을 선택함으로써 작업 난이도를 조절할 수 있습니다. 예를 들어, simple_identifier를 마스킹하는 것은 전체 always_construct를 마스킹하는 것보다 쉽습니다.
• HDL 중립성: 이 프레임워크는 구문 정의 (예: ANTLR 을 통한) 가 제공되는 한 모든 언어에서 작동합니다.

B. 작업 구성 파이프라인

파이프라인은 세 단계로 구성됩니다:

1. 전처리: 컴파일러 지시문을 해결하고 다중 파일 프로젝트를 통합된 소스로 병합하여 완전한 문맥을 제공합니다.
2. 파싱 및 규칙 샘플링: 소스를 파싱하여 구문 분석 트리를 생성하고, 선택된 구문 규칙의 발생 위치를 식별하여 마스킹합니다. Elaboration 과정에서 제거된 죽은 코드나 구조를 필터링합니다.
3. 문맥 예산 관리: LLM 의 컨텍스트 창 한계를 해결합니다. 모듈 종속성 (인스턴스화 및 가져오기) 을 추출하고 관련 종속성만 포함하도록 문맥을 가지치기하여, 사용자가 문맥 크기와 구조적 정보 사이에서 트레이드오프를 할 수 있게 합니다.

C. 프롬프트 전략

RuC 는 서로 다른 모델 학습 전략에 부합하도록 두 가지 프롬프트 패러다임을 지원합니다:

• 채팅 기반: 마스킹된 영역을 <MASK> 토큰으로 대체하고 지시문과 함께 주변 문맥을 제공합니다.
• 중간 채우기 (FIM): 코드를 접두어 (Prefix), 중간 (마스킹된 부분), 접미어 (Suffix) 로 나눕니다. 모델은 Prefix + Suffix + <MIDDLE_TOKEN>으로 프롬프트되어 누락된 중간 부분을 생성합니다. 이는 많은 코딩 LLM 의 사전 학습 목표와 부합합니다.

D. 검증 파이프라인

엄격한 평가를 보장하기 위해 RuC 는 두 단계 검증 프로세스를 사용합니다:

1. 구문 유효성 검사 (STX): 생성된 코드를 다시 삽입하고 (Verilator 사용) 린팅하여 컴파일되고 언어 규칙을 준수하는지 확인합니다.
2. 기능적 동등성 (EQV): 형식적 검증 (Yosys 를 통한 SAT 솔버) 을 사용하여 LLM 이 생성한 설계가 원래의 정답과 기능적으로 동등함을 증명합니다. '미터 회로 (miter circuit)'를 구성하고 어떤 입력 시퀀스라도 다른 출력을 생성할 수 있는지 확인합니다.

3. 주요 기여

• RuC 프레임워크: 형식 구문 규칙에 기반한 제어 가능한 세분화를 가진 HDL 코드 완성 벤치마크를 생성하는 새로운 자동화 시스템.
• HDL 중립적 설계: 이 접근법은 SystemVerilog 뿐만 아니라 정의된 구문을 가진 모든 하드웨어 기술 언어에 적용 가능합니다.
• 엄격한 평가: 단순 텍스트 유사도 지표를 넘어 형식적 기능적 동등성 검사를 포함하여 생성된 코드가 실제로 의도대로 작동하는지 보장합니다.
• 벤치마크 생성: Tiny Tapeout TT07 셔틀과 CVE2 RISC-V 코어에서 파생된 두 가지 새로운 SystemVerilog 벤치마크를 생성하여 광범위한 설계 복잡도를 다룹니다.

4. 실험 결과

저자들은 생성된 벤치마크에서 Qwen2.5/3 Coder, Seed Coder, DeepSeek 등을 포함한 다섯 가지 오픈 소스 LLM 을 평가했습니다.

• 프롬프트 전략: FIM 프롬프팅이 채팅 기반 프롬프팅보다 일관되게 우수한 성과를 보였습니다. 이는 양방향 문맥이 필요한 HDL 작업에서 '채우기 (infilling)' 목표가 중요함을 시사합니다.
• 모델 변형: 놀랍게도 Base 모델(사전 학습만 수행) 이 규칙 완성 작업에서 Instruction-tuned 모델보다 종종 더 좋은 성과를 보였습니다. 이는 일반 코딩에는 도움이 되지만 Instruction Tuning 이 정밀한 코드 채우기에 필요한 특정 다음 토큰 예측 능력을 저하시킬 수 있음을 나타냅니다.
• 규칙 난이도: 성능은 구문 규칙에 따라 크게 달라졌습니다:
  • 가장 쉬움: PORT(포트 선언) 와 PARAM(파라미터). 이는 종종 인터페이스 사용으로부터 추론 가능하기 때문입니다.
  • 보통: 할당 규칙 (CONT, BLK, NBLK).
  • 가장 어려움: 제어 흐름 규칙 (COND, CASE, ALWAYS). 이는 복잡한 행동 논리를 재구성해야 하기 때문입니다.
• 모델 크기 vs 성능: 일반적으로 더 큰 모델이 더 좋은 성과를 보였지만, 상관관계는 절대적이지 않았습니다. 특정 규칙에서 작은 모델 (예: Seed Coder 8B) 이 때때로 더 큰 모델보다 우수한 성과를 보였으며, 이는 일률적인 접근법보다 규칙별 모델 선택이 더 효과적임을 시사합니다.
• 코드베이스 영향: 성능은 코드베이스의 스타일적 규칙성 (예: CVE2 의 비블로킹 할당이 매우 규칙적인 패턴을 따름) 에 영향을 받아 점수가 상승했습니다.

5. 의의

• 세분화된 평가: RuC 는 전체 모듈이나 무작위 줄의 '전부 아니면 전무 (all-or-nothing)' 평가를 넘어, 특정 HDL 구조에 대한 LLM 의 이해도를 분리하고 테스트할 수 있는 최초의 프레임워크를 제공합니다.
• 확장성: 실제 오픈 소스 설계에서 작업을 자동 생성함으로써, 수동 데이터셋 큐레이션에 제한되었던 이전의 확장 가능한 벤치마킹을 가능하게 합니다.
• EDA 워크플로우 통합: 이 연구 결과는 FIM 프롬프팅과 Base 모델이 현재 RTL 코파일럿 스타일 보조에 더 우수함을 강조하여, 향후 EDA 도구 개발을 안내합니다.
• 미래 연구: 이 프레임워크는 LLM 이 다양한 문맥 길이와 특정 논리 패턴을 어떻게 처리하는지 연구할 수 있는 문을 열어주며, 이는 하드웨어 설계를 위한 신뢰할 수 있는 AI 어시스턴트 구축에 필수적입니다.

결론적으로, RuC 는 형식 구문 분석과 엄격한 기능 검증을 결합하여 하드웨어 설계에서 LLM 을 평가하는 새로운 기준을 수립하였으며, 현재 모델들은 복잡한 제어 논리에는 어려움을 겪지만 올바르게 프롬프트될 때 구조적 재구성에는 뛰어남을 밝혀냈습니다.