기술 요약: LLM 기반 HDL 설계 및 검증 지향적 데이터 큐레이션을 위한 구조화된 테스트벤치 생성(STG)

문제 정의

본 논문은 LLM 기반의 레지스터 전송 레벨(RTL) 워크플로에서 발생하는 핵심적인 병목 현상인, 생성된 하드웨어 설계를 검증하기 위한 신뢰할 수 있는 고커버리지 테스트벤치 생성 문제를 다룹니다. 기존 방식은 테스트벤치 생성을 제약 없는 코드 합성으로 취급하며, 확률적인 LLM 프롬프팅에 의존합니다. 이는 다음과 같은 세 가지 주요 한계점을 초래합니다:

1. 높은 비용과 낮은 재현성: 신뢰성을 높이기 위해서는 반복적인 프롬프팅이나 앙상블 생성이 필요하며, 이는 토큰 비용을 크게 증가시킵니다.
2. 불충분한 커버리지: 확률적 생성은 제어 흐름(control-flow) 및 상태 의존적 동작에서의 코너 케이스를 놓치는 경우가 많습니다.
3. 신뢰할 수 없는 판정: 일관되지 않은 테스트벤치는 잘못된 설계 대상(DUT)에 대해 허위 통과(false-pass) 판정을 내리거나, 부분적으로 올바른 설계와 완전히 잘못된 설계를 구분하지 못합니다.

이러한 문제는 테스트 시간 스케일링(검증이 반복적인 탐색 루프의 일부가 되는 경우) 및 검증 지향적 데이터 큐레이션(대규모 후보 DUT 배치를 학습 데이터용으로 필터링해야 하는 경우)과 같은 최신 LLM 기반 트렌드에 의해 더욱 악화됩니다. 이러한 맥락에서 검증은 더 이상 단순한 사후 단계가 아니라 모델 개선을 위한 핵심 메커니즘이며, 저비용의 결정론적이고 행동적으로 유의미한 테스트벤치를 요구합니다.

방법론: STG 프레임워크

저자들은 테스트벤치 생성을 제약 없는 코드 합성에서 결정론적이고 구조를 인식하는 프로세스로 전환하는 STG (Structured Testbench Generation) 프레임워크를 제안합니다. STG는 하드웨어 설계의 내재된 구조를 활용하여 템플릿 기반 렌더링을 통해 테스트벤치를 생성합니다.

핵심 워크플로

1. 모듈 파싱 및 분석: STG는 Icarus Verilog와 경량 휴리스틱을 사용하여 DUT와 신뢰할 수 있는 골든 레퍼런스(또는 "실버" 레퍼런스 모델)를 파싱합니다.

   • 설계 유형 분류: 설계는 조합 회로(Combinational), 일반 순차 회로(General Sequential), 또는 *FSM 중심(FSM-dominated)*의 세 가지 유형으로 분류됩니다.
   • 신호 분류: 입력 포트는 이름 힌트와 폭(width) 휴리스틱에 대한 최장 공통 부분 수열(LCS) 기반의 퍼지 매칭을 사용하여 클록(Clock), 리셋(Reset), 제어(Control), 데이터(Data)로 분류됩니다.
   • FSM 탐지: 순차 회로의 경우, STG는 결정론적 패턴 매칭(상태 레지스터가 있는 always_ff 블록 스캔) 또는 LLM 보조 분석을 사용하여 유한 상태 머신(FSM) 구조를 추출합니다.

2. 전략별 테스트벤치 생성: 분류에 따라 STG는 특정 자극 전략을 가진 매개변수화된 Jinja 템플릿을 렌더링합니다.

   • 조합 회로: 모든 제어 신호 조합($2^{b_c}$)을 전수 조사하고, 각 제어 벡터에 대해 무작위 데이터 신호($N_s$ 샘플)를 적용합니다.
   • 일반 순차 회로: 2패스 리셋 인식 전략을 사용합니다. 클록 에지뿐만 아니라 클록 주기 내부에서 입력을 구동하여 Mealy 스타일의 사이클 내 반응을 포착하고, 클록 에지와 사이클 내 변화 이후 모두에서 출력을 확인합니다. 또한 사이클 사이에 확률적으로 리셋을 삽격하여 리셋 회복을 처리합니다.
   • FSM 가이드형: FSM 중심 설계의 경우, STG는 상태 전이 그래프를 추출하고 깊이 우선 탐색(DFS)을 수행합니다. 구동 가능한 입력 조건과 내부 대기 조건을 분리하여, 무작위 탐색 없이 전이 가드(transition guards)를 만족시키도록 입력을 결정론적으로 구동함으로써 완전한 전이 커버리지를 보장합니다.

3. 실버-레퍼런스 확장: 주로 알려진 레퍼런스가 있는 환경(DUT vs. Golden RTL)을 위해 설계되었지만, STG는 골든 모듈을 LLM이 생성한 C++/SystemC "실버" 레퍼런스 모델로 교체함으로써 신뢰할 수 있는 골든 레퍼런스가 없는 시나리오로 확장될 수 있습니다.

주요 기여

1. STG 프레임워크: 효율성, 커버리지 및 신뢰성 측면에서 프롬프트 기반 LLM 생성보다 뛰어난 성능을 보이는 결정론적, 구조 인식형 테스트벤치 생성 프레임워크입니다.
2. 검증 지향적 데이터 큐레이션: STG가 대규모 학습 데이터셋을 효율적으로 필터링할 수 있음을 입증하였으며, 이를 통해 단순한 지도 미세 조정(SFT) 파이프라인만으로 강력한 증류(distilled) RTL 생성 모델을 학습시킬 수 있음을 보여주었습니다.
3. 테스트 시간 스케일링 백엔드: STG가 LLM 가이드 정제 루프(예: MCTS)의 효과적인 검증 백엔드로 기능하여, 다양한 백본 모델에 걸쳐 검색 품질과 효율성을 향상시킨다는 증거를 제시했습니다.

실험 결과

본 프레임워크는 Verilog 생성 벤치마크(VerilogEval, RTLLM-v2, CVDP)를 대상으로 세 가지 시나리오에서 평가되었습니다.

1. 테스트벤치 품질 및 효율성

• 속도: STG는 반복적인 LLM 기반 파이프라인보다 720배 빠르게 테스트벤치를 생성합니다 (테스트벤치당 0.13초 vs. 92.4초).
• 커버리지: STG는 더 높은 라인 커버리지(95.88% vs. 93.97%)와 토글 커버리지(95.77% vs. 85.40%)를 달성합니다.
• 신뢰성: STG는 잘못된 DUT에 대한 허위 통과 판정을 줄입니다. 3,046개의 DUT를 대상으로 한 연구에서, STG는 미세한 버그에 의한 허위 통과를 방지함으로써 LLM 기반 접근 방식보다 7.8% 더 많은 잘못된 설계를 정확히 식별했습니다.
• FSM 커버리지: 딥 스테이트(deep-state) FSM 설계에서 무작위 자극은 깊은 상태(S11–S14)에 도달하는 데 실패했으나, STG의 F즘 가이드형 탐색은 100% 전이 커버리지를 달성했습니다.

2. 검증 지향적 데이터 큐레이션

• 자원 효율성: 단일 CPU 코어에서 STG를 사용하여 115k개의 문제를 필터링하는 데 5.6시간과 0.56 kWh의 에너지가 소요되었습니다. 반면, 고성능 GPU를 사용하는 순수 LLM 방식은 59.1시간과 70.9 kWh의 에너지를 소비했습니다 (127배의 에너지 감소 및 10.6배의 속도 향상).
• 모델 성능: STG로 큐레이션된 데이터로 학습된 증류 모델(단일 SFT 단계만 사용)은 VerilogEval, RTLLM-v2 및 까다로운 CVDP 벤치마크에서 최고 수준 또는 경쟁력 있는 성능을 달 최근었습니다. 이러한 모델들은 다단계 SFT 및 강화 학습(RL)을 포함하는 복잡한 파이프라인보다 우수하거나 대등한 성능을 보였으며, 이는 복잡한 RL 워크플로가 새로운 벤치마크에서 일관된 이득을 주지 못할 수도 있음을 시사합니다.

3. 테스트 시간 스케일링

• 검색 효율성: MCTS 기반 정제 루프에 통합되었을 때, STG는 네 가지 백본 모델(7B에서 685B 파라미터 범위) 전체에서 문제를 해결하는 데 필요한 검색 노드 수를 14–47% 감소시켰습니다.
• 신호 품질: STG의 결정론적이고 정보가 풍부한 검증 신호 덕분에, 검색 루프는 약한 후보를 조기에 거부하고 더 적은 반복으로 올바른 설계에 수렴할 수 있었습니다.

추가 발견 사항

• 벤치마크 수정: STG의 결정론적 생성 및 인간 검수를 통해 VerilogEval 테스트벤치의 체계적인 레이스 컨디션(자극과 체커가 순서 보장 없이 동일한 클록 에지에서 트리거되는 문제)을 발견했습니다. 저자들은 이전의 평가가 이러한 허위 실패로 인해 왜곡되었을 수 있음을 언급하며 이를 수정했습니다.
• 재현성: 저자들은 VeriRL 방식의 심각한 재현성 문제를 지적하며, 복제된 체크포인트가 원래 논문의 주장과 달리 벤치마크 간에 일관되지 않은 성능을 보였다고 명시했습니다.

의의 및 주장

본 논문은 STG가 LLM 기반 HDL 워크플로를 위한 실용적이고 저비용인 검증 백본을 구축한다고 주장합니다. 검증을 제약 없는 코드 합성이 아닌 구조화된 생성 문제로 다룸으로써, STG는 현재 하드웨어 설계에 LLM 도입을 저해하는 확장성 및 신뢰성 문제를 해결합니다.

저자들은 최근의 복잡한 학습 및 강화 학습 워크플로의 효과가 특히 새로운 벤치마크에서 의문스럽다고 주장하며, 훨씬 낮은 계산 오버헤드로 경쟁력 있고 우수한 성능을 제공하는 자신들의 단순한 STG 기반 파이프라인을 강조합니다. 저자들은 STG를 하드웨어 설계에서의 지속적인 학습 사이클을 가능하게 하는 핵심 요소로 위치시키며, 여기서 효율적이고 신뢰할 수 있는 데이터 큐레이션은 반복적인 모델 재학습을 위해 필수적입니다.