기술 요약: RTL-BenchLS

문제 정의

하드웨어 설계 자동화 분야는 레지스터 전송 레벨(RTL) 생성 및 추론을 위해 대규모 언어 모델(LLM)을 점점 더 많이 활용하고 있습니다. 그러나 기존의 벤치마크들은 다음과 같은 두 가지 주요 결함으로 인해 이 영역의 발전을 저해하고 있습니다:

1. 제한된 규모와 복잡성: 기존 데이터셋은 소수의 설계(통상적으로 200개 미만)를 포함하고 있으며, 주로 100라인(LoC) 미만의 단순한 단일 모듈 작업에 치중되어 있습니다. 이는 실제 세계의 하드웨어 서브시스템이 갖는 복잡성을 나타내지 못합니다.
2. 좁은 작업 범위와 데이터 희소성: 대부분의 벤치마크는 명세(Specification)에서 RTL로의 생성에만 집중합니다. 이러한 벤치마크를 확장하는 것은 근본적으로 어려운데, 자연어 명세, RTL 코드, 그리고 수동으로 작성된 테스트벤치라는 '정렬된(aligned)' 데이터의 삼박자가 필요하기 때문입니다. 이러한 고품질의 정렬된 데이터는 공개 영역에서 매우 희귀하며, 이로 인해 프런티어 모델들이 현재의 작업에서 성능 포화 상태에 도달하게 만들어 모델 간의 역량 차이를 구별하거나 추가적인 발전을 유도하는 것을 불가능하게 만듭니다.

방법론

이러한 한계를 해결하기 위해 저자들은 10,000개 이상의 형식 검증(Formally verified)된 Verilog 설계를 포함하는 대규모 벤치마크인 RTL-BenchLS를 소개합니다. 방법론은 데이터 구축과 새로운 작업 설계라는 두 가지 핵심 축에 집중합니다.

데이터 구축

데이터셋은 다섯 가지 소스로부터 10,028개의 설계를 집계합니다:

• 실제 세계의 저장소 (S1): 25개 이상의 오픈 소스 프로젝트(예: NVIDIA DLA, OpenC910, HummingBird E200)에서 추출한 971개 모듈로, 도메인 특화된 복잡성을 제공합니다.
• LLM 생성 코퍼스 (S2–S5): 규모와 구조적 다양성을 제공하기 위해 기존 학습 코퍼스(OriGen, AutoVCoder, RTLPP, MG-Verilog)에서 추출한 약 9,000개의 모듈입니다.

저자들은 품질을 보장하기 위해 엄격한 필터링 파이프라인을 적용합니다:

• 복잡성 필터링: 코드 라인 수(LoC)와 모듈 수(NoM)를 기준으로 설계를 필터링하여, 평균 63 LoC(최대 479 LoC)를 확보했습니다. 이는 이전 벤치마크들보다 현저히 큰 규모입니다.
• 유사도 제거: TF-IDF와 코사인 유사도를 사용하여 쌍별 유사도를 계산하고 유사한 중복 항목을 제거했습니다.
• 형식 검증: 유지된 모든 설계는 산업용 도구(Cadence Conformal 및 JasperGold)를 사용하여 논리 동등성 검사(LEC) 또는 순차적 동등성 검사(SEC)를 거칩니다. 이를 통해 수동으로 큐레이션된 테스트벤치 없이도 모든 설계가 기능적으로 정확함을 보장합니다.

새로운 벤치마크 작업

RTL-BenchLS는 단순한 명세-to-RTL 생성을 넘어 추론과 생성을 공동으로 평가하는 세 가지 작업을 도입합니다:

1. 왕복 추론 (자기 지도 학습 - Round-Trip Reasoning): LLM은 원래의 RTL 설계 $D$를 중간 추상화 형태 $A$(자연어, 다이어그램 스타일 NL, 실행 가능한 코드 또는 자유 형식 등)로 압축한 다음, $A$로부터 기능적으로 동등한 RTL $D'$를 재구성해야 합니다. 성공 여부는 형식 동등성 검사를 통해 $D' \equiv D$인지로 정의됩니다. 이는 외부 레이블의 필요성을 제거합니다.
2. 마스크된 콘텐츠 추론 (자기 지도 학습 - Masked-Content Reasoning): 설계 내의 코드 블록이나 서브 모듈이 마스킹됩니다. LLM은 마스킹된 로직에 대한 간결한 설명을 생성하고, 주변 문맥을 바탕으로 누락된 코드를 재구성해야 합니다. 성공 여부는 재구성된 설계가 원본과 동등한지 확인하여 검증합니다.
3. 저장소 이슈 추론 (Repository-Issue Reasoning): LLM에게 실제 세계의 이슈 리포트(코멘트)와 저장소 문맥(버그가 있는 코드 포함)이 주어지며, 개발자의 골든 패치(Golden patch)와 기능적으로 동등한 수정 사항을 생성해야 합니다. 이 작업은 긴 문맥 이해와 교차 아티팩트 디버깅 능력을 평가합니다.

주요 기여

• 전례 없는 규모: 본 벤치마크는 기능 검증을 지원하는 기존 벤치마크보다 두 자릿수 더 큰 10,000개 이상의 형식 검증된 설계를 제공합니다.
• 다양한 복잡성: 기존 벤치마크의 단순한 모듈들과 달리, 더 넓은 범위의 복잡성(최대 495 LoC)을 포괄합니다.
• 자기 지도 학습 패러다임: 세 가지 작업 중 두 가지가 자기 지도 학습 방식으로, 데이터 정렬의 병목 현상을 해결하여 벤치마크 확장을 가능하게 합니다.
• 형식 검증 인프라: 평가 프레임워크는 전적으로 형식 동등성 검사(LEC/SEC)에 의존하며, 수동 테스트벤치에 대한 의존성을 제거하고 자동화된 엄격한 정답 검증을 보장합니다.
• 포괄적 평가: 논문은 여덟 가지 최첨단 LLM(GPT-4o, Claude Sonnet/Haiku, DeepSeek, Qwen, LLaMA 포함)을 대상으로 모든 작업에 대해 벤치마킹을 수행했습니다.

실험 결과

평가 결과, 현재의 LLM들은 RTL 추론 및 생성에서 상당한 어려움을 겪고 있으며, 더 단순한 벤치마크에서 보이는 포화 수준에 훨씬 못 미치는 성능을 보였습니다:

• 왕복 추론: 가장 우수한 모델(Claude Sonnet-4.5)조차 자연어 왕복 추론에서 **약 23%**의 통과율만을 달성했습니다. 성능은 추상화 형식에 따라 크게 달라졌는데, 실행 가능한 코드(Python/C) 추상화가 순수 자연어보다 더 나은 성능(~39–52%)을 보였습니다.
• 마스크된 콘텐츠 추론: 모델 간 성능 차이가 크지 않았으며, 가장 우수한 모델(LLaMA-3.3-70B)이 **약 28%**에 도달했습니다.
• 저장소 이슈 수정: 가장 어려운 작업입니다. 버그가 있는 영역이 제공되는 단순화된 설정에서도 가장 우수한 모델(DeepSeek-v3.2)이 **약 12%**의 통과율을 기록했습니다.
• 비교: 동일한 모델들을 기존 벤치마크(VerilogEval, RTLLM)에서 새로운 왕복 작업으로 테스트했을 때, 성능이 급격히 하락했습니다(예: LLaMA-3.3은 53.2%에서 12.2%로 하락). 이는 RTL-BenchLS가 실질적으로 더 어렵다는 것을 확인시켜 줍니다.

의의 및 주장

저자들은 RTL-BenchLS가 하드웨어 설계 자동화 커뮤니티를 위한 중요한 진전이라고 주장합니다. 대규모의 형식 검증된 데이터셋과 자기 지도 학습 작업을 제공함으로써, 본 벤치마크는 다음과 같은 역할을 합니다:

1. 확장 병목 현상 타파: 효과적인 작업 설계가 정렬된 레이블의 희소성을 극복할 수 있음을 보여주며, 훨씬 더 크고 다양한 벤치마크를 생성할 수 있게 합니다.
2. 진정한 역량 격차 노출: 기존 벤치마크에서의 포화 상태와 비교되는 낮은 통과율(12–28%)은 현재의 LLM이 복잡한 실제 하드웨어 설계 작업을 수행하는 데 필요한 추론 깊이가 부족함을 나타냅니다.
3. 미래 발전 방향 제시: 긴 문맥 추론 처리, 정밀한 비트 단위 로직, 그리고 LLM 에이전트에 대한 형식 검증 통합의 필요성과 같은 개선이 필요한 구체적인 영역을 강조합니다.

결론적으로, RTL-BenchLS는 향후 발전의 여지가 매우 많으며, 더 유능한 LLM 기반 하드웨어 설계 방법론을 개발하기 위한 기초 인프라 역할을 할 것입니다. 연구의 재현성을 지원하기 위해 데이터셋, 평가 스크립트 및 검증 도구가 공개적으로 제공됩니다.