QiMeng-CodeV-SVA: Training Specialized LLMs for Hardware Assertion Generation via RTL-Grounded Bidirectional Data Synthesis

이 논문은 대규모 오픈소스 RTL 을 기반으로 한 양방향 데이터 합성 프레임워크를 통해 고품질의 SV A 데이터를 생성하고, 이를 학습시킨 CodeV-SVA 모델이 자연어에서 SV A 생성 (NL2SVA) 작업에서 GPT-5 나 DeepSeek-R1 과 같은 최첨단 대형 언어 모델을 능가하는 성능을 달성했음을 보여줍니다.

핵심

🏭 1. 문제 상황: "명령은 잘 내리는데, 규칙은 못 적어요"

하드웨어 (예: 스마트폰 칩) 를 설계할 때, 엔지니어는 "이 칩이 이렇게 작동해야 해"라는 **규칙 (SystemVerilog Assertion, SVA)**을 정해야 합니다. 이 규칙이 틀리면 칩이 고장 나거나 위험해질 수 있죠.

하지만 이 규칙을 작성하는 건 매우 어렵습니다.

• 인간은 바쁘고: 규칙을 하나하나 손으로 적는 건 시간이 너무 걸립니다.
• 기존 AI 는 어설프다: 요즘 유명한 AI(챗GPT 같은 것) 는 일반 대화는 잘하지만, 하드웨어라는 전문적인 규칙을 만들 때는 엉뚱한 소리를 하거나, 문법만 맞고 의미는 틀린 규칙을 만들어냅니다.

핵심 문제: 좋은 규칙을 가르칠 **데이터 (예제)**가 너무 부족합니다.

---

🧠 2. 해결책: "스스로 배우는 AI 공방 (CodeV-SVA)"

연구팀은 이 문제를 해결하기 위해 두 가지 창의적인 방법을 섞어 새로운 AI(코드V-SVA) 를 만들었습니다.

① "실제 공장 (RTL) 을 보고 규칙을 만들어라!" (RTL 기반 합성)

기존에는 책이나 작은 예제집만 보고 학습시켰는데, 연구팀은 **실제 작동하는 수천 개의 하드웨어 설계도 (RTL 코드)**를 AI 에게 보여줬습니다.

• 비유: 요리사가 레시피책만 보고 배우는 게 아니라, 실제 거대한 식당의 주방을 구경하며 "아, 이 재료를 이렇게 섞으면 되겠구나"라고 직접 규칙을 만들어보게 한 것입니다.
• AI 가 설계도를 보고 "이 부분은 이렇게 작동해야 해"라는 규칙을 스스로 만들어내게 했죠.

② "거울로 검증하기 (양방향 번역)"

AI 가 만든 규칙이 진짜로 맞는지 확인하는 게 가장 중요했습니다. 하지만 기계가 만든 규칙을 사람이 일일이 다 확인할 수는 없죠. 그래서 '거울' 비유를 썼습니다.

• 과정:
  1. 규칙 → 설명: AI 가 만든 복잡한 규칙을 쉬운 말 (자연어) 로 번역합니다.
  2. 설명 → 규칙: 그 쉬운 말을 다시 AI 가 복잡한 규칙으로 되돌립니다.
  3. 비교: 원래 규칙과 되돌려진 규칙이 완전히 똑같으면 "아, 이 규칙은 의미가 명확하고 정확하구나!"라고 인정합니다. 만약 달라지면 "아, AI 가 헷갈려서 엉뚱한 걸 만들었네"라고 버립니다.
• 비유: 누군가에게 "이 그림의 의미를 설명해줘"라고 하고, 그 설명을 다시 듣고 "그림을 그려줘"라고 했을 때, 원래 그림과 똑같이 그려지면 그 설명이 정확했다는 뜻입니다. 이걸로 엉터리 데이터를 걸러냈습니다.

---

🚀 3. 결과: "작은 AI 가 거인 AI 를 이기다"

이렇게 정성들여 만든 데이터로 CodeV-SVA라는 AI 를 훈련시켰습니다.

• 놀라운 성과: 이 AI 는 일반 대화용 거대 AI(예: GPT-5, DeepSeek-R1) 보다 하드웨어 규칙 만들기에서 훨씬 더 잘합니다.
• 비용 효율: 거대 AI 는 운영비가 천문학적이지만, 이 AI 는 상대적으로 작고 가볍게 만들어져서 기업에서도 쉽게 쓸 수 있습니다.
• 실전 테스트: 실제 복잡한 칩 설계 프로젝트에 적용해보니, 기존 AI 들이 놓친 오류를 잡아내고 훨씬 더 많은 정확한 규칙을 만들어냈습니다.

---

💡 한 줄 요약

"하드웨어 설계라는 어려운 시험에서, AI 가 스스로 실제 문제를 풀고 (RTL 기반), 거울로 정답을 확인하며 (양방향 번역) 공부한 결과, 거대 AI 들보다 훨씬 똑똑하고 저렴한 '하드웨어 규칙 전문가'가 탄생했습니다."

이 기술은 앞으로 반도체 설계 시간을 줄이고, 더 안전하고 신뢰할 수 있는 전자기기를 만드는 데 큰 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

하드웨어 검증 분야에서 시스템버ilog 어서션 (SystemVerilog Assertions, SVA) 은 설계의 정확성을 보장하는 데 필수적입니다. 그러나 고품질의 SVA 를 수동으로 작성하는 것은 많은 시간과 전문 지식을 요구합니다. 최근 자연어 (NL) 명세를 SVA 로 변환하는 (NL2SVA) 작업에 일반 목적의 대규모 언어 모델 (LLM) 이 적용되고 있지만, 다음과 같은 한계로 인해 성능이 저조합니다.

• 고품질 데이터의 부족: 실제 환경에서 수집된 고품질 SVA 코퍼스는 매우 희소합니다. (예: 교과서나 오픈소스 저장소에서 추출한 데이터는 수천 개 수준에 불과함). 반면, RTL 코드는 방대하게 존재합니다.
• 의미적 일관성 검증의 어려움: 생성된 NL-SVA 쌍이 실제로 의미적으로 일치하는지 자동으로 판단하기 어렵습니다.
  • 형식 검증 (Formal Verification) 도구만으로는 "1'b1"과 같은 자명한 (trivial) 어서션이 모든 RTL 에 대해 통과하는 경우를 걸러내기 어렵습니다.
  • LLM 을 심사자 (LLM-as-a-judge) 로 사용하는 방법은 SVA 의 미묘한 문법 (연산자 우선순위 등) 과 자연어의 모호함으로 인해 오류를 놓치기 쉽습니다.
• 배포 비용 및 보안: GPT-5 나 DeepSeek-R1 과 같은 최상위 상용 모델은 성능은 좋지만, 하드웨어 기업의 독점적 요구사항 (보안) 을 충족하지 못하거나 배포 비용이 매우 높습니다.

2. 방법론 (Methodology)

저자들은 RTL 기반 양방향 데이터 합성 (RTL-Grounded Bidirectional Data Synthesis) 프레임워크를 제안하여 고품질 NL2SVA 데이터셋을 구축하고, 이를 통해 전문화된 LLM 인 CodeV-SVA를 학습시켰습니다. 프로세스는 크게 4 단계로 구성됩니다.

1 단계: 실세계 RTL 기반 SVA 합성

• 데이터 소스: GitHub 에서 수집된 방대한 오픈소스 RTL 코드 (CodeV 데이터셋 등) 를 활용합니다.
• 생성: 일반 목적 LLM (DeepSeek-V3.1) 을 사용하여 RTL 설계에 대한 자연어 검증 속성 (NL Property) 과 해당 SVA 를 생성합니다.
• 초기 필터링: 생성된 SVA 를 형식 검증 도구 (JasperGold) 에 통과시켜 논리적으로 검증 가능한 SVA 만 선별합니다. 이를 통해 약 159K 개의 SVA 인스턴스를 확보했습니다.

2 단계: NL-SVA 쌍을 위한 양방향 선택 (Bidirectional Selection)

생성된 SVA 가 RTL 을 통과하더라도 원래 자연어 명세와 완전히 일치하지 않을 수 있습니다. 이를 해결하기 위해 양방향 번역 기법을 도입했습니다.

• 과정: SVA → NL → SVA 변환을 수행합니다.
  1. 생성된 SVA 를 LLM 을 통해 자연어 (NL) 로 번역합니다.
  2. 다시 그 자연어를 LLM 을 통해 새로운 SVA 로 번역합니다.
• 선별 기준: 새로 생성된 SVA 와 원래 SVA 가 형식 검증 도구를 통해 논리적으로 동등 (Equivalent) 한 경우에만 해당 NL-SVA 쌍을 유지합니다.
• 효과: 이 과정은 자연어와 SVA 간의 의미 불일치 (예: 연산자 우선순위 오류 등) 를 효과적으로 걸러내어 데이터 품질을 크게 향상시켰습니다.

3 단계: 추가 데이터 품질 정제 (Further Data Quality Refinement)

• LLM-as-a-judge 및 전문가 지식: 인간 전문가가 식별한 오류 유형 (논리적 불일치, 신호 불일치 등) 을 기반으로 LLM 이 잘못된 데이터를 제거하도록 합니다.
• 난이도 필터링: 약한 LLM (Qwen3-8B) 을 사용하여 모든 생성된 SVA 가 동일한 trivial 한 결과를 내는 경우를 제거하여 훈련 효율성을 높입니다.
• 추론 궤적 증강 (Reasoning Augmentation): DeepSeek-R1 과 같은 추론 강화 모델을 사용하여 NL 에서 SVA 로 변환하는 과정에 추론 과정 (Chain of Thought) 을 포함시킵니다. 정답이 맞을 때 추론 과정도 정확할 확률이 높다는 가정에 기반합니다.

4 단계: 지도 미세 조정 (Supervised Fine-Tuning)

• 최종적으로 83K 개의 고품질 NL2SVA 데이터셋을 구축했습니다.
• 오픈소스 모델 (Qwen3 8B/14B) 을 이 데이터셋으로 미세 조정하여 CodeV-SVA 모델을 개발했습니다.

3. 주요 기여 (Key Contributions)

1. RTL 기반 대규모 데이터 합성 프레임워크: 희소한 SVA 데이터 문제를 해결하기 위해 방대한 오픈소스 RTL 코드를 기반으로 고품질 NL-SVA 쌍을 대량으로 생성하는 방법을 제안했습니다.
2. 양방향 번역을 통한 신뢰할 수 있는 데이터 선별: 형식 검증 도구와 LLM 의 한계를 극복하고, NL 과 SVA 간의 의미적 일관성을 보장하는 새로운 데이터 선별 기법 (Bidirectional Selection) 을 고안했습니다.
3. 전문화된 SVA 생성 모델 (CodeV-SVA): 제안된 파이프라인을 통해 학습된 CodeV-SVA-14B 모델은 일반 목적의 최상위 모델들을 능가하는 성능을 보여주었습니다.
4. 오픈소스 및 실용성: 데이터셋, 모델, 학습 파이프라인을 오픈소스로 공개할 예정이며, 기업 환경에 적합한 비용 효율적인 솔루션을 제공합니다.

4. 실험 결과 (Results)

FVEval-NL2SVA 벤치마크 (NL2SVA-Human, NL2SVA-Machine) 에서 CodeV-SVA 의 성능을 평가했습니다.

• 성능: CodeV-SVA-14B 는 Func.@1 기준에서 NL2SVA-Human 에서 75.8%, NL2SVA-Machine 에서 84.0% 의 정확도를 기록했습니다.
• 비교: 이 수치는 GPT-5 및 DeepSeek-R1 같은 최상위 상용/오픈소스 모델의 성능을 능가하거나 동등한 수준입니다. 특히, 14B 파라미터 모델이 671B 파라미터 모델 (DeepSeek-R1) 과 상용 모델 (GPT-5) 을 압도하는 것은 데이터의 품질과 학습 파이프라인의 효과성을 입증합니다.
• 기반 모델 대비 향상: Qwen3-14B 기반 모델에 비해 CodeV-SVA-14B 는 상당한 성능 향상을 보였으며, 8B 모델 역시 39.7% (Human 기준) 의 큰 개선을 이루었습니다.
• 엔드투엔드 검증: AssertionForge 프레임워크 내에서의 실험 결과, CodeV-SVA 는 GPT-4o 및 DeepSeek-R1 대비 더 많은 문법적으로 정확하고 형식 검증이 통과된 SVA 를 생성했습니다 (예: OPENMSP430 설계에서 DeepSeek-R1 대비 3.5 배 많은 검증 가능 SVA 생성).

5. 의의 (Significance)

이 연구는 하드웨어 검증 분야에서 다음과 같은 중요한 의의를 가집니다.

• 데이터 부족 문제 해결: SVA 데이터의 희소성을 극복하기 위해 RTL 기반 합성과 양방향 검증 기법을 도입하여 고품질 학습 데이터를 확보하는 새로운 패러다임을 제시했습니다.
• 비용 효율적인 전문 모델: 비싼 상용 LLM 에 의존하지 않고, 오픈소스 모델을 고품질 데이터로 미세 조정하여 동등하거나 더 나은 성능을 내는 전문 모델을 구축할 수 있음을 증명했습니다.
• 하드웨어 설계 자동화 가속: 자연어 명세로부터 검증 가능한 SVA 를 자동으로 생성함으로써, 하드웨어 검증 엔지니어의 업무 부담을 줄이고 설계 품질을 높이는 데 기여할 수 있습니다.

결론적으로, CodeV-SVA는 데이터 합성 전략과 전문화된 모델 학습을 결합하여 하드웨어 어서션 생성 분야에서 새로운 State-of-the-Art (SOTA) 를 달성한 획기적인 연구입니다.