QiMeng-CRUX: Narrowing the Gap Between Natural Language and Verilog via Core Refined Understanding eXpression for Circuit Design

이 논문은 자연어와 Verilog 코드 생성 간의 간극을 해소하기 위해 사용자 의도의 핵심 의미를 구조화된 중간 표현인 CRUX 로 포착하고, 이를 활용한 2 단계 학습 프레임워크를 통해 Verilog 생성 성능을 획기적으로 개선한 QiMeng-CRUX 모델을 제안합니다.

핵심

🛠️ "QiMeng-CRUX": 자연어와 하드웨어 설계의 '통역사'를 소개합니다

이 논문은 인공지능 (LLM) 이 **하드웨어 설계 언어 (Verilog)**를 작성할 때 겪는 어려움을 해결한 새로운 방법을 소개합니다. 핵심 아이디어는 "중요한 정보를 정리해서 전달하는 'CRUX'라는 중간 단계"를 도입한 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "의사"와 "건축가"의 오해 🏗️

지금까지 AI 는 사람이 말로 하는 설명 (자연어) 을 듣고 바로 건물의 설계도 (Verilog 코드) 를 그렸습니다. 하지만 이 과정에는 큰 문제가 있었습니다.

• 사람의 말은 흐릿합니다: "그냥 3 비트 입력을 받아서 1 의 개수를 세는 회로를 만들어줘"라고 하면, AI 는 "어떤 포트가 몇 비트야?", "비트 순서는 어떻게 돼?", "에러 처리는?" 같은 중요한 디테일을 놓치기 쉽습니다.
• 설계도는 정밀해야 합니다: 하드웨어 설계 언어는 아주 엄격한 규칙을 따릅니다. 작은 실수 하나만 있어도 회로가 작동하지 않습니다.

비유:

마치 건축주가 "집을 지어줘. 창문은 커야 하고, 거실은 넓게."라고 막연하게 말하면, 건축가는 "창문은 어디에? 거실은 몇 평이야? 자재는 뭐로 쓸 거야?"라고 헤매게 됩니다. 결국 지어진 집은 기대와 달랐을 수 있습니다.

2. 해결책: "CRUX"라는 완벽한 설계 청사진 📝

저자들은 AI 가 바로 코드를 짜기 전에, 사람의 막연한 말을 '구조화된 설계 청사진 (CRUX)'으로 정리하는 단계를 추가했습니다.

CRUX 는 세 가지 핵심 요소로 이루어져 있습니다:

1. 모듈 인터페이스 (입출구): "이 집은 문이 3 개, 창문이 2 개야." (정확한 포트 정의)
2. 핵심 기능 (작동 원리): "이 집은 사람이 들어오면 불이 켜지는 센서가 있어." (회로의 핵심 로직)
3. 주요 고려사항 (주의할 점): "지붕은 비가 새지 않게 단단히 하고, 전선은 숨겨야 해." (실제 구현 시 중요한 제약 조건)

비유:

이제 건축주는 AI(건축가) 에게 막연한 말 대신, 완벽하게 정리된 설계도를 건네줍니다. "창문은 2 층 남쪽에 2 개, 문은 정면 1 개, 구조는 철근 콘크리트로."라고 명확히 말해줍니다. AI 는 이제 헷갈릴 틈 없이 정확한 설계도를 그릴 수 있게 됩니다.

3. 학습 방법: 두 단계로 완성하는 훈련 🎓

이 AI 모델 (QiMeng-CRUX) 은 두 단계로 훈련되었습니다.

• 1 단계: 정리 연습 (Joint Expression Modeling)

  • AI 에게 막연한 설명을 주고, 먼저 **CRUX(정리된 설계도)**를 작성하게 합니다.
  • 그다음 그 설계도를 바탕으로 실제 코드를 작성하게 합니다.
  • 효과: AI 가 "무엇을 해야 하는지"를 먼저 명확히 이해하게 됩니다.

• 2 단계: 두 공간 동시 최적화 (Dual-Space Optimization)

  • AI 가 만든 **설계도 (CRUX)**와 실제 코드가 모두 잘 맞는지 확인하며 보정합니다.
  • 단순히 코드만 맞으면 되는 게 아니라, 설계도 자체가 얼마나 명확한지도 점수를 줍니다.
  • 효과: AI 는 더 명확한 설계도를 만들고, 그 설계도를 바탕으로 더 정확한 코드를 짜는 법을 터득합니다.

4. 결과: 왜 이 방법이 대단한가요? 🏆

실험 결과, 이 방법은 기존 AI 들보다 훨씬 뛰어난 성능을 보였습니다.

• 정확도 향상: 특히 복잡한 회로 설계나 명확하지 않은 설명이 들어왔을 때, 기존 모델보다 훨씬 정확하게 코드를 생성했습니다.
• 다른 모델에도 도움: 이 'CRUX'라는 설계도 방식은 우리 모델뿐만 아니라, 다른 일반 AI 모델에게도 주면 그 모델의 성능을 획기적으로 높여주었습니다.
  • 비유: 이 'CRUX'는 마치 명쾌한 번역기처럼, 어떤 AI 가 쓰더라도 "이게 뭘 원하는지"를 바로 이해하게 해주는 도구입니다.

5. 결론: "생각의 다리"를 놓다 🌉

이 연구는 AI 가 하드웨어를 설계할 때, 막연한 말과 정밀한 코드 사이의 간극을 좁히는 방법을 제시했습니다.

한 줄 요약:
"사람의 막연한 말을 AI 가 바로 코드로 바꾸려 하지 말고, 중간에 '정리된 설계도 (CRUX)'를 거쳐서 명확하게 전달하면, AI 는 훨씬 더 똑똑하고 정확한 하드웨어를 설계할 수 있다!"

이 기술은 앞으로 더 복잡한 전자제품과 반도체를 자동으로 설계하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 일반 프로그래밍 언어 코드 생성에서 뛰어난 성과를 보이지만, 하드웨어 기술 언어 (HDL, 예: Verilog) 생성에서는 여전히 한계를 겪고 있습니다. 주요 문제는 다음과 같습니다.

• 자연어와 Verilog 간의 격차: 사용자의 자연어 설명은 종종 모호하고 (ambiguous), 중복되며, 비구조화되어 있습니다. 반면, Verilog 는 엄격한 문법적 제약, 명확한 구조적 계층, 그리고 높은 수준의 도메인 전문성을 요구하는 형식 언어입니다.
• 의도 왜곡: 자유 형식의 자연어 설명을 직접 Verilog 로 변환할 때, 모델은 중요한 설계 의도 (예: 순차 논리, FSM, 타이밍 제약 등) 를 놓치거나 오해하여 잘못된 코드를 생성하는 경우가 많습니다.
• 입력 표현의 중요성: 동일한 설계 의도라도 입력 설명의 구조와 표현 방식에 따라 모델의 성능이 크게 달라진다는 점이 관찰되었습니다.

2. 방법론 (Methodology)

저자들은 자연어와 Verilog 간의 격차를 좁히기 위해 CRUX (Core Refined Understanding eXpression) 라는 구조화된 중간 표현 공간을 도입하고, 이를 학습하기 위한 2 단계 훈련 프레임워크를 제안했습니다.

A. CRUX (핵심 정제 이해 표현)

CRUX 는 사용자의 의도를 포착하고 Verilog 코드 생성에 최적화된 구조화된 중간 단계입니다. 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. Module Interface (모듈 인터페이스): 입력/출력 포트, 신호 방향, 비트 폭 등 인터페이스 규격을 명시적으로 정의합니다.
2. Core Functions (핵심 기능): 회로의 핵심 동작 로직, 제어 흐름 및 데이터 흐름을 명확히 기술합니다.
3. Key Considerations (주요 고려 사항): 합성 가능성 (synthesizability) 과 정확성을 보장하는 미묘하지만 중요한 구현 세부 사항과 제약 조건을 강조합니다.

B. 2 단계 훈련 프레임워크

1. 1 단계: 공동 표현 모델링 (Joint Expression Modeling)

   • 데이터 구성 (RealSpec & CRUX): 기존 CodeV 데이터셋을 기반으로, 실제 사용자 입력을 시뮬레이션한 RealSpec (인터페이스 정보의 일부 누락, 비구조화 등) 과 CRUX를 생성합니다.
   • 카테고리화: 데이터셋을 '쉬운 질문 (Easy Questions)', '비텍스트 특수 작업 (Special Non-Text, 예: FSM, K-map)', '일반 데이터'로 분류하여 각 유형에 맞는 처리 파이프라인을 적용합니다.
   • 지도 미세 조정 (SFT): 모델이 RealSpec 을 입력받아 먼저 CRUX 를 생성하고, 이를 기반으로 Verilog 코드를 생성하도록 학습시킵니다.

2. 2 단계: 이중 공간 최적화 (Dual-Space Optimization)

   • CRUX 강화 GRPO (Group Relative Policy Optimization): 강화 학습 (RL) 기반의 후속 훈련 단계입니다.
   • 복합 보상 함수:
     • Code-Reward: 생성된 코드가 기준 코드와 기능적으로 일치하는지 자동 검증기를 통해 평가합니다.
     • CRUX-Reward: 생성된 CRUX 가 올바른 코드 생성을 얼마나 잘 지원하고, 모델의 확신 (confidence) 을 높이는지 측정합니다. 이는 참조 코드의 조건부 로그 가능도 (log-likelihood) 를 기반으로 계산됩니다.
   • 이 과정을 통해 모델은 CRUX 공간과 Verilog 코드 공간 모두에서 고품질 솔루션 영역으로 수렴하도록 최적화됩니다.

3. 주요 기여 (Key Contributions)

• CRUX 공간 제안: 자유 형식 자연어와 형식적 Verilog 구현 사이의 격차를 해소하는 구조화된 중간 표현을 최초로 체계적으로 정의하고 도입했습니다.
• 이중 공간 최적화 프레임워크: CRUX 와 코드 생성을 동시에 최적화하는 새로운 RL 기반 훈련 방법론을 제시하여, 정적 지도 학습의 한계를 극복했습니다.
• 실제 환경 시뮬레이션: 실제 사용자의 불완전하고 모호한 입력을 모방한 RealSpec 데이터셋을 구축하여 모델의 견고성 (Robustness) 을 크게 향상시켰습니다.
• 전용성 및 이전 학습 가능성: CRUX 는 자체 모델뿐만 아니라 다른 일반 목적 코드 모델의 프롬프트로 사용될 때도 성능을 향상시키는 전이 학습 (Transferability) 효과를 입증했습니다.

4. 실험 결과 (Results)

여러 벤치마크 (VerilogEval-v1/v2, RTLLM-v1/v2) 에서 QiMeng-CRUX 모델이 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 보였습니다.

• 성능 향상:
  • VerilogEval-v2 (Spec-to-RTL): T=0 설정에서 pass@1 성능이 49.3% 에서 **64.7%**로 크게 향상되었습니다.
  • RTLLM-v2: pass@1 성능이 50.9% 에서 **63.8%**로 상승하여, 이전 SOTA 모델 (Deepseek-V3 등) 을 능가하고 Deepseek-R1 과 유사한 수준에 도달했습니다.
  • Code-Completion (CC) 과 Spec-to-RTL (SR) 균형: 기존 모델들이 특정 작업에 편향되는 것과 달리, QiMeng-CRUX 는 두 작업 모두에서 균형 잡힌 높은 성능을 유지했습니다.
• 비교 우위:
  • 일반 목적 모델 (GPT-4o, Deepseek-V3) 과 Verilog 전용 모델 (CodeV, RTLCoder) 모두를 압도했습니다.
  • 추론 모델 (Reasoning Models) 과 달리 긴 컨텍스트 윈도우 (16k 이상) 를 필요로 하지 않으며, 최대 4,096 토큰 내에서 효율적으로 작동합니다.
• Ablation Study:
  • RealSpec 과 CRUX 를 모두 적용했을 때 가장 높은 성능을 보였습니다.
  • 2 단계 훈련에서 CRUX-Reward 를 도입한 것이 코드 정확도와 CRUX 품질을 동시에 향상시키는 데 결정적이었습니다.

5. 의의 및 결론 (Significance)

이 연구는 하드웨어 설계 자동화 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 설계 의도 명확화: 자연어의 모호함을 제거하고 설계의 핵심을 구조화하여, LLM 이 하드웨어 설계의 복잡성을 더 정확하게 이해하도록 돕습니다.
2. 효율적인 학습 패러다임: 긴 추론 과정 (Chain-of-Thought) 에 의존하는 대신, 구조화된 중간 표현 (CRUX) 을 통해 효율적이고 정확한 코드 생성을 가능하게 합니다. 이는 계산 비용과 추론 시간을 절감합니다.
3. 실용성: 실제 엔지니어링 환경에서 발생할 수 있는 불완전한 명세에 대한 모델의 견고성을 크게 향상시켜, 실제 산업 적용 가능성을 높였습니다.
4. 범용성: 학습된 CRUX 공간은 다른 모델에도 적용 가능한 보편적인 가이드로서, 하드웨어 설계용 LLM 개발의 새로운 방향성을 제시합니다.

결론적으로, QiMeng-CRUX는 자연어와 Verilog 간의 의미론적 격차를 해소하고, 구조화된 이해를 통해 고품질의 합성 가능한 하드웨어 코드를 생성하는 데 있어 획기적인 진전을 이루었습니다.