기술 요약: EstRTL – 기능적 추론에 기반한 RTL 코드 생성

문제 정의

수동 레지스터 전송 레벨(RTL) 설계는 현대적인 프로세서와 같이 복잡한 시스템의 경우 시간 소모가 크고 오류가 발생하기 쉬운 과정입니다. 대규모 언어 모델(LLM)은 자연어 프롬프트로부터 구문적으로 올로된 코드를 생성하는 데 유망한 성능을 보여주었으나, 기존의 RTL 생성 방식은 기능적 정확성(functional correctness) 측면에서 상당한 한계에 직면해 있습니다. 현재의 접근 방식은 주로 모델 미세 조정(fine-tuning), 데이터 증강(예: RAG), 또는 구문 검사에 집중되어 있습니다. 그러나 이러한 방식들은 생성된 코드가 실제 하드웨어 구현에서 의도한 대로 동작하는지를 보장하는 메커니ме니즘이 부족한 경우가 많습니다.

핵심적인 병목 현상은 검증을 위한 테스트벤치(testbench)에 대한 의존성입니다. 테스트벤치를 수동으로 제작하는 것은 노동 집약적이며, 자동으로 생성된 테스트벤치는 포괄성이 떨어지는 경우가 많습니다. 결과적으로, 기존의 많은 방법론은 기능적 정확성보다는 구문적 정확성에만 초점을 맞추고 있습니다. 또한, 코드 생성과 코드 수정은 대개 별개의 연구 대상으로 다루어지며, 기존의 수정 방식은 이진(binary) 형태의 통과/실패 평가에 의존하여 반복적인 최적화를 위한 중간 피드백을 제공하지 못합니다.

방법론: EstRTL 프레임워크

이러한 과제를 해결하기 위해 저자들은 **정적 기능 점수 추정(static functional score estimation)**에 기반한 LLM 기반 협업 에이전트 프레임워크인 EstRTL을 제안합니다. EstRTL은 **생성(Generation), 추정(Estimation), 수정(Correction)**의 3단계 패러다임으로 작동합니다.

1. 생성 (Code Generation Agent)

프로세스는 자연어 사양을 바탕으로 RTL 코드를 생성하는 코드 생성 에이전트로부터 시작됩니다.

• 구문 검증: 생성된 코드는 Icarus Verilog를 사용하여 구문 검사를 거칩니다. 오류가 발견되면 에이전트는 에러 메시지를 전달받아 코드를 재생성합니다. 이 루프는 무한 루프를 방지하기 위해 최대 3회로 제한됩니다.
• 에러 리마인더: 시스템은 흔히 발생하는 수정 오류(예: 단순 조합 논리 회로를 위해 always 블록 대신 assign 선호)를 요약한 "에러 리마인더"를 포함하여 재생성 시 에이전트를 가이드합니다.

2. 추정 (Functional Estimation Agent)

코드가 구문 검사를 통과하면, 중앙 의사 결정 허브 역할을 하는 기능 추정 에이전트로 전달됩니다. 이 에이전트는 테스트벤치를 실행하지 않고 정적 기능 점수 추정을 수행합니다.

• 역방향 요구사항 생성: 에이전트는 LLM을 사용하여 생성된 RTL 코드를 다시 자연어 요구사항으로 역설계(reverse-engineer)합니다.
• 점수 산정 메커니즘: 에이전트는 다음 세 가지 구성 요소를 기반으로 VFCS (기능적 정확성) 점수를 계산합니다.
  1. 의미적 유사도(Semantic Similarity): 사전 학습된 모델(예: all-MiniLM-L6-v2, roberta-large)을 사용하여 원본 사양과 역설계된 요구사항 간의 토큰 및 문장 수준 유사도를 측정합니다.
  2. 완전성 점수(Completeness Score): 원본과 역설계된 요구사항 사이의 누락되거나 추가된 키워드(명사/동사)를 평가하는 페널티 기반 지표($C$)입니다.
  3. LLM 이해도 점수($L_{LLM}$): 위 점수들을 바탕으로 한 LLM 기반의 기능적 정확성 평가입니다.
• 의사 결정 로직:
  • 수용 불가능할 정도로 낮은 점수: 코드는 완전한 재생성을 위해 생성 에이전트로 반환됩니다.
  • 실패했으나 개선 가능한 경우: 코드는 수정 에이전트로 전달됩니다.
  • 높은 점수: 코드는 기능적으로 정확한 것으로 수용됩니다.

3. 수정 (Code Correction Agent)

"실패했으나 개선 가능한" 것으로 판단된 코드는 생각의 사슬(Chain of Thought, CoT) 추론에 기반한 코드 수정 에이전트에 의해 처리됩니다.

• 추론 단계: LLM은 사양과 코드를 대조 분석하여 오류가 있는 특정 출력 신호, 해당 오류를 유발하는 입력 조건, 그리고 근본적인 논리적 원인을 식고합니다.
• 수정 단계: 추론을 바탕으로 에이전트는 RTL 코드를 수정하며, 이때 알려진 문제의 재발을 방지하고 일관된 코딩 스타일을 보장하기 위한 안전장치를 포함합니다.
• 반복 루프: 수정된 코드는 기능 검사를 통과할 때까지 기능 추정 에이전트에 의해 재평가됩니다.

주요 기여

1. LLM-에이전트 프레임워크: VerilogEval 데이터셋에 대해 범용 LLM의 성공률을 3.2%에서 9.0%까지 높이는 협업 프레임워크를 개발했습니다.
2. 테스트벤치 없는 기능 추정: 역방향 요구사항 생성과 의미적 유사성을 활용하여 테스트벤치 없이 RTL 기능을 추정하는 방법을 도입하였으며, 정답과 오답을 구분하는 데 있어 평균 **84.2%**의 정밀도를 달성했습니다.
3. 통합 피드백 루프: 생성, 추정, 수정이 매끄럽게 통합된 구조를 구축하였으며, 추정 에이전트가 정량적 점수와 세밀한 가이드를 제공함으로써 오류가 있는 RTL 코드의 12% 이상을 성공적으로 수정했습니다.
4. 오픈 소스 프레임워크: EstRTL 프레임워크는 오픈 소스로 공개되었으며, 다양한 LLM(범용 및 도메인 특화 모델 모두)에 적용하여 코드 정확성을 높일 수 있도록 모델 불가지론적(model-agnostic)으로 설계되었습니다.

실험 결과

프레임워크는 네 가지 최첨단 LLM(Qwen-Plus, Qwen3-32B, DeepSeek-Chat, GPT-4o)을 사용하여 VerilogEval-v1-Human 및 VerilogEval-v2 데이터셋에서 평가되었으며, RTLFixer, VeriAssistant 및 OriGen, CodeV와 같은 특화 모델을 포함한 베이스라인과 비교되었습니다.

• 생성 정확도: EstRTL은 범용 LLM의 Pass@1 정확도를 3.2%에서 9.0% 향상시켰습니다. 예를 들어, DeepSeek-Chat은 VerilogEval-v1-Human에서 73.1%에서 76.3%로 향상되었습니다.
• 추정 성능: 기능 추정 에이전트는 기능적 정확도를 분류하는 데 있어 높은 정밀도(DeepSeek-Chat의 경우 최대 88.9%)와 정확도(Qwen3-32B의 경우 최대 78.2%)를 보여주었습니다.
• 수정 능력: 코드 수정 에이전트는 **12%에서 17%**의 순 수정률(net correction rate)을 달성하여, 새로운 회귀(regression)를 최소화하면서 상당 부분의 오류를 성공적으로 수정했습니다.
• 확장성: 프레임워크는 특화된 RTL 모델(OriGen, RTLCoder, CodeV-QC)과 성공적으로 통합되어, 재학습이나 파라미터 튜닝 없이도 일관된 성능 향상(예: CodeV-QC는 VerilogEval-v2에서 11.5% 향상)을 이끌어냈습니다.
• 강건성: 시스템은 분류를 위한 결정 임계값(threshold)에 대해 강건함을 보였으며, 다양한 임계값 범위(0.38 ~ 0.54)에서 안정적인 성능을 유지하여 서로 다른 모델에 고정된 임계값을 사용할 수 있음을 시사했습니다.

의의 및 주장

본 논문은 EstRTL이 AI 지원 하드웨어 설계에서 구문적 정확성과 기능적 정확성 사이의 결정적인 격차를 해결한다고 주장합니다. 노동 집약적인 테스트벤치 제작을 정적 기능 점수 추정으로 대체함으로써, 이 프레임워크는 코드 생성과 수정 사이의 간극을 메웁니다.

저자들은 이 접근 방식이 정량적 점수와 인간이 읽을 수 있는 요구사항 비교를 제공함으로써 AI 지원 RTL 생성의 투명성을 개선한다고 강조합니다. 또한, EstRTL이 단순히 경쟁 모델이 아니라, 다양한 기존 LLM에 적용되어 하드웨어 설계 작업에서의 신뢰성을 크게 높일 수 있는 **플러그 앤 플레이 방식의 강화 도구(plug-and-play enhancement)**임을 주장합니다. 본 연구는 단순한 코드 생성을 넘어 검증된 기능적 하드웨어 기술로 초점을 전환함으로써, 더욱 견고하고 자동화된 하드웨어 설계 워크플로우를 향한 기초적인 단계로 제시됩니다.