기술 요약: LLM이 하드웨어 설계를 위한 RTL 코딩에서 실패하고 일반화되는 방식

문제 정의

대규모 언어 모델(LLM)의 순차적 프로그래밍 사전 지식을 레지스터 전송 레벨(RTL) 하드웨어 설계에 필요한 병렬적 시간 논리(parallel temporal logic)로 변환하는 것은 여전히 중요한 병목 구간으로 남아 있다. 순차적 언어(예: Python, C)와 달리, RTL은 경합 조건(race conditions)과 타이밍 의존성이 매우 중요한 병렬적 신호 흐름을 기술한다. 또한, RTL 코드는 범용 코드에 비해 공개된 학습 데이터에서 과소 대표되어 있다.

저자들은 두 가지 주요 질문을 조사한다:

1. LLM이 사전 학습된 지식을 활용하여 RTL 코딩 작업을 해결할 수 있는가?
2. 강화 학습(RL) 미세 조정이 일반 도메인의 코딩 역량을 하드웨어 도메인으로 일반화하는 데 도움이 되는가?

기존의 벤치마크와 특화된 모델들은 높은 통과율(pass rate)을 보고하는 경우가 많지만, 모델이 왜 실패하는지에 대한 세밀한 분석이 부족하여, 실패의 원인이 구문(syntax), 의미론적 오해(semantic misunderstandings), 또는 근본적인 지식 격차(knowledge gaps) 중 어디에서 기인하는지를 모호하게 만든다.

방법론

1. 4단계 에러 분류 체계 (Four-Level Error Taxonomy)

본 논문은 하드웨어 기술 언어(HDL) 컴파일 및 검증 파이프라인에 근거한 새로운 에러 분류 체계를 도입한다. 이 프레임워크는 실패를 다음과 같이 네 가지 상호 배타적인 단계로 분류한다:

• L1 (구문 - Syntactic): 코드가 파서(parser)에 의해 거부됨 (예: 키워드 누락, 잘못된 표현식).
• L2 (의미 - Semantic): 코드가 파싱은 되지만 정적 의미 제약 조건을 위반함 (예: 절차적 블록 내의 wire 타겟 사용, 블로킹/논블로킹 할당 혼동, 불완전한 감지 목록(sensitivity lists), 의도치 않은 래치(latch) 추론).
• L3 (기능 - Functional): 코드가 구문 및 의미적으로는 유효하지만 테스트벤치 시뮬레이션을 통과하지 못함. 이는 문제 수준의 해결 가능성에 따라 다음과 같이 나뉜다:
  • L3S (해결 가능 - Solvable): 모델이 특정 롤아웃(rollout)에서는 실패하지만, 동일한 문제에 대한 다른 롤아웃에서는 테스트벤치를 통과함. 이는 추론 시 스케일링(예: Best-of-N 샘플링)을 통해 해결 가능한 확률적 실패를 나타냄.
  • L3U (해결 불가능 - Unsolvable): 모델이 모든 샘플링된 롤아웃에서 테스트벤치 통과에 실패함. 이는 모델 개선(예: 더 나은 사전 학습 또는 아키텍처)이 필요한 지속적인 지식 격차를 나타냄.

2. 평가 프레임워크

저자들은 VerilogEval-Human 벤치마크(156개 문제)를 사용하여 다양한 모델을 평가하였다:

• 독점 프런티어 모델 (Proprietary Frontier Models): 9개 모델 (예: GPT-5 변형, Claude Opus, Gemini).
• 오픈 소스 모델 (Open-Source Models): 5개 모델 (예: Qwen2.5-Coder, DS-R1).
• RTL 특화 모델 (RTL-Specialized Models): RTL에 특화되어 미세 조정된 3개 모델 (예: CodeV-R1, ScaleRTL).
• RL 미세 조정 실험: 비(非) RTL 데이터로 사전 학습된 K2-Think 모델 제품군과 GRPO(Group Relative Policy Optimization)를 사용한 두 가지 실험.
  • E1: 지도 미세 조정(SFT) 직후 GRPO 적용.
  • E2: 일반 도메인 RL 사전 학습 후, RTL 특화 GRPO를 적용.

모든 평가는 모델의 내재화된 지식을 격리하기 위해 반복적인 도구 사용이나 컴파일 피드백이 없는 단일 턴(single-turn) 설정에서 수행되었다.

주요 결과

1. 경험적 천장과 지식 격차

프런티어 모델들은 90.8% Pass@1 비율(Claude Opus 4.6)에서 정체된다. 이 천장은 모든 학습 패러다임에서도 지속되는 L3U (Unsolvable) 에러에 의해 정의된다.

• L3U 하한선: 최상의 모델조차 4.2%의 L3U 비율을 보인다.
• 지식 격차: 이러한 에러는 테스트 시간 컴퓨팅 스케일링(test-time compute scaling)으로 해결할 수 없는 "진정한 지식 격차"를 나타낸다. 평가된 17개 모델의 합집합(union)은 96.2%의 문제를 해결하는데, 이는 대부분의 L3U 에러가 본질적으로 해결 불가능한 것이 아니라 모델 특유의 문제임을 시사한다.

2. "컴파일 vs 이해" 현상

지도 미세 조정(SFT)과 강화 학습(RL)은 주로 L1 및 L2 에러를 줄이지만, 종종 L3 실패를 증가시킨다.

• SFT 효과: SFT는 "구문 구조 구제(syntax rescue)" 역할을 하여, 컴파일 실패를 Pass 또는 L3 기능 실패로 전환한다. 예를 들어, 7B 모델에 SFT를 적용했을 때 L1 에러는 58.7 퍼센트 포인트 감소했지만, 총 L3 에러는 4.4 포인트 증가했다.
• RL 효과: RL 미세 조정 역시 L1/L2 에러를 줄이는 동시에 L3S 및 L3U를 증가시킨다. 새롭게 컴파일 가능한 코드가 기능 단계에서 실패한다는 것은, 모델이 유효한 구문을 생성하는 법은 배웠으나 총체적인 하드웨어 이해를 습득하지는 못했음을 드러낸다.
• 결론: 정렬(Alignment) 기술은 모델에게 설계를 가르치는 것이 아니라 컴파일을 가르친다.

3. 추론 시간 스케일링 기회

RTL 특화 모델은 프런티어 모델(1.28.8%)보다 훨씬 높은 L3S 비율(1112%)을 보인다.

• 이는 특화된 모델이 필요한 지식을 보유하고 있으나 이를 일관되게 적용하지 못함을 나타낸다.
• 결과적으로, RTL 특화 모델은 에러가 대부분 회복 가능하기 때문에 일반 프런티어 모델보다 추론 시간 스케일링(Best-of-N 샘플링)으로부터 더 많은 이득을 얻는다.

4. RL 일반화 및 안정성

• 교차 도메인 전이: 비(非) RTL 사전 학습 모델(K2-Think)에 대한 RL 미세 조정은 코딩 역량을 RTL로 성공적으로 전이시켜 컴파일 에러를 줄인다.
• 안정화: 일반 도메인 RL 사전 학습을 거친 모델(E2)은 이전에 해결했던 문제를 유지하면서 새로운 능력을 얻는 등 거의 완벽한 안정성을 보였다. 반면, 이러한 사전 학습이 없는 모델(E1)은 상당한 퇴보(예: 13개 문제가 Pass에서 L3U로 이동)를 보였는데, 이는 일반 RL이 역량 안정화 역할을 한다는 것을 시사한다.

의의 및 주장

본 논문은 현재 LLM의 하드웨어 설계 제한이 단순히 데이터 양이나 정렬 튜닝의 문제가 아니라, 사전 학습 지식의 근본적인 제약이라는 점을 주장한다.

1. 정렬의 한계: SFT와 RL은 새로운 하드웨어 이해를 창출하는 것이 아니라, 모델이 기능 검증 단계에 도달하기 위해 필요한 구문 및 의미론적 체크를 통과하게 함으로써 기존의 지식 격차를 드러낼 뿐이다.
2. 실행 가능한 분류 체계: L3S/L3U 분리는 중요한 진단 도구를 제공한다. L3S 에러는 추론 시간 스케일링을 통해 완화할 수 있는 반면, L3U 에러는 모델 수준의 개선(예: 시간적 추론 패턴을 포함한 RTL 특화 사전 학습)이 필요하다.
3. 모델 다양성: 모델 제품군 간의 높은 상보성(모델들의 합집합이 96.2%의 문제를 해결함)은 앙상블 방법이나 라우팅 전략을 통해 아키텍처의 혁신 없이도 기능적 실패를 거의 제거할 수 있음을 시사한다.
4. 향후 방향: 저자들은 이 분야의 발전을 위해서는 정렬 개입에서 모델 추론(model reasoning) 연구로 전환해야 한다고 결론짓는다. 특히 하드웨어의 시간적 추론을 통합하는 사전 학습 전략과, 상보적인 지식 격차를 해결하기 위한 모델 다양성 활용에 초점을 맞춰야 한다.

저자들은 자신의 연구 결과가 롤아웃 횟수(K=10)와 단일 턴 평가 설정에 의해 제한적이며, 이것이 L1/L2 에러를 자동으로 해결할 수 있는 에이전트 기반의 반복적 워크플로우를 완전히 반영하지 못할 수 있음을 인정하며 신중한 입장을 유지한다.