🤖 AI

StepPRM-RTL: Stepwise Process-Reward Guided LLM Fine-Tuning for Enhanced RTL Synthesis

StepPRM-RTL은 단계별 궤적 모델링, 프로세스 보상 모델링, 그리고 검색 증강 미세 조정을 통합함으로써 이전 방법들보다 우수한 기능적 정확성과 장기 추론을 달 achieve하도록 LLM 기반 RTL 코드 생성을 향상시키는 새로운 프레임워크입니다.

원저자: Prashanth Vijayaraghavan, Apoorva Nitsure, Luyao Shi, Ehsan Degan, Vandana Mukherjee

게시일 2026-06-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prashanth Vijayaraghavan, Apoorva Nitsure, Luyao Shi, Ehsan Degan, Vandana Mukherjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 재능 있지만 경험은 부족한 견습생에게 "RTL"(컴퓨터 칩의 설계 언어와 같은 것)이라는 특정하고 엄격한 언어를 사용하여 복잡한 디지털 시계를 만드는 법을 가르치려 한다고 상상해 보십시오.

문제는 견습생이 과정 중간에 아주 작은 실수라도 하면—예를 들어 카운터를 초기화하는 것을 잊거나 선을 잘못된 곳에 연결하면—전체 시계가 작동을 멈춘다는 것입니다. 전통적인 교육 방식은 마지막에 완성된 시계만을 확인합니다. 만약 작동하지 않는다면, 선생님은 "다시 해봐"라고 말할 뿐, 어느 단계에서 잘못되었는지는 설명해주지 않습니다. 이는 매우 답답하고 비효율적입니다.

StepPRM-RTL은 AI(대규모 언어 모델)가 이러한 디지털 설계를 구축하도록 훈련하는 더 똑똑한 새로운 방법입니다. 이 방식이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. "단계별" 레시피 (Stepwise Trajectories)

AI에게 한 번에 거대한 코드를 통째로 쓰라고 요구하는 대신, StepPRM-RTL은 작업을 작고 논리적인 단계들로 나눕니다.

비유: 이것은 케이크를 굽는 것과 같습니다. 단순히 AI에게 재료 목록을 건네며 "케이크를 만들어"라고 말하는 대신, 선생님은 모든 단계에 대한 레시피 카드를 보여줍니다: "먼저, 달걀을 깨뜨리세요", 그 다음은 "그다음은, 휘저으세요", "밀가루를 넣으세요".
혁신: 각 단계마다 AI는 자신이 왜 그 단계를 수행하고 있는지에 대한 짧은 메모(근거, rationale)를 작성해야 합니다. 이는 AI가 단순히 코드를 복사해서 붙여넣는 것이 아니라, 논리를 생각하도록 강제합니다.

2. 매 동작마다 점수를 매기는 "코치" (Process Reward Model)

기존 방식에서는 AI가 맨 마지막에만 성적(합격/불합격)을 받았습니다. StepPRM-RTL은 실시간으로 AI의 작업을 지켜보는 "코치"(StepPRM이라 불림)를 도입합니다.

비유: 체스 코치가 당신이 게임을 마칠 때까지 기다렸다가 잘했는지 판단하는 것이 아니라, 매 수(move)를 둘 때마다 "그것은 킹을 보호하기 때문에 좋은 수였습니다"라거나 "그것은 퀸을 노출시키기 때문에 위험한 수였습니다"라고 말해주는 것을 상상해 보십시오.
혁신: 이 코치는 모든 작은 단계에 대해 즉각적인 피드백을 제공합니다. 만약 AI가 설계 중간에 논리적 오류를 범한다면, 코치는 칩 전체가 고장 날 때까지 기다리지 않고 즉시 이를 잡아냅니다.

3. "만약에"를 탐색하는 탐험가 (MCTS)

더 발전하기 위해, 이 시스템은 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS) 기법을 사용합니다.

비유: 당신이 하이킹 경로의 갈림길에 서 있다고 상상해 보십시오. 단순히 하나의 경로를 선택하고 그것이 맞기를 바라는 대신, AI는 정찰병처럼 행동합니다. AI는 머릿속으로 경로 A, 경로 B, 경로 C를 따라가는 것을 시뮬레이션합니다. 그리고 묻습니다. "만약 내가 경로 A를 택한다면, 나중에 막히게 될까?" AI는 결정을 내리기 전에 가장 안전하고 논리적인 경로를 찾기 위해 많은 "만약에" 시나리오를 탐색합니다.
혁신: 이는 AI가 막다른 길을 피하고, 여러 단계를 거쳐야 하는 복잡한 문제를 해결하기 위한 최선의 방법을 찾도록 돕습니다.

4. "최선의 관행 라이브러리" (RAFT)

마지막으로, 시스템은 **검색 증강 미세 조정(Retrieval-Augmented Fine-Tuning, RAFT)**을 사용합니다.

비유: AI가 설계를 시작하기 전, 유사한 프로젝트에서 얻은 성공적인 설계도들을 빠르게 훑어봅니다. AI는 단순히 추측하는 것이 아니라, 다른 전문가들이 유사한 문제를 어떻게 해결했는지 살펴보고 그 패턴을 가이드로 사용합니다.
혁신: 이는 AI가 단순히 무언가를 지어내는 것이 아니라, 검증된 실제 설계 패턴에 근거하여 결정을 내리도록 보장합니다.

결과

연구진이 이 새로운 방법을 표준 벤치마크(Verilog 및 VHDL과 같은 언어 사용)에서 테스트했을 때, AI는 업무 수행 능력이 크게 향상되었습니다:

더 높은 정확도: 이전의 최고 방식들보다 작동하는 설계를 약 10% 더 자주 만들어냈습니다.
더 나은 추론 능력: 단순히 운이 좋았던 것이 아니라, 특정 설계 선택을 왜 했는지 설명하는 능력을 통해 알 수 있듯이, 실제로 단계 뒤에 숨겨진 논리를 이해하게 되었습니다.

요약하자면, StepPRM-RTL은 AI를 "추측하고 확인하는" 기계에서, 코치와 지도, 그리고 예시 라이브러리를 가지고 설계 과정의 모든 단계를 안내받는 "생각하고 검증하는" 견습생으로 변화시킵니다.

기술 요약: StepPRM-RTL

문제 정의

디지털 하드웨어 설계를 위한 레지스터 전송 레벨(RTL) 코드의 자동 생성은 전자 설계 자동화(EDA) 분야에서 여전히 중요한 과제로 남아 있습니다. 범용 프로그래밍과 달리, RTL 생성은 구문론적 정확성뿐만 아니라 정밀한 시간적, 병렬적, 구조적 동작을 요구합니다. 상태 업데이트나 인에이블(enable) 경로에서의 단 하나의 오류도 모듈 전체로 전파되어, 코드가 구문론적으로는 유효하더라도 데이터패스(datapath)를 망가뜨릴 수 있습니다.

현재의 접근 방식은 주로 코드 코퍼스(corpora)에 대한 지도 학습에 의존하며, 이는 표면적인 패턴은 포착할 수 있으나 올바른 제어 및 데이터패스 로직을 조립하는 데 필요한 다단계 추론 시퀀스를 모델링하는 데는 실패합니다. 또한, 결과 중심(outcome-driven) 방법은 최종 설계 수준에서만 정확성을 평가하므로, 중간 결정(예: 리셋 로직의 구조화 또는 제어 경로 전환의 정렬)에 대한 감독을 제공하지 못합니다. 이는 장기 의존성(long-horizon dependencies) 문제를 겪게 되는 원인이 됩니다. 아울러, 기존의 프로세스 보상 모델(Process Reward Models, PRM)은 토큰 단위로 작동하는 경우가 많은데, 이는 의미 있는 결정이 전체 문장, 모듈 및 신호 그룹에 걸쳐 이루어지는 하드웨어 시맨틱스(semantics)와 근본적으로 일치하지 않습니다.

방법론: StepPRM-RTL 프레임워크

저자들은 RTL 생성을 의미 있는 설계 단계의 시퀀스로 취급하는 추론 인식 프레임워크인 StepPRM-RTL을 제안합니다. 이 프레임워크는 네 가지 밀접하게 결합된 구성 요소를 반복 루프 내에서 통합합니다.

1. 단계별 궤적 구축 (Stepwise Trajectory Construction)

표준적인 RTL 구현은 단계별 궤적 $\tau = \langle e_1, \dots, e_T \rangle$ 로 분해됩니다. 각 단계 $e_t$ 는 다음으로 구성됩니다:

근거 (Rationale, $r_t$ ): 하드웨어 설계 결정에 대한 자연어 설명.
코드 편집 (Code Edit, $\delta_t$ ): 부분 구현에 적용된 특정 코드 수정 사항.
이러한 분해는 대규모 언어 모델(LLM)과 추상 구문 트리(AST) 분석의 도움을 받아 수행되며, 시스템을 부트스트랩하는 데 사용되는 고품질의 해석 가능한 데몬스트레이션(demonstrations)을 생성합니다.

2. 단계별 프로세스 보상 모델 (Step-Level Process Reward Model, StepPRM)

토큰 단위 보상 모델과 달리, StepPRM( $V_\phi$ )은 전체 중간 단계에 스칼라 보상을 할당합니다. 이 모델은 두 가지 목적 함수를 사용하여 학습됩니다:

지도 선호 학습 (Supervised Preference Learning): 브래들리-테리(Bradley-Terry) 모델을 사용하여 표준 단계(canonical steps)를 변형되거나 품질이 낮은 대안보다 선호하도록 합니다.
부분 롤아웃 일관성을 통한 보상 형성 (Reward Shaping via Partial Rollout Consistency): 부분 코드에 대한 기능적 시뮬레이션의 부재를 해결하기 위해, 모델은 형성된 보상 타겟을 회귀하도록 학습됩니다. 이 타겟은 표준 감독과 부분 구현 및 최종 표준 코드 사이의 구조적 정렬 점수(AST 트리 편집 유사도로 계산됨) 사이의 균형을 맞춥니다.

3. PRM 가이드 몬테카를로 트리 탐색 (PRM-Guided Monte Carlo Tree Search, MCTS)

표준 예제를 넘어 추론 경로를 탐색하기 위해, 프레임워크는 StepPRM에 의해 가이드되는 MCTS를 채택합니다.

탐색 구조: 노드는 부분적인 추론 접두사(prefixes)를 나타내며, 에지는 RTL 단계를 나타냅니다.
UCB 선택: 탐색은 상한 신뢰 구간(Upper Confidence Bound, UCB) 점수를 최대화하며, 여기서 가치 추정치( $Q_t$ )는 StepPRM에 의해 직접 초기화되어 부분 코드에 대해서도 조밀한 시맨틱 피드백을 제공합니다.
타당성 검사 (Feasibility Checks): 구조적 불변성(예: 매칭되지 않은 블록, 조합 회로 사이클)을 위반하는 브랜치는 큰 음의 페널티를 부여하여 탐색에서 제외합니다.
출력: 이 과정은 초기 표준 분해를 확장하여 가치가 높은 다양한 궤적을 생성합니다.

4. 검색 증강 미세 조정 (Retrieval-Augmented Fine-Tuning, RAFT)

마지막 구성 요소는 확장된 궤적 세트를 사용하여 정책( $\pi_\theta$ )을 정교화합니다.

컨텍스트 검색 (Context Retrieval): 주어진 사양에 대해 시스템은 관련 RTL 파일, 설계 패턴 및 검증된 궤적을 저장소에서 검색합니다.
보상 가중 최적화 (Reward-Weighted Optimization): 정책은 누적 StepPRM 보상에 따라 가중치가 부여된 방식으로 확장된 궤적 세트의 가능성을 최대화하도록 미세 조정됩니다. 이를 통해 모델은 재사용 가능한 설계 패턴에 기반을 두면서도, 시맨틱적으로 일관되고 구조적으로 유효한 추론 시퀀스를 우선시하도록 합니다.

프레임워크는 반복 루프로 작동합니다: 표준 궤적이 StepPRM을 부트스트랩함 $\rightarrow$ StepPRM이 MCTS를 가이드하여 궤적 공간을 확장함 $\rightarrow$ 확장된 세트가 StepPRM을 정교화함 $\rightarrow$ RAFT가 정책을 업데이트함 $\rightarrow$ 개선된 정책이 다음 MCTS 반복을 가이드함.

주요 기여

RTL을 위한 단계별 프로세스 보상: 토큰 단위 스코어링과 하드웨어 레벨 동작 사이의 불일치를 해결함으로써, 하드웨어 기술 언어(HDL)를 위한 시맨틱적으로 유의미한 중간 추론 단계를 정의하고 점수를 매기는 최초의 프레임워크인 StepPRM-RTL을 도입했습니다.
통합 추론 파이프라인: StepPRM 가이드 MCTS 탐색과 RAFT 기반 정책 정교화를 결합한 통합 파이프라인을 통해, 안정적인 장기 의존성 신용 할당(credit assignment)과 검색 기반 컨텍스트 추론을 가능하게 했습니다.
포괄적 평가: Verilog-Eval(156개 태스크) 및 VHDL-Eval(202개 태스크) 벤치마크를 통해 성능을 입증했습니다.

실험 결과

프레임워크는 Verilog-Eval(156개 태스크) 및 VHDL-Eval(202개 태스크) 벤치마크에서 평가되었습니다.

성능: StepPRM-RTL은 Verilog에서 Pass@1 0.857, VHDL에서 0.786을 달성하였으며, 이는 기존의 최고 방법들(프롬프트 기반 GPT-4o 및 VeriThoughts와 같은 미세 조정된 베이스라인 포함)보다 기능적 정확도 측면에서 10% 이상 높은 수치입니다.
추론 충실도 (Reasoning Fidelity): 모델은 Verilog에서 82.5%, VHDL에서 **80.2%**의 추론 충실도 점수를 기록하며 베이스라인보다 현저히 높은 성능을 보였습니다.
절제 연구 (Ablation Studies):
- MCTS: MCTS를 제거(샘플링 전용으로 대체)했을 때 Pass@1이 약 4.7~5.0 퍼센트 포인트 감소하여, 고품질의 중간 단계를 선택하는 데 있어 MCTS의 역할을 확인했습니다.
- StepPRM: 단계별 보상을 제거(결과 검증에만 의존)했을 때 Pass@1이 약 7.6 퍼센트 포인트 하락하여, 중간 추론에 대한 희소한 결과 기반 피드백의 불충분함을 강조했습니다.
- 보상 가중 RAFT: 보상 가중 없이 모든 궤적을 동일하게 취급했을 때 Pass@1이 약 6 퍼센트 포인트 감소하여, 고품질 단계를 우선시하는 것의 필요성을 입증했습니다.
하이퍼파라미터: 성능은 사양당 15회의 MCTS 시뮬레이션과 보상 형성 가중치( $\lambda_{sh}$ )가 0.3일 때 정점에 도달했습니다.

의의

본 논문은 StepPRM-RTL이 해석 가능한 단계별 추론과 개선된 RTL 합성을 연결함으로써 LLM 지원 하드웨어 설계 자동화의 새로운 표준을 세운다고 주장합니다. 단계별 감독, 구조화된 궤적 탐색, 그리고 검색 기반 컨텍스트를 통합함으로써, 이 프레임워크는 모델이 표준적인 지도 학습이나 결과 기반 학습이 해결할 수 없는 장기 의로존성 문제를 해결하며, 올바른 RTL을 구축하기 위해 '어떻게' 그리고 '왜'를 학습할 수 있게 합니다. 이 접근 방식은 RTL 언어 전반에 걸쳐 고충실도 및 해석 가능한 코드 생성을 위한 확장 가능한 프레임워크로 제시됩니다.