기술 요약: UniRTL

문제 정의

효과적인 레지스터 전송 레벨(RTL) 설계를 위한 표현(representation)을 개발하는 것은 성능 예측 및 코드 검색과 같은 작업을 가속화하기 위해 매우 중요하다. 기존의 접근 방식은 일반적으로 RTL 소스 코드 또는 제어 데이터 흐름 그래프(CDFG)와 같은 그래프 기반 표현 중 하나의 단일 데이터 모달리티에 의존한다. 이러한 단일 모달리티에 대한 의존은 학습된 표현의 표현력과 일반화 능력을 제한한다. 코드는 의미론적 및 기능적 정보를 명시적으로 인코딩하지만, 그래프 모달리티는 코드에서는 파악하기 어려운 중요한 구조적 관계를 포착한다. 또한, 소프트웨어 도메인(예: GraphCodeBERT)이나 하드웨어 도메인(예: CircuitFusion)의 이전 멀티모달 시도들은 약한 정렬 전략, 불완전한 그래프 표현(연산자 및 제어 흐름 누락), 또는 코드와 그래프 데이터의 상호 보완적인 특성을 충분히 활용하지 못하는 거친 수준의 융합 메커니즘 등의 문제를 겪고 있다.

방법론

저자들은 RTL 코드와 CDFG를 공동으로 활용하여 통합된 RTL 표현을 학습하도록 설계된 멀티모달 사전 학습 프레임워크인 UniRTL을 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 구축된다:

1. 데이터셋 구축

이 프레임워크는 RTLCoder, MG-Verilog, DeepRTL, DeepCircuitX를 포함한 소스에서 수집된 132,008개의 RTL 설계 데이터셋을 활용한다. 이 설계들은 기능적 요약(functional summaries)과 쌍을 이룬다. CDFG를 생성하기 위해, 설계는 Yosys를 사용하여 RTL 중간 언어(RTLIL)로 컴파일되고, Stagira를 통해 추상 구문 트리(AST)로 파싱된 후, CDFG를 추출하기 위해 트래버스(traverse)된다. 38,888개의 설계는 CDFG로 성공적으로 변환되었으나, 변환에 실패한 나머지 노이즈가 있는 샘플들은 데이터 활용을 극대화하기 위해 텍스트-코드 정렬을 위해 유지되었다.

2. 모델 아키텍처

UniRTL은 서로 다른 모달리티를 통합하기 위해 단일 Transformer 아키텍처(CodeBERT-base-mlm 기반)를 채택하여 모달리티별 인코더의 복잡성을 피한다.

• 그래프 인식 토크나이저(Graph-Aware Tokenizer): 변수 노드를 단순히 평탄화(flattening)하는 이전 연구와 달리, UniReli는 그래프 동형 네트워크(GIN)와 경량 Transformer를 결합한 특화된 토크나이저를 도입한다. 이 토크나이저는 노드 유형, 너비(width), 텍스트 설명을 인코딩하여 CDFG 내의 국소적 구조 의존성과 전역적 문맥 정보를 모두 포착한다.
• 계층적 학습 전략:
  • 사전 학습(Pretraining): 그래프 인식 토크나이저는 먼저 구조 인식 마스크 노드 모델링(structure-aware masked node modeling) 및 엣지 예측을 사용하여 사전 학습된다.
  • 텍스트-코드 정렬: 그래프 데이터를 통합하기 전에, 모델은 상호 마스크 모델링(mutual masked modeling)을 사용하여 기능적 요약(텍스트)과 RTL 소스 코드를 정렬하는 웜업(warm-up) 단계를 거친다. 이는 텍스트-코드 쌍이 풍부하다는 점을 이용하여 데이터 활용을 극대화한다.
  • 그래프 통합: 마지막으로, 그래프 정보가 통합된다. 모델은 미세한 교차 모달 정렬을 달성하기 위해 상호 마스크 모델링을 사용한다. 이 단계에서 텍스트와 코드의 마스킹된 토큰은 다른 모달리티의 문맥을 사용하여 복구되며, 마스킹된 그래프 노드는 텍스트와 코드의 문맥을 사용하여 복구된다. 위상적 구조를 보존하기 위해 그래프 라플라시안(Laplacian)에서 유도된 전역 위치 인코딩이 추가된다.

주요 기여

• 통합 멀티모달 프레임워크: UniRTL은 표현 학습을 위해 RTL 코드와 완전한 CDFG를 공동으로 활용하는 최초의 프레임워크로서, 단일 모달리티 접근 방식의 한계를 해결한다.
• 미세한 정렬(Fine-Grained Alignment): 상호 마스크 모델링을 통해, UniRTL은 CircuitFusion과 같은 이전 연구에서 사용된 거친 수준의 대조 학습을 능가하는 미세한 코드-그래프 정렬을 달성한다.
• 완전한 그래프 표현: 본 프레임워크는 이전 연구에서 사용된 단순화된 데이터 흐름이나 레지스터 수준의 서브 회로와 달리, 연산자와 제어 흐름을 포함한 완전한 설계 정보를 보존하는 CDFG를 활용한다.
• 계층적 학습: 그래프 인식 토크나이저를 사전 학습하고 그래프 통합 전에 텍스트-코드 정렬을 수행하는 전략은 데이터 활용도와 모델 성능을 최적화한다.

실험 결과

UniRTL은 여러 설정 하에 두 가지 다운스트림 작업에 대해 평가되었다:

1. 성능 예측: 모델은 넷리스트(netlist) 정보의 포함 여부에 따라 합성 후 면적(area)과 지연 시간(delay)을 예측하였다.

   • 결과: UniRTL은 모든 지표(MAE, MAPE, R2, RRSE)에서 StructRTL, VeriDistill, DeepRTL2, GraphCodeBERT를 포함한 모든 베이스라인을 일관되게 능가하였다.
   • 절제 연구(Ablation): 그래프 구성 요소를 제거하면 성능이 크게 저하되어 구조적 정보의 필요성을 확인하였다. 코드 구성 요소를 제거하면 약간의 성능 저하가 발생하여 상호 보완적인 가치를 입증하였다.
   • 넷리스트 통합: 지식 증류(넷리스트로 학습된 교사 모델 사용)를 통해 넷리스트 정보를 통합했을 때도, UniRTL은 최첨단(SOTA) 결과를 달성하였다.

2. 코드 검색: 모델은 자연어 코드 검색 및 기능 동일성 검사(Functionality Equivalence Checking)에 대해 테스트되었다.

   • 결과: UniRTL은 자연어 코드 검색에서 가장 높은 F1 점수를 기록하였고, 기능 동일성 검사에서 가장 높은 평균 정밀도(AP)를 기록하며 범용 임베딩 모델 및 특화된 RTL 모델을 능가하였다.
   • 절제 연구: "UniRTL (w/o graph)" 변형 모델은 코드 검색에서 전체 모델보다 현저히 낮은 성능을 보였으며, 이는 의미론적 이해를 위한 그래프 정보의 중요성을 강조한다.

의의 및 주장

본 논문은 UniRTL이 하드웨어 설계 자동화를 발전시키기 위한 더욱 견고하고 강력한 기초를 구축한다고 주장한다. 미세한 정렬을 통해 상호 보완적인 모달리티를 통합함으로써, UniRTL은 단일 모달리티 접근 방식의 표현력 한계를 극복한다. 저자들은 이 접근 방식이 RTL 설계에 대한 포괄적인 이해를 제공하여, 품질 지표에 대한 즉각적인 피드백과 효율적인 설계 모듈 재사용을 가능하게 한다고 강조한다. 이 연구는 더 효과적인 검색 증강 생성(RAG) 시스템과 시간이 많이 소요되는 로직 합성을 기다리지 않고도 더 정확한 성능 추정을 위한 단계로 제시된다.

저자들은 성공적인 CDFG 변환에 대한 의존성, 현재 Verilog로 제한된 점, 그리고 고정된 합성 설정에서의 평가를 포함한 한계점을 언급하였다. 이들은 프레임워크를 다른 하드웨어 기술 언어, 더 큰 산업 규모의 설계, 그리고 다양한 합성 플로우로 확장하는 것을 중요한 향후 과제로 식별하였다.