기술 요약: HighTide – 에이전트가 큐레이션하는 오픈 소스 VLSI 벤치마크 스위트

문제 정의

본 논문은 기존의 오픈 소스 EDA(Electronic Design Automation) 벤치마크 스위트에서 나타나는 심각한 정체 현상을 지적한다. OpenROAD Flow Scripts(ORFS) 및 EDALearn과 같은 현재의 컬렉션들은 세 가지 주요 결함 문제를 겪고 있다:

1. 다양성 및 현대성 부족: 이들은 RISC-V CPU 코어(예: Ariane, CVA6)에 과도하게 치우쳐 있으며, ML 가속기, NoC, 다양한 주변 장치 컨트롤러를 포함하는 현대적인 SoC(System-on-Chip) 설계의 이질적인 특성을 반영하지 못하는 레거시 아키텍처에 머물러 있다.
2. 정적 스냅샷: 기존 스위트들은 종종 더 높은 수준의 언어(Chisel, Python generator)로 작성된 설계의 정적인 Verilog 스냅샷을 추적한다. 상위 언어와 도구가 진화함에 따라, 이러한 벤치마크들은 업데이트된 버그 수정이나 아키텍처 기능(예: BlackParrot v2 기능의 부재)을 놓치게 되어 구식이 된다.
3. 단일 도구 중심: 많은 벤치마크가 전체 흐름(end-to-end)보다는 개별 흐름 단계(예: 라우팅 또는 배치)를 목표로 하므로, 흐름 단계 간의 상호작용을 평가하는 것을 방해한다.

이러한 한계는 EDA 데이터로 학습된 ML 모델의 평가 신뢰도를 저하시키며, 모델이 오래된 패턴에 과적합(overfitting)되게 만들고 일반화 가능한 도구의 발전을 저해한다.

방법론

HighTide는 진화, 다양성 및 자동화를 위해 설계된 포괄적인 인프라를 통해 이러한 격차를 해결한다.

1. 다양한 설계 스위트

이 스위트는 다양한 설계 언어(Verilog, SystemVerilog, Chisel, 그리고 VerilogGen 및 MiGen과 같은 Python 기반 생성기)와 기술 노드(ASAP7, NanGate45, SkyWater 130nm)를 아우른다.

• 아키텍처 다양성: ORFS의 약 59%에 달하던 RISC-V CPU의 비중을 약 30%로 낮추고, ML 가속기(Gemmini, NVDLA, Eyeriss v2, Coral NPU), NoC, 암호화 데이터패스와 같은 뚜렷한 아키텍처 축을 도입했다.
• 구조적 변이: 설계는 셀 개수(20k ~ 1.5M)와 구조적 구성 면에서 크게 다르다. 매크로 밀집형 레이아웃(193개의 매크로를 가진 Eyeriss v2)부터 대규모 매크로가 없는 시스톨릭 어레이(Gemmini)까지 다양하다.
• 동적 유지보수: 정적인 컬렉션과 달리, HighTide는 Git submodule을 사용하여 상위 소스를 추적한다. 이는 네이티브 HDL로부터 Verilog를 재생성하는 선택적 update_rtl 플래그를 지원하여, 설계가 최신 상위 변경 사항을 반영하도록 보장한다.

2. 인프라 및 컴파일

• Bazel 기반 흐름: 이 스위트는 OpenROAD Flow Scripts와 통합하기 위해 bazel-orfs를 활용한다. 이를 통해 허메틱 빌드(hermetic builds), 증분 컴 compilation(변경된 단계만 재실행), 그리고 bazel-remote 인스턴스를 통한 원격 캐싱을 가능하게 한다.
• 분산 실행: Kubernetes 통합을 통해 여러 설계 및 플랫폼에 걸쳐 병렬 빌드를 수행할 수 있으며, 아티팩트는 원격 캐시를 통해 공유된다.
• 검증: 인프라에는 통합 문제를 출시 전에 포착하기 위한 자동화된 RTL 컴파일 체크 기능이 포함되어 있다.

3. AI 보조 큐레이션

핵심 혁신은 큐레이션의 수동 부담을 줄이기 위해 12개의 특화된 "스킬(skills)"을 갖춘 Claude Code 에이전트를 사용하는 것이다.

• 설계 라이프사이클: 새로운 설계를 발견하고, 이를 통합하며(스크립트 및 메모리 매크로 생성), 플랫폼 간 포팅을 수행하고, 상위 업데이트를 추적하는 스킬.
• 흐름 최적화: 빌드 실패를 디버깅하고(로그 및 혼잡도 맵 분석), PPA(Power-Performance-Area)를 최적화하며, 추상 SRAM 매크로를 생성하는 스킬.
• 도구 참조: OpenROAD TCL 및 SDC/STA 명령에 대한 캐시된 참조를 제공하는 스킬.
• 메타 유지보수: 상위 도구의 버그를 추적하고, 결과를 게시하며, 과거 세션을 분석하여 스스로의 스킬을 개선하는 "꿈꾸기(dreaming)" 스킬.
• 결정 메모리: 모든 에이전트 작업은 구성 선택(예: 특정 halo 크기 또는 클록 주기)의 *근거(rationale)*를 기록하는 공유된 영구 메모리(DECISIONS.md)에 의해 뒷받지된다. 이를 통해 튜닝 패턴이 여러 설계와 플랫폼에 걸쳐 전파되도록 하여, 수정 사항을 다시 유도하는 과정을 방지한다.

주요 기여

1. HighTide 스위트: 오픈 소스 하드웨어 생태계와 함께 성장하도록 설계된, 다양한 아키텍처, 언어 및 기술 노드를 다루는 공개적으로 사용 가능한 진화형 벤치마크 스위트.
2. 증분 컴파일 인프라: 원격 캐싱 및 Kubernetes 지원을 통해 효율적이고 재현 가능한 RTL-to-GDS 컴파일을 가능하게 하는 Bazel 기반 시스템.
3. AI 큐레이션 워크플로우: 설계 발견, 통합, 포팅 및 최적화를 자동화하고 지식 전수를 위한 장기적인 결정 메모리를 지원하는 12개의 AI 에이전트 스킬 구현.
4. 결정 로그: 튜닝 근거를 기록하고 재사용하는 메커니즘을 통해, 소규모 팀이 복잡한 멀티 플랫폼 벤치마크 컬렉션을 유지 관리할 수 있도록 함.

결과 및 관찰

• 커버리지: 초기 릴리스에는 세 가지 PDK(ASAP7, NanGate45, SkyWater 130nm)를 아우르는 20k 미만에서 1.5M 이상의 셀 개수를 가진 설계들이 포함되어 있다.
• 구조적 다양성: 이 스위트는 CNN(매크로 영역이 최대 83%에 달함)과 같은 매크로 지배적 설계부터 순차 회로(sequential-heavy) 중심 설계, 조합 회로(combinational-heavy) 중심 데이터패스까지 폭넓은 구조적 프로필을 성공적으로 포착한다.
• 효율성: AI 보조 큐레이션을 통해 팀은 수동 노력의 비례적 증가 없이 세 가지 플랫폼으로 설계를 포팅하고 커버리지를 확장(예: 여러 설계에 SkyWater 130nm 지원 추가)할 수 있었다.
• 버그 추적: 에이전트는 상위 도구의 결함(예: OpenROAD MPL-0040 매크로 배치 실패)을 성공적으로 식별하고 문서화하여, 워크아라운드(workaround) 도출 및 상위 이슈 보고로 이어졌다.

의의 및 주장

본 논문은 HighTide가 정적인 벤치마크 스냅샷에서 오픈 소스 하드웨어 및 EDA 생태계와 함께 진화하는 살아있는 평가 스위트로의 전환을 나타낸다고 주장한다. 그 의의는 다음과 같다:

• 재현성 및 안정성: 애플 투 애플(apples-to-apples) 비교를 보장하면서도 상위 진화를 추적할 수 있도록 고정된 구성(SDC, 메모리 매크로)을 가진 반기별 태그 릴리스를 제공한다.
• ML을 위한 일반화 가능성: 다양하고 현대적인 데이터셋을 제공함으로써, HighTide는 ML 모델이 좁고 오래된 설계 패턴에 과적합되는 것을 방지하여 일반화 가능한 회로 동작의 발전을 지원하고자 한다.
• 유지보수의 확장성: 에이전트 큐레이션 방식은 복잡한 멀티 플랫폼 벤치마크 스위트가 효율적으로 유지 및 확장될 수 있음을 입증하며, 현재의 자원들이 겪고 있는 "노후화" 문제를 극복한다.

저자들은 HighTide를 ORFS와 같은 기존 스위트의 대체제가 아니라, 현대적인 ML-for-EDA 연구에 필요한 다양성, 최신성 및 엔드 투 엔드 흐름 평가의 격차를 메우는 보완적인 리소스로 정의한다.