💻 computer science

Alpha-RTL: Test-Time Training for RTL Hardware Optimization

이 논문은 강화 학습과 실행 가능한 EDA 피드백을 사용하여 대규모 언어 모델 정책을 동적으로 적응시킴으로써 기존의 고정된 정책 베이스라인 대비 전력, 성능 및 면적(PPA)을 크게 최적화하여 레지스터 전송 레벨(RTL) 하드웨어 설계를 실질적으로 개선하는 새로운 테스트 시간 훈련(test-time training) 프레임워크인 TTT-RTL을 소개한다.

원저자: Peilong Zhou, Zhirong Chen, Cangyuan Li, Haoyu Gao, Kaiyan Chang, Ziming Qu, Ying Wang

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peilong Zhou, Zhirong Chen, Cangyuan Li, Haoyu Gao, Kaiyan Chang, Ziming Qu, Ying Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 유능하지만 경험이 부족한 건축가에게 집을 설계하는 법을 가르치려 한다고 상상해 보십시오.

과거의 방식: 얼어붙은 건축가 (The Frozen Architect)
과거에 연구자들은 대규모 언어 모델(LLM)에게 컴퓨터 하드웨어 코드(RTL이라고 불림)를 작성하도록 가르치려 노력했습니다. 그들은 모델에게 수천 개의 좋은 집 사례를 보여주었습니다. 모델이 훈련된 후, 그들은 모델에게 설계도를 보내 집을 설계하라고 요청했습니다.

문제점: 모델은 작동하는 집(문이 열리고 불이 켜지는 집)을 만들 수는 있었지만, 그 집은 너무 거대하거나, 비용이 많이 들거나, 전기를 너무 많이 사용할 수도 있었습니다.
"얼어붙은" 접근법: 이를 해결하기 위해, 이전의 방법들은 모델에게 여러 가지 다른 설계를 시도하게 한 뒤, 가장 좋은 것을 고르고 나서 멈추는 방식을 사용했습니다. 모델 자체는 그 특정 집의 실수나 성공으로부터 배우지 못했습니다. 이것은 마치 요리사가 음식을 만들고, 맛을 본 뒤, 너무 짜다는 것을 깨닫고 음식을 버린 다음, 다음 요리를 할 때 소금을 줄이지 않고 똑같이 만드는 것과 같았습니다. 요리사의 "두뇌"(모델 가중치)는 전혀 변하지 않았습니다.

새로운 방식: Alpha-RTL (테스트 시간 훈련 - Test-Time Training)
이 논문은 TTT-RTL(RTL을 위한 테스트 시간 훈련)이라는 새로운 방법을 소개합니다. 건축가의 두뇌를 얼려두는 대신, 이 방식은 건축가가 작업 중인 특정 집을 설계하는 동안 학습할 수 있게 해줍니다.

이것이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다.

1. "시도, 테스트, 학습" 루프

건축가에게 다음과 같은 과제가 주어졌다고 상상해 보십시오: "작고 에너지 효율적인 차고를 지으시오."

1단계: 스케치 (롤아웃 - The Rollout): 건축가는 빠르게 4개 또는 8개의 서로 다른 차고 설계를 스케치합니다.
2단계: 검사관 (EDA 파이프라인): 비용을 확인하기도 전에, 엄격한 검사관이 스케치를 점검합니다:
- 구문 체크 (Syntax Check): "도면이 읽기 쉬운가? 선들이 연결되어 있는가?" (코드에 오타가 있으면 즉시 거부됩니다).
- 시뮬레이션 체크 (Simulation Check): "문을 열었을 때 벽에 부딪히는가?" (로직이 제대로 작동하는가?).
- 물리적 체크 (Physical Check): "콘크리트와 철강이 얼마나 필요한가? 공사 기간은 얼마나 걸리는가?" (이는 면적, 지연 시간, 전력, 즉 PPA를 측정합니다).
3단계: 피드백 (보상 - The Reward): 검사관은 점수를 줍니다. 설계가 너무 크면 점수가 낮습니다. 완벽하다면 점수가 높습니다.
4단계: 교훈 (업데이트 - The Update): 이것이 마법 같은 부분입니다. 건축가는 나쁜 스케치를 그냥 버리지 않습니다. 그들은 그 자리에서 바로 자신의 두뇌를 업데이트합니다. 그들은 이렇게 생각합니다. "아, 그렇구나! 곡선형 지붕을 사용하니 재료가 절약되었네. 이 특정 차고를 위한 다음 스케치에서도 이것을 기억해야겠다."

2. "스마트 탐색" (PUCT 트리)

이 논문은 PUCT(스마트 탐색 트리를 뜻하는 멋진 수학 용어)라는 전략을 사용합니다.
이것은 마치 탐정이 미스터리를 해결하는 것과 같습니다. 탐정은 많은 단서(설계 아이디어)가 있는 게시판을 가지고 있습니다.

어떤 단서들은 매우 유망하기 때문에(높은 보상), 탐정은 그것을 깊이 조사합니다.
어떤 단서들은 거의 살펴보지 않기 때문에(탐색), 탐정은 혹시 모를 비밀이 있을지 확인하기 위해 그것을 체크합니다.
시스템은 지금까지 발견된 가장 좋은 아이디어들의 "풀(pool)"을 유지하며, 매번 처음부터 다시 시작하는 대신 그것들을 재사용하여 훨씬 더 나은 아이디어를 만들어냅니다.

3. "적응형 예산" (스마트 온도 조절기)

이 논문의 영리한 발명 중 하나는 **적응형 KL-예산 컨트롤러(Adaptive KL-Budget Controller)**입니다.
건축가가 최선의 설계를 찾으려고 노력하고 있다고 상상해 보십시오. 때때로 그들은 매우 창의적이고 위험하며 파격적인 아이디어를 시도해야 합니다(높은 탐색). 다른 때에는 이미 가지고 있는 최고의 아이디어를 다듬는 데 집중해야 합니다(높기 활용).

이 논문의 시스템은 창의성을 위한 스마트 온도 조절기 역할을 합니다.
만약 건축가가 막혀 있고 모든 아이디어가 실패하고 있다면, 온도 조절기는 새로운 아이디어를 강제하기 위해 "창의성 열기"를 높입니다.
만약 건축가가 훌륭한 설계를 찾아내고 있다면, 온도 조절기는 현재의 승자를 완벽하게 만드는 데 집중할 수 있도록 열기를 낮춥니다.
이는 건축가가 나쁜 아이디어의 루프에 빠지거나 무작위한 추측에 시간을 낭비하는 것을 방지합니다.

결과: 무엇을 달성했는가?

연구진은 두 가지 유형의 "공사 현장"에서 테스트를 진행했습니다:

표준 테스트 스위트 (RTLLM v2.0): 49가지의 서로 다른 하드웨어 설계를 테스트했습니다.
- 결과: 이 새로운 방법은 기존 참조 설계와 비교했을 때 "비용"(면적 × 지연 시간 × 전력)을 평균 65.1% 감소시켰습니다.
- 비교: "얼어붙은" 건축가를 사용했던 가장 뛰어난 이전 방법은 비용을 약 26.1% 정도만 줄일 수 있었습니다. 새로운 방법은 훨씬 더 효율적인 설계를 찾는 데 훨씬 뛰어났습니다.
실제 산업용 칩 (XuanTie C910): 인간 전문가들이 이미 수동으로 튜닝한 실제 복잡한 프로세서의 일부(Leading-Zero Anticipator 유닛)를 가져왔습니다.
- 결과: 심지어 전문가의 설계와 비교했을 때도, 이 시스템은 59.4% 더 효율적인(더 작고 빠른) 버전을 찾아냈습니다.

이것이 왜 중요한가

이 논문은 AI가 실제 하드웨어 도구를 사용하여 실시간으로 피드백을 받으며 "현장에서 배우게" 함으로써, 단순히 작동하는 코드를 만드는 것을 넘어 물리적으로 최적화된 코드를 만들 수 있다고 주장합니다. 이것은 단순히 레시피를 따르는 요리사와, 음식을 맛보고 양념을 조절하며 요리 과정 중에 더 나은 요리를 하는 법을 배우는 요리사의 차이와 같습니다.

요약하자면: 이 논문은 AI가 특정 하드웨어를 설계하는 동안 자신의 실수로부터 실시간으로 학습하게 하면, 정적인 모델이나 심지어 인간 전문가보다 훨씬 더 효율적인 설계를 만들어낼 수 있음을 보여줍니다.

기술 요약: Alpha-RTL (TTT-RTL)

문제 정의

대규모 언어 모델(LLM)은 기능적으로 올바른 레지스터 전송 레벨(RTL) 하드웨어 설계를 생성하는 능력을 입증해 왔다. 그러나 기능적 정확성만으로는 고품질 하드웨어를 보장할 수 없으며, 하드웨어의 최종 품질은 궁극적으로 물리적 지표인 면적(Area), 지연 시간(Delay), 전력(Power) 즉, PPA에 의해 결정된다. 기존 방식들은 다음과 같은 결정적인 한계에 직면해 있다:

고정된 정책 에이전트(Frozen-policy agents) (예: EvolVE, VeriAgent, REvolution)는 LLM을 탐색 루프 내의 정적 구성 요소로 사용한다. 이들은 EDA 피드백을 활용하여 후보를 선택하지만, 근본적인 LLM 정책 가중치는 업데이트되지 않으므로, 주어진 설계 문제에 대한 특정 합성(synthesis) 피드백으로부터 학습할 수 없다.
학습 단계 RL 방법론(Training-time RL methods) (예: ChipSeek, EARL)은 모델 가중치를 업데이트하지만, Pass@k를 통해 평가되는 단일한 아모티즈드(amortized) 정책을 생성한다. 이 방식은 추론 과정 중 동일한 설계에 대해 하나의 시도에서 얻은 EDA 결과를 다음 시도로 다시 전달하는 메커니즘이 부족하다.

핵심 과제는 후보 설계들이 의미 있는 연속적 물리 피드백(PPA)을 합성 도구로부터 받기 전에, 희소하고 이산적인 유효성 게이트(구문 검사 및 기능 시뮬레이션)를 통과해야 한다는 점이다. 이러한 희소성은 표준 강화 학습을 어렵게 만든다.

방법론: TTT-RTL

저자들은 TTT-RTL(Test-Time Training for RTL)을 제안하며, 이는 테스트 시점에 검색(search)을 훈련(training)과 융합하는 프레임워크이다. 고정된 정책 대신, LLM은 실행 가능한 EDA 피드백을 사용하여 특정 RTL 최적화 문제에 온라인으로 적응한다.

핵심 구성 요소

PUCT 기반 상태 샘플링: 프레임워크는 Verilog 후보를 트리 내의 노드로 취급한다. 이는 착취(exploitation, 높은 보상을 가진 노드)와 탐색(exploration, 드물게 샘서링된 노드)의 균형을 맞추기 위해 PUCT(Predictor-Upper Confidence Bound) 점수를 사용한다. 상태 풀 $S$ 는 설계 $(v, r, t)$ 를 저장하며, 여기서 $v$ 는 Verilog 구현이고 $r$ 은 보상이다.
3단계 EDA 보상 파이프라인: 각 후보는 엄격한 파이프라인을 통해 평가된다:
- 1단계 (구문): iveridev를 통한 컴파일. 실패 시 감쇠하는 구문 보상을 부여한다.
- 2단계 (기능): 참조 테스트벤치에 대한 시뮬레이션. 실패 시 0의 보상을 부여한다.
- 3단계 (물리 합성): 성공적인 설계는 Yosys 및 OpenSTA를 사용하여 합성되어 면적( $A$ ), 지연( $D$ ), 전력( $P$ )을 계산한다. 보상은 참조 대비 정규화된 PPA 곱 비율( $r_{ppa} = M_{ref} / M(v)$ )이다. 여기서 $M = A \times D \times P$ (또는 특정 절제 연구의 경우 $A \times D$ )이다.
엔트로피 이점 추정(Entropic Advantage Estimation): 희소한 보상을 처리하고 정책 업데이트를 안정화하기 위해, 이 방법은 동일한 부모를 공유하는 롤아웃 그룹 내에서 엔트로피 이점 추정기를 사용한다. 이는 소프트맥스 분포가 균등 분포로부터 목표 KL 발산( $\delta$ )을 달성하도록 온도 파라미터 $\beta^*$ 를 해결한다. 이는 보상 차이가 클 때 정책 그래디언트가 단일 롤아웃으로 붕괴되는 것을 방지한다.
적응형 KL-버젯 컨트롤러(Adaptive KL-Budget Controller): 정체되거나 희소한 보상 그룹을 처리하기 위해, 저자들은 엔트로피 제약( $\delta$ )을 동적으로 조정하는 컨트롤러를 도입했다. 이 컨트롤러는 네 가지 신호(정책 대 참조 KL, 유효 샘플 크기, 상수 보상 그룹의 비율, 이진 탐색 포화도)를 모니터링하여 $\delta$ 를 축소하거나 확장할지 결정하며, 이를 통해 "승자 독식(winner-take-all)" 모드와 "확산 탐색(diffuse exploration)" 모드 사이를 효과적으로 전환한다.
정책 업데이트: LLM 정책은 계산된 이점(advantage)에 의해 가중치가 부여된 생성된 Verilog의 음의 로그 확률을 사용하는 엔트로피 정책 그래디언트 목적 함수를 사용하여 온라인으로 업데이트된다.

주요 기여

정식화: 본 논문은 per-design RTL 최적화를 EDA 피드백에 의해 구동되는 온라인 정책 업데이트와 PUCT 가이드 검색이 통합된 테스트 타임 트레이닝 문제로 정식화한다.
프레임워크 구현: TTT-RTL은 Verilog 상태 풀, EDA 피드백 프롬프팅, 엔트로피 이점 추정기 및 3단계 보상 시스템을 갖춘 이 체계를 verl 프레임워크를 기반으로 구현한다.
실증적 검증:
- RTLLM v2.0 벤치마크: TTT-RTL은 48/49개의 설계를 커버하며 참조 대비 기하 평균 PPA 곱 감소율 **65.1%**를 달적성했다. 이는 동일한 지표 하에서 26.1% 감소를 달성한 가장 강력한 기존 고정 정책 에이전트 베이스라인인 REvolution을 크게 상회하는 결과이다.
- 산업 사례 연구: Sky130 공정의 XuanTie C910 FPU Leading-Zero-Anticipation(LZA) 유닛에 대해, TTT-RTL은 잘 튜닝된 기존 프로덕션 RTL 대비 ADP(Area $\times$ Delay)를 59.4% 감소시켰다.
- 절제 연구(Ablation Studies): 실험을 통해 PUCT 상태 풀, 엔트로피 이점 추정기, 그리고 적응형 KL-버젯 컨트롤러의 기여도를 분리하여, 정책 적응과 상태 재사용이 성능의 핵심 동력임을 확인했다.

의의 및 주장

본 논문은 실행 가능한 EDA 피드백을 동반한 테스트 타임 트레이닝이 LLM 기반 RTL 생성을 단순한 기능적 정확성을 넘어 물리적으로 최적화된 하드웨어로 이동시킬 수 있다고 주장한다.

고정된 검색을 넘어: 고정된 정책으로 검색하는 기존 에이전트와 달리, TTT-RTL은 탐색이 진행됨에 따라 정책 자체가 심화될 수 있도록 하여, 탐색과 훈련이 함께 진화하는 폐쇄 루프를 생성한다.
아모티즈드 정책을 넘어: 모든 설계에 대해 단일 정책을 배포하는 학습 단계 RL 방법과 달리, TTT-RTL은 설계별 적응(per-design adaptation)을 수행하여 모델이 대상 회로의 특정 마이크로아키텍처 제약에 특화될 수 있도록 한다.
적응성에 대한 완만한 주장: 저자들은 적응형 KL-버젯 컨트롤러를 성능의 보장된 정점이라기보다 견고성 및 작업 대응성에 대한 관찰 결과로 명시적으로 규정한다. 이는 시드별 분산을 줄이고 작업 구조(예: LZA의 경우 $\delta$ 를 낮추고 다른 유닛의 경우 높임)에 적응하지만, 모든 지표에서 여러 시드에 걸친 통계적 유의성( $p < 0.05$ )에 도달하지는 못했으며, 이 이득은 엄격한 효과 크위보다는 순위 증거로서 제시되었다.

이 연구는 테스트 타임에 검색과 훈련을 융합하는 것이 하드웨어 설계를 최적화하기 위한 유효한 체계이며, 생성형 AI와 물리적 설계 제약 사이의 간극을 메울 수 있음을 시사한다.