기술 요약: HLS-Seek

문제 정의

고수준 합성 (HLS) 은 알고리즘적 C/C++ 설명을 레지스터 전송 수준 (RTL) 하드웨어로 컴파일합니다. 결과의 품질 (QoR)—특히 실행 지연 시간과 리소스 사용량 (LUT, DSP, BRAM, FF)—은 실제 가속기 배포에 있어 결정적입니다. 그러나 QoR 은 마이크로아키텍처 구조, 프라그마 구성, 코드 최적화에 의해 결정되며, 소프트웨어 코드 분석만으로는 정확하게 추론할 수 없습니다. 이는 값비싼 합성 및 구현 평가를 필요로 합니다.

기존의 HLS 코드 생성을 위한 대규모 언어 모델 (LLM) 접근법은 주로 기능적 정확성(컴파일 가능하고 실행 가능한 코드 생성) 에 초점을 맞추지만 QoR 에 무관심합니다. 이러한 모델들은 하드웨어 성능과 관계없이 모든 컴파일 가능한 설계를 동일하게 취급합니다. 실시간 합성 피드백 (합성-in-the-loop) 을 활용한 강화 학습 (RL) 이 RTL 분야에서 유망한 결과를 보여왔지만, 이를 HLS 에 적용하는 것은 과도하게 비용이 듭니다. 단일 HLS 합성 실행은 몇 분에서 몇 시간까지 걸릴 수 있으며, RL 학습은 일반적으로 수천 번의 평가가 필요하므로 대규모 적용은 불가능합니다.

방법론

저자들은 값비싼 실합성 RL 을 불확실성 인식 전환 메커니즘이 강화된 비교적 프록시 보상 모델로 대체하는 QoR 인식 자연어-to-HLS 프레임워크인 HLS-Seek을 제안합니다.

1. 핵심 통찰

저자들은 HLS 를 위한 RL 이 합성으로부터 절대적인 QoR 값 (정확한 지연 시간/리소스 수) 을 필요로 하지 않는다는 것을 관찰했습니다. 대신, 그룹 상대적 우위를 추정하기 위해 후보 설계 간의 상대적 비교만 필요합니다. 이러한 통찰은 두 설계 중 어느 것이 더 나은지 예측하는 경량 프록시 모델을 훈련하여 대부분의 학습 단계에서 합성 필요성을 우회할 수 있게 합니다.

2. 3 단계 훈련 파이프라인

HLS-Seek 은 3 단계 훈련 프로세스를 사용합니다:

• 1 단계: 다양성 지향 감독 미세 조정 (SFT): 기본 LLM 을 QoR 설명이 포함된 광범위한 HLS 코퍼스로 미세 조정하여 모델이 다양한 프라그마 구성과 코딩 패턴에 노출되도록 하여 HLS 구문 기반을 확립합니다.
• 2 단계: 추론 흔적이 포함된 콜드스타트 SFT: 상용 추론 모델이 생성한 체인 오브 씽킹 (CoT) 추론 흔적이 추가된 파레토 근접 설계 (최적의 절충안) 의 큐레이션된 데이터셋을 사용하여, 모델이 구조화된 하드웨어 추론과 최적의 프라그마 구성을 선택하는 방법을 학습합니다.
• 3 단계: 그룹 상대 정책 최적화 (GRPO): 4 가지 구성 요소 보상 신호를 사용하여 GRPO 로 모델을 정제합니다:
  1. 추론 형식: CoT 흔적이 포함된 구조화된 출력을 보장합니다.
  2. 컴파일: GCC 컴파일을 통해 구문적 정확성을 확인합니다.
  3. 기능적 정확성: 테스트벤치에 대한 의미적 정확성을 검증합니다.
  4. 프록시 QoR 보상: 쌍별 우위를 예측하는 시아미즈 네트워크에서 파생된 비교 보상입니다.

3. 비교적 프록시 보상 모델

• 아키텍처: 두 개의 HLS 설계를 입력으로 받아 하나가 다른 하나를 지배할 확률을 출력하는 Bradley-Terry 시아미즈 아키텍처입니다.
• 훈련: 설계 공간 탐색 (DSE) 결과의 쌍별 비교로 훈련되며, 전체 파레토 우위 (5 가지 지표 모두에서 더 좋음) 와 지연 시간 우위를 구분합니다.
• 불확실성 인식 전환: 프록시 모델의 맹점을 정책이 악용하는 "보상 해킹"을 방지하기 위해, 추론 중에 몬테카를로 (MC) 드롭아웃을 사용하여 불확실성을 추정합니다.
  • 후보 설계의 불확실성이 높으면, 시스템은 실제 Vitis HLS 합성을 트리거하여 실제 QoR 을 획득합니다.
  • 이러한 실제 합성 결과는 프록시 보상 모델을 온라인 업데이트하는 데 피드백되어, 지속적으로 그 커버리지와 신뢰성을 확장합니다.
  • 이 메커니즘은 프록시의 정확성을 유지하면서 합성 트리거율을 낮게 유지합니다 (수렴 시 목표 <5%).

4. 데이터 큐레이션

이 프레임워크는 파레토 근접 품질 - 다양성 샘플링 전략을 사용합니다. 엄격한 파레토 최적 설계 (너무 적음) 만 사용하는 대신, 파레토 전선 근처의 설계들을 전선까지의 유클리드 거리로 순위 매겨 포함함으로써, 모델이 미세한 리소스 - 지연 시간 절충안을 학습하도록 보장합니다.

주요 기여

1. 상대적 보상 통찰: HLS RL 이 절대적 합성 결과가 아닌 상대적 QoR 신호만 필요하다는 식별은 비교적 프록시 모델의 사용을 가능하게 합니다.
2. 불확실성 인식 프록시 시스템: 시아미즈 비교 보상 모델과 MC 드롭아웃 불확실성 추정 및 선택적 실합성을 통한 온라인 업데이트를 결합한 새로운 메커니즘입니다. 이는 보상 해킹을 방지하고 자기 개선을 보장합니다.
3. HLS-Seek 프레임워크: 3 단계 훈련 전략 (다양성 SFT $\to$ 추론 콜드스타트 SFT $\to$ 프록시 보상 GRPO) 을 활용하여 7B 파라미터만으로 최첨단 성능을 달성하는 완전한 NL-to-HLS 파이프라인입니다.

실험 결과

HLS-eval 벤치마크와 ForgeHLS 테스트 세트를 평가했습니다:

• 구문 및 기능적 정확성:

  • HLS-eval 에서 81.5% pass@1 구문 정확성과 81.4% pass@5 기능적 정확성을 달성했습니다.
  • GPT-5.1, DeepSeek-V3.2, Qwen3-235B 와 같은 최첨단 모델과 SAGE-HLS, Gai et al. 과 같은 전문 HLS 베이스라인보다 훨씬 적은 파라미터 (7B 대 235B 이상 또는 더 큰 코드 모델) 로도 성능을 능가했습니다.
  • 구체적으로, HLS-eval 에서 기능적 pass@5 기준 GPT-5.1 보다 +2.3 퍼센트 포인트 더 높은 성능을 보였습니다.

• 결과의 품질 (QoR):

  • 30 개 커널 중 16 개에서 최저 지연 시간을 달성했습니다.
  • 9 개 커널에서 (SAGE-HLS 대비 5 개, Gai et al. 대비 4 개) HLS 전용 베이스라인 (SAGE-HLS 및 Gai et al.) 을 파레토 우위로 지배했으며, 역전승은 1 건뿐이었습니다.
  • 단순 프라그마 삽입을 넘어 알고리즘적 코드 재구조화(예: 스칼라 확장 및 루프 분할) 수행 능력을 입증하여 상당한 지연 시간 감소를 이끌었습니다 (예: GEMVER 에서 4.1 배 감소).

• 훈련 효율성:

  • 실보상 RL 대비 훈련 속도가 8.5 배 빨라졌습니다.
  • 73 시간의 월클럭 예산 내에서 HLS-Seek 은 12,500 개의 훈련 단계를 완료한 반면, 실보상 접근법은 1,460 개의 단계만 완료했습니다.
  • 프록시 보상 메커니즘은 수렴 시 합성 오버헤드를 5% 미만으로 줄이면서 높은 정확도 (99.53% 파레토 우위 정확도) 를 유지했습니다.

중요성과 주장

이 논문은 HLS-Seek이 학습된 QoR 보상을 가진 도메인 특화 RL 이 완전히 자동화된 하드웨어 효율적 HLS 코드 생성을 향한 실현 가능한 경로임을 보여준다고 주장합니다. RL 훈련 루프에서 절대적 합성 결과의 필요성을 분리함으로써, 저자들은 합성-in-the-loop 접근법의 확장성 병목 현상을 극복했습니다.

이 연구는 다음을 강조합니다:

1. 상대적 비교를 활용함으로써 값비싼 합성-in-the-loop 없이도 QoR 인식이 가능합니다.
2. 적절한 QoR 인식 신호와 추론 흔적으로 훈련될 때, **소규모 모델 (7B)**이 전문 하드웨어 생성 작업에서 거대한 최첨단 모델보다 뛰어난 성능을 발휘할 수 있습니다.
3. 알고리즘적 재구조화는 이 과정을 통해 학습된 핵심 능력으로, 단순 프라그마 튜닝을 넘어 하드웨어 병렬성을 위해 코드 구조를 근본적으로 최적화합니다.

저자들은 불확실성 인식 프록시 보상 시스템이 훈련 속도와 보상 충실도 사이의 균형을 성공적으로 유지하여, 기능적으로 정확할 뿐만 아니라 지연 시간과 리소스 사용에 최적화된 하드웨어 설계를 생성할 수 있다고 결론지었습니다.