Microbenchmark-Driven Analytical Performance Modeling Across Modern GPU Architectures

본 논문은 이전 세대로의 이식성을 입증하면서 단순한 루프라인 기준보다 현저히 우수한 성능을 보이는 체계적인 마이크로벤치마크 특성 분석에 기반하여 현대 NVIDIA Blackwell 및 AMD CDNA3 GPU 아키텍처에 대한 매우 정확한 분석적 성능 모델을 제시한다.

핵심

상상해 보세요. 초고속 배송 트럭이 소포를 배달하는 데 얼마나 걸릴지 예측하려 한다고요.

구식 방법 (소위 "Naive Roofline"):
수년 동안 엔지니어들은 다음과 같은 간단한 경험칙을 사용해 왔습니다. "트럭이 시속 100 마일로 주행할 수 있고 소포가 10 파운드라면, X 분 만에 도착할 것이다." 그들은 트럭의 최고 속도 (이론적 피크) 와 도로 상태 (메모리 대역폭) 를 살펴보고 간단한 계산만 수행했습니다.

문제점:
이 구식 규칙은 현대식 트럭 (GPU) 에서는 완전히 실패합니다. 그 이유는 실제 생활이 복잡하기 때문입니다.

• 트럭은 단순히 주행만 하는 것이 아닙니다. 적하 도크에 정차하고, 특정 엘리베이터를 기다리며, 소포를 특수 컨테이너에 실은 후 주행해야 합니다.
• 때로는 트럭이 도움을 받기 위해 두 번째 트럭을 기다려야 합니다.
• 때로는 도로에 "비밀 터널" (캐시) 이 있어 주요 고속도로보다 이동이 빠르지만, 구식 규칙은 이 터널을 알지 못합니다.
• 트럭 브로셔에 기재된 "최고 속도"는 실제 교통 상황에서는 결코 유지할 수 없는 환상적인 숫자인 경우가 많습니다.

해당 논문은 이 구식 규칙을 사용하면 95% 에서 99% 오차가 발생한다고 말합니다. 10 분 걸릴 여행이 10 시간 걸린다고 예측하거나 그 반대가 되는 것과 같습니다.

새로운 해결책 (마이크로벤치마크 기반 모델):
저자들 (Aaron Jarmusch 와 Sunita Chandrasekaran) 은 현재 시장에서 가장 진보된 두 가지 "트럭"을 위한 새롭고 초정밀 예측 시스템을 구축했습니다.

1. NVIDIA Blackwell (B200): 최신 하이테크 트럭.
2. AMD CDNA3 (MI300A): 최신 경쟁사 트럭.

브로셔를 바탕으로 추측하는 대신, 그들은 실제로 이러한 트럭들이 어떻게 행동하는지 정밀하게 측정했습니다. 그들은 배송 과정의 모든 단계를 시간 재기 위해 작고 구체적인 테스트 (마이크로벤치마크) 를 실행했습니다.

구현 방식 (유사성):

• NVIDIA 트럭 (Blackwell) 의 경우:
  그들은 이 트럭이 매우 구체적이고 조립 라인 스타일을 가지고 있음을 깨달았습니다. 특수한 "적하 도크" (TMEM이라고 함) 와 물건을 자동으로 이동시키는 "대량 로더" (TMA라고 함) 가 있습니다.

  • 모델: 그들은 단계별 스톱워치를 구축했습니다. "1 단계: 데이터 로드 (420 나노초 소요). 2 단계: 특수 도크로 이동. 3 단계: 수학 연산 처리. 4 단계: 다른 트럭과 동기화."
  • 결과: 그들은 1.3% 오차로 시간을 예측했습니다. 이는 10 분 걸릴 여행이 8 초 오차로 예측된 것과 같습니다.

• AMD 트럭 (MI300A) 의 경우:
  이 트럭은 다릅니다. 운전석 바로 옆에 거대한 "창고" (Infinity Cache라고 함) 가 있고, 운전자는 자신의 좌석 공간 (레지스터) 을 직접 관리해야 합니다.

  • 모델: 그들은 다음과 같은 공식을 만들었습니다. "소포가 창고에 들어갈 만큼 작습니까? 그렇다면 매우 빠릅니다. 아니면 느린 고속도로로 가야 합니다." 또한 운전석의 혼잡도 (occupancy) 도 확인했습니다.
  • 결과: 그들은 0.09% 오차로 시간을 예측했습니다. 이는 놀라울 정도로 정밀하며 거의 완벽합니다.

이것이 중요한 이유:
저자들은 복잡한 수학 문제 (과학 및 AI 에서 사용됨) 와 같은 실제 업무에 새로운 모델을 테스트했습니다.

• 구식 "Roofline" 방법은 거의 매번 틀렸습니다 (약 100% 오차).
• 그들의 새로운 방법은 거의 매번 정확했습니다.

"플러그 앤 플레이" 기능:
가장 멋진 점은 구식 트럭 (NVIDIA H200 또는 AMD MI250X 등) 을 위해 완전히 새로운 시스템을 발명할 필요가 없었다는 것입니다. 그들은 기존 모델을 가져와서 "속도 제한"과 "창고 크기" 숫자만 교체하면 다시 작동했습니다. 이는 지도를 다시 작성할 필요 없이 설정에서 차종을 변경하기만 하면 포드, 토요타, 테슬라 모두에 작동하는 GPS 앱과 같습니다.

주의점 (한계):
"배송"이 매끄럽고 예측 가능할 때 (예: 큰 데이터 블록 이동) 모델은 훌륭하게 작동합니다. 배송이 미로 같은 곳 (불규칙한 데이터) 을 지그재그로 통과하거나 초단위 작은 작업에 정차하는 경우 모델의 정확도는 약간 떨어집니다. 또한, 모델은 이동하는 데이터 양을 정확히 알려주는 사람에게 의존합니다. 입력이 틀리면 예측도 틀립니다.

요약:
저자들은 현대 슈퍼컴퓨터를 위한 "스마트 GPS"를 구축했습니다. 마케팅 브로셔를 바탕으로 추측하는 대신 하드웨어의 실제 행동을 측정했습니다. 이를 통해 엔지니어들은 이 새로운 기계에서 작업이 얼마나 걸릴지 거의 완벽한 정확도로 정확히 알 수 있게 되었으며, 이는 구식 방법으로는 불가능한 일이었습니다. 그들은 모든 도구와 측정치를 공개하여 누구나 사용할 수 있도록 공유할 것을 약속했습니다.

기술 요약

기술 요약: 현대 GPU 아키텍처 전반의 마이크로벤치마크 기반 분석적 성능 모델링

문제 제기
현대 고성능 컴퓨팅 (HPC) 및 AI 시스템은 복잡한 메모리 계층 구조, 전용 행렬 단위, 다양한 정밀도 형식을 갖춘 급격히 진화하는 GPU 아키텍처 (예: NVIDIA Blackwell B200 및 AMD CDNA3 MI300A) 에 의존합니다. 이론적 피크 성능과 달성 가능한 효율성 사이에는 상당한 격차가 존재합니다. 전통적인 성능 모델링, 특히 데이터시트 피크를 사용하여 계산 및 메모리 한계의 단일 최대 함수에 의존하는 "순진한 (naive) 로프라인" 모델은 이러한 현대 가속기에서의 실행 시간을 정확하게 예측하지 못합니다. 저자들은 순진한 로프라인 접근 방식이 중요한 아키텍처적 현실들, 즉 직렬화된 파이프라인 단계, 전용 행렬 경로, 텐서 메모리 (TMEM) 거주성, 그리고 오버커런시 (occupancy) 에 의해 주도되는 제약 조건들을 무시한다고 주장합니다. 그 결과, 순진한 로프라인 기준선은 현대 커널에서 95% 를 초과하는 오차를 보여 성능 엔지니어링 및 최적화에는 비효율적입니다.

방법론
본 논문은 NVIDIA Blackwell (B200) 과 AMD CDNA3 (MI300A) 두 가지 최신 세대 아키텍처에 대한 분석적 성능 모델을 구축하기 위한 체계적이고 마이크로벤치마크 기반의 접근 방식을 제안합니다.

1. 마이크로벤치마크 특성화: 저자들은 먼저 표적화된 저수준 마이크로벤치마크를 사용하여 하드웨어를 특성화합니다. 이러한 측정은 지속 대역폭 (HBM, TMEM, Infinity Cache), 명령어 지연 시간 (TMA, 텐서 코어, 배리어), 그리고 오버커런시 한계를 포함하여 모델 파라미터를 하드웨어에서 직접 도출합니다. 이는 종종 달성 가능한 처리량을 과장하는 벤더 데이터시트 피크에만 의존하는 것과 대조됩니다.
2. 스테이지 중심 및 웨이브프론트 중심 모델링:
   • NVIDIA Blackwell (B200): 이 모델은 스테이지 중심 프레임워크를 채택하여 파이프라인 단계를 명시적으로 모델링합니다: 텐서 메모리 가속기 (TMA) $\rightarrow$ 텐서 메모리 (TMEM) $\rightarrow$ 5 세대 텐서 코어 $\rightarrow$ 동기화. 이는 비동기 대량 복사, TMEM 용량 제약 (256 KB/SM), 압축 해제 엔진, 그리고 2-SM 협력 실행을 고려합니다.
   • AMD CDNA3 (MI300A): 이 모델은 오버커런시에 의해 주도되는 암시적 중첩에 초점을 맞춘 웨이브프론트 중심 프레임워크를 활용합니다. 이는 Infinity Cache 계층 구조 (256 MB), 벡터 범용 레지스터 (VGPR) 제약, 그리고 타일 크기와 오버커런시 간의 트레이드오프를 포함합니다. L1/L2/Infinity Cache/HBM 메모리 계층 구조와 작업 집합 크기 (working set size) 가 캐시 히트율에 미치는 영향을 모델링합니다.
3. 검증 전략: 이 모델들은 B200 의 경우 21 개, MI300A 의 경우 27 개의 마이크로벤치마크 세트를 통해 검증됩니다. 또한 Rodinia 3.1 과 SPEChpc 2021 Tiny 의 전체 애플리케이션 벤치마크에서도 테스트됩니다. 저자들은 또한 이전 세대 벤더 제품 (NVIDIA H200 및 AMD MI250X) 에 동일한 모델 프레임워크를 적용하여 단순히 하드웨어 파라미터를 업데이트함으로써 모델 공식을 다시 유도하지 않고도 이식성을 입증합니다.

주요 기여

• 최초의 검증된 실행 시간 모델: 저자들의 지식에 따르면, 본 논문은 NVIDIA Blackwell (B200) 과 AMD CDNA3 (MI300A) 아키텍처를 위해 특별히 설계된 최초의 검증된 분석적 실행 시간 모델을 제시합니다.
• 새로운 아키텍처 용어: 이 모델들은 Blackwell 의 TMEM/TMA 상호작용과 CDNA3 의 Infinity Cache 계층 구조/VGPR 부하와 같이 기존 분석적 모델이 무시해 왔던 현대적 기능을 포착하기 위한 특정 용어를 도입합니다.
• 벤더 간 검증: 이 연구는 경쟁 벤더 간에 통일된 검증 프로토콜을 제공하며, 공유 조건 하에서 평균 절대 오차 (MAE) 를 보고합니다.
• 이식성 입증: 저자들은 모델 프레임워크가 확장 가능함을 입증합니다. 마이크로벤치마크에서 도출된 파라미터 (예: 대역폭, 캐시 크기) 를 업데이트함으로써 모델은 구조적 변경 없이 H200 과 MI250X 의 성능을 성공적으로 예측합니다.

결과

• 마이크로벤치마크 정확도: 제안된 모델은 마이크로벤치마크에서 높은 정확도를 달성합니다.
  • Blackwell (B200): 21 개 커널에서 1.31% MAE.
  • CDNA3 (MI300A): 호스트 측정 보정 승수를 사용하여 27 개 커널에서 약 0.09% MAE 달성 (보정되지 않은 모델은 약 5–8% MAE 를 산출).
  • 비교: 반면, 데이터시트 피크만 사용하는 순진한 로프라인 기준선은 동일한 커널에서 95% 를 초과하는 오차 (예: B200 에서 96.1%, MI300A 에서 99.6%) 를 보입니다.
• 애플리케이션 벤치마크:
  • Rodinia 3.1: MI300A 에서 모델은 전체적으로 12.5% MAE 를 달성하며, 규칙적인 워크로드 (예: pathfinder, srad) 에서는 거의 0 에 가까운 오차를 보이지만, 불규칙한 접근 패턴 (예: bfs, hotspot) 에서는 더 높은 오차를 보입니다.
  • SPEChpc 2021 Tiny: MI300A 에서 프로파일러에서 유도된 FLOP/바이트 수를 사용할 때 모델은 1.3% MAE 를 달성합니다. 그러나 원리 (소스 코드) 분석을 사용할 때 오차는 약 92.5% 로 상승하여, 성능 모델 자체의 실패가 아니라 컴파일러가 생성한 커널과 소스 레벨 알고리즘 분석 사이의 불일치를 강조합니다.
• 이식성: 워크로드 세그먼트의 특성화를 다시 수행하지 않고 H200 과 MI250X 에 적용할 때, 애플리케이션 수준의 MAE 는 증가합니다 (예: H200 Rodinia 43.6%). 이는 모델 구조는 이식 가능하지만 정확한 워크로드 특성화는 플랫폼 고유의 것임을 확인시켜 줍니다.

의의 및 주장
본 논문은 현대 GPU 에서 이론적 피크와 실제 성능 사이의 격차를 해소하기 위해 아키텍처 특화 분석적 모델링이 필요하다고 주장합니다. 저자들은 직렬화된 파이프라인 단계 (Blackwell) 나 오버커런시에 의해 주도되는 캐시 계층 구조 (CDNA3) 를 표현할 수 없기 때문에 "순진한 로프라인"은 불충분하다고 강조합니다.

이 연구의 의의는 마이크로벤치마크와 규칙적인 애플리케이션에 대해 1–5% MAE 내에서 실행 시간을 정확하게 예측할 수 있는 해석 가능하고 파라미터화된 모델을 제공한다는 점에 있습니다. 저자들은 그들의 접근 방식이 병목 현상을 모델 공식화에서 워크로드 특성화로 전환한다고 주장합니다. 그들은 모델이 규칙적인 데이터 병렬 워크로드에는 매우 정확하지만, 불규칙한 접근 패턴 (예: 희소 행렬, 포인터 추격) 과 런치 오버헤드가 지배적인 매우 짧은 커널에서는 한계가 있음을 지적합니다.

본 논문은 이러한 모델들이 물리적 접근 없이 벤더 간 조달 비교, 타일 크기와 정밀도에 대한 자동 튜닝 가이드, 그리고 파라미터를 업데이트하기 위해 마이크로벤치마크만 실행하면 새로운 하드웨어에서의 신속한 성능 추정과 같은 실용적인 응용을 가능하게 한다고 결론지었습니다. 또한 저자들은 기존 벤치마크 스위트 (Rodinia 등) 가 TMA 나 TMEM 과 같은 현대적 원시 연산을 완전히 활용하지 못할 수 있음을 강조하며, 이러한 기능을 직접 대상으로 하는 새로운 벤치마크의 필요성을 제기합니다.