기술 요약: 대규모 플릿 규모에서의 실시간 GPU 효율성 가시성

문제 진술

2029 년까지 2.8 조 달러를 초과할 것으로 예상되는 AI 고성능 컴퓨팅 (HPC) 인프라에 대한 자본 지출의 급격한 증가로 인해 GPU 컴퓨팅 효율성이 중요한 경제적 요인이 되었습니다. 그러나 기존 측정 기법의 한계로 인해 플릿 전체의 GPU 활용도에 대한 가시성을 확보하는 데는 장애물이 존재합니다:

1. 사용자 수준 프로파일링: NVIDIA Nsight Compute 및 PyTorch Profiler 와 같은 도구는 높은 충실도를 제공하지만 작업별 계측 (instrumentation) 을 요구하며, 런타임 오버헤드를 부과하고 지속적인 플릿 규모 모니터링에는 적합하지 않습니다.
2. 프레임워크 수준 추정치: 모델 FLOPs 활용도 (MFU) 와 같은 지표는 모델 아키텍처에 기반하여 수동으로 유도된 공식에 의존합니다. 이러한 지표는 프레임워크 간에 파편화되어 있으며, 아키텍처가 진화함에 따라 (예: Mixture-of-Experts, 잠재 공간 라우팅) 취약해지고, 침묵하는 오계산에 노출됩니다.
3. 하드웨어 카운터: 비침습적이기는 하지만, DCGM 을 통한 기존 하드웨어 카운터 사용은 엄격한 정확도 특성화, 제어된 벤치마크에 대한 검증, 그리고 GPU 세대 및 수치 정밀도에 걸친 입증된 확장성이 부족합니다.

비침습적이며 소프트웨어 스택 수정이 필요 없고, 모든 작업과 GPU 세대를 포괄하며, 경계 설정이 잘 된 특성화된 정확도를 제공하는 활용도 지표에 대한 시급한 필요성이 존재합니다.

방법론: 전체 FLOP 활용도 (OFU)

저자들은 NVIDIA DCGM 을 통해 제공되는 두 가지 온칩 성능 카운터에서 유도된 하드웨어 수준, 정밀도 무관 지표인 **전체 FLOP 활용도 (OFU)**를 제안합니다:

1. 텐서 파이프 활동 (TPA): GPU 가 텐서 코어 부동 소수점 명령어를 실행하는 사이클의 비율.
2. SM 클록 주파수 ($f_{SM}$): 스트리밍 멀티프로세서의 순간 클록 주파수.

유도

이 지표는 TPA 와 현재 SM 클록을 최대 부스트 클록 ($f_{max}$) 으로 나눈 비율의 곱으로 정의됩니다:
$$\text{OFU} = \text{TPA} \times \frac{f_{SM}}{f_{max}}$$

이 접근 방식은 행렬 곱셈이 지배적인 현대 AI 작업에서 텐서 코어 파이프라인이 부동 소수점 연산의 대부분 (약 99.8%) 을 차지한다는 관찰에 기반합니다. 텐서 코어 활동을 모니터링하고 클록 주파수 변동을 정규화함으로써, OFU 는 모델별 정보가 필요 없이 실제 FLOPs/s 와 최대 FLOPs/s 의 비율을 근사합니다.

오차 특성화

이 논문은 H100 및 GB200 GPU 에서 FP16, TF32, FP8, NVFP4 에 걸쳐 수행된 제어된 GEMM 실험을 통해 다섯 가지 근사 오차 원인을 엄격하게 특성화합니다:

• 타일 양자화: GEMM 커널 (예: cuBLAS) 의 소프트웨어 제약으로 인해 행렬이 타일 경계까지 패딩되는 경우가 많아, 하드웨어가 이론적인 $2MNK$ 비용보다 더 많은 FLOPs 를 실행하게 됩니다. 저자들은 프로파일링된 오버헤드를 기반으로 보정 인자를 유도했습니다.
• 정밀도 스케일링: 검증 실험은 OFU 가 다양한 정밀도 (예: FP8 대 TF32) 및 아키텍처에 걸쳐 처리량 스케일링을 정확하게 추적함을 확인했습니다.
• 클록 샘플링 노이즈: 분석 결과, 5~30 초의 샘플링 간격은 지표의 크기에 비해 무시할 수 있는 노이즈 (<0.22 퍼센트 포인트) 를 발생시킵니다.
• 클록 도메인: 이 논문은 텐서 코어 파이프라인이 일반 SM 부스트 클록과 다른 최대 주파수로 작동하는 경우 (예: H100 FP16 대 FP32) 를 고려합니다.
• 비텐서 누락: CUDA 코어 작업 (활성화, 정규화) 의 배제는 트랜스포머 기반 작업의 경우 무시할 수 있는 것으로 간주됩니다.

주요 기여

1. 첫 번째 원칙 지표: MFU 를 위한 정밀도 및 아키텍처 무관 프록시로, 하드웨어 카운터의 단순한 곱으로 유도된 OFU.
2. 정확도 검증: 타일 양자화 보정 후 OFU 가 99~100% 의 경우에서 애플리케이션 수준 MFU 를 ≤2 퍼센트 포인트 내에서 예측함을 보여주는 H100 및 GB200 에 대한 제어된 실험.
3. 운영 상관관계: H100 GPU 에서 수행된 608 개의 생산 학습 작업에 대한 평가로, 애플리케이션 수준 MFU 와 r = 0.78의 상관관계를 달성.
4. 운영 배포: 대규모 플릿 인프라 (작업별 대시보드, 복원성 서비스, 그리고 Goodput 모니터링) 에 OFU 를 통합하여 애플리케이션 수준 지표로는 보이지 않는 비효율성을 탐지할 수 있음을 입증.

결과

• 제어된 벤치마크: GEMM 실험에서, 원시 OFU 는 타일 양자화로 인해 MFU 를 일관되게 1~3 퍼센트 포인트 과대평가합니다. 유도된 보정을 적용하면 오차를 ≤2 퍼센트 포인트로 축소할 수 있습니다.
• 생산 작업:
  • 608 개 작업을 통해 OFU 와 보고된 MFU 간의 평균 절대 오차는 6.2% 였습니다.
  • 프레임워크 수준 FLOPs 오계산이 알려진 작업을 제외하면 상관관계가 r = 0.78로 개선되었습니다.
  • 사례 연구 1 (MoE): 288 GPU DeepSeek 스타일 MoE 작업은 54.27% MFU 를 보고했으나 25.58% OFU 를 보였습니다. 조사 결과, 프레임워크가 잠재 공간 프로젝션을 무시하여 FLOPs 를 잘못 계산 (~3 배 과대평가) 한 것으로 밝혀졌습니다.
  • 사례 연구 2 (하이브리드 MoE): 하이브리드 아키텍처 작업은 프레임워크가 FLOPs 공식에서 어텐션 계층이 아닌 계층을 고려하지 못해 57.5% 의 상대 오차를 보였습니다.
• 운영적 영향:
  • 구현된 에이전트 학습: OFU 는 CPU 기반 검증 호출을 주입하여 NCCL 연동을 직렬화하고 텐서 코어를 유휴 상태로 만든 디버그 플래그 (TORCH_DISTRIBUTED_DEBUG=DETAIL) 로 인해 발생한 2.5 배 효율성 후퇴를 탐지했습니다.
  • 혼합 정밀도 사전 학습: 6,144 GPU 실행에서 OFU 는 혼합 정밀도 (NVFP4, FP8, BF16) 와 BF16 전용 모드 간 전환 시 활용도 변화를 성공적으로 추적했으며, 지표에 정밀도별 구성이 없었음에도 작업 수준에서 높은 상관관계 (r = 0.977) 를 유지했습니다.

중요성 및 주장

이 논문은 OFU 가 지속적인 플릿 전체 효율성 모니터링을 위한 애플리케이션 수준 MFU 에 대한 실용적이고 배포 준비가 된 보완책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 영구 계측 불필요: 학습 코드, 모델 아키텍처, 또는 소프트웨어 스택의 변경이 필요 없으므로 다양한 프레임워크와 사용자를 가진 이종 플릿에 즉시 적용 가능합니다.
• 아키텍처 진화에 대한 강건성: 새로운 모델 유형 (예: Mamba, 하이브리드 MoE) 이 등장하면 깨지는 프레임워크 수준 MFU 와 달리, OFU 는 실제 하드웨어 실행을 측정하므로 유효성을 유지합니다.
• 실행 가능한 가시성: 하드웨어 현실과 소프트웨어 보고 간의 불일치를 드러냄으로써, 그렇지 않으면 컴퓨팅의 실효 비용을 두 배로 늘릴 수 있는 침묵하는 비효율성 (라이브러리 수준 오버헤드 또는 디버그 플래그 등) 을 탐지할 수 있게 합니다.

저자들은 OFU 가 근본 원인 진단을 위한 프로파일링이 필요한 거친 신호이지만, 플릿 전반에 걸쳐 비효율성이 어디에 존재하는지 식별하는 데 있어 더 우수한 도구이며, HPC 시스템에서 AI 작업을 최적화하는 장벽을 크게 낮춘다고 결론지었습니다.