Measurement of Generative AI Workload Power Profiles for Whole-Facility Data Center Infrastructure Planning

논문 요약: 생성형 AI 워크로드 전력 프로파일 측정을 통한 전체 시설 데이터센터 인프라 계획

1. 문제 제기 (Problem)

• 급증하는 전력 수요: 생성형 AI (GenAI) 의 급속한 성장은 데이터센터의 전력 소비를 전례 없이 증가시키고 있습니다. 2023 년 미국 데이터센터 전력 소비는 약 176 TWh 로 전체 전력 사용량의 4.4% 를 차지하며, 2028 년까지 2~3 배 증가할 것으로 예상됩니다.
• 계획 및 모델링의 어려움:
  • 데이터 부재: 주요 클라우드 제공업체 (Hyperscalers) 는 시설 운영 데이터와 부하 정보를 비즈니스 기밀로 간주하여 공개하지 않습니다.
  • 해상도 부족: 기존 연구들은 전체적인 추정은 가능하지만, 시설 단위 (Whole-facility) 의 전력 시스템 계획 (송배전, 발전 등) 에 필요한 시간적, 공간적 해상도가 부족합니다.
  • 기술적 변동성: AI 알고리즘의 빠른 진화 (예: 에이전트 AI) 와 고전압 직류 (HVDC) 같은 새로운 인프라 아키텍처 도입으로 부하 모델링이 더욱 복잡해졌습니다.
  • 그리드 안정성 위협: 대규모 AI 훈련 시 수천 개의 GPU 가 동기화되어 발생하는 MW 급의 급격한 부하 변동은 전압 강하, 고조파 왜곡 등을 유발하여 그리드 안정성을 위협할 수 있습니다.

2. 방법론 (Methodology)

저자들은 노드 수준의 고해상도 전력 측정 데이터를 전체 시설 에너지 모델과 연결하는 하향식 (Bottom-up) 프레임워크를 제안했습니다.

• 측정 환경:
  • 하드웨어: National Laboratory of the Rockies (NLR) 의 Kestrel HPC 시스템 (NVIDIA H100 GPU 4 개 탑재, AMD EPYC 'Genoa' CPU 2 개 탑재).
  • 측정 도구: 오픈소스 패키지인 WattAMeter를 사용하여 CPU 및 GPU 의 전력을 0.1 초 (100ms) 단위로 고해상도 측정.
• 워크로드 벤치마킹:
  • 훈련/파인튜닝: MLCommons (MLPerf) 벤치마크 사용.
    • Llama-2 70B: 대규모 언어 모델 (LLM) 파인튜닝 (LoRA 및 DeepSpeed ZeRO-3 사용).
    • Stable Diffusion v2: 이미지 생성 모델 훈련.
  • 추론 (Inference): vLLM 엔진 사용.
    • Llama-3 70B: 오프라인 (배치) 및 온라인 (서빙) 모드 테스트.
• 전체 시설 시뮬레이션 (DIPLOEE 모델):
  • Job-Centered Simulation: 훈련 및 파인튜닝 작업을 시뮬레이션. 작업 유형, 노드 수, 지속 시간, 전력 프로파일을 확률 분포에 따라 생성하고 SimPy 를 이용한 이산 사건 시뮬레이션 (Discrete-event simulation) 으로 실행.
  • Inference Simulation: 온라인 추론 시나리오. 사용자 요청률 (Request rate) 과 지연 시간 (Latency) 제약을 기반으로 모델 인스턴스 수를 동적으로 할당하여 부하를 생성.
  • 확장: 측정된 노드 수준의 전력 프로파일을 시설 전체의 사용률 (Utilization), 시간대, 요일, 계절적 패턴을 반영하여 확장.

3. 주요 기여 (Key Contributions)

1. 공공 데이터셋 공개: NVIDIA H100 GPU 를 사용한 GenAI 훈련, 파인튜닝, 추론 작업의 0.1 초 해상도 전력 소비 프로파일 데이터셋을 공개했습니다. 이는 재현성과 표준화된 워크로드 프로파일링을 가능하게 합니다.
2. 새로운 모델링 프레임워크: 측정된 노드 수준의 데이터를 실제 시설 수준의 계산 수요 시계열로 확장할 수 있는 DIPLOEE (Discrete-event, Whole-Facility Energy Model) 를 개발했습니다. 이를 통해 그리드 연결, 온사이트 발전, 분산 마이크로그리드 계획에 활용 가능한 현실적인 시간 변동성을 가진 부하 프로파일을 생성할 수 있습니다.

4. 주요 결과 (Results)

• 노드 수준 전력 프로파일:

  • 훈련 (Training): Llama-2 와 Stable Diffusion 모두 노드 수에 비례하여 평균 전력이 선형적으로 증가했습니다. 그러나 노드 수가 증가함에 따라 글로벌 배치 크기 (Global batch size) 증가로 인해 수렴에 필요한 에포크 수가 늘어나 전체 에너지 소비가 오히려 증가하는 경향을 보였습니다.
  • 전력 변동성: 훈련 중에는 GPU 간 통신 및 ZeRO-3 오프로딩으로 인해 고주파수의 전력 변동이 관찰되었습니다. Stable Diffusion 의 경우 평가 (Evaluation) 단계에서 12kW~48kW 사이에서 큰 변동이 발생했습니다.
  • 추론 (Inference):
    • 오프라인: 입력 프롬프트 수에 따라 전력이 증가하다가 일정 수준 (약 325 프롬프트) 에서 포화되었습니다.
    • 온라인: 요청률 (Request rate) 이 증가함에 따라 전력 소비는 약 2.8~2.9kW 에서 포화되었습니다. 지연 시간 (Latency) 을 줄이기 위해 더 많은 인스턴스를 사용하는 것은 에너지 효율성을 떨어뜨리는 트레이드오프가 존재함을 확인했습니다.

• 시설 수준 시뮬레이션 (Case Studies):

  • 10MW 콜로케이션 데이터센터 (훈련/파인튜닝 중심):
    • 최대 사용률 (100%) 에 도달하더라도 실제 전력 소비는 설계 용량의 약 73% (약 7.3MW) 에 그쳤습니다. 이는 개별 서버가 항상 최대 TDP 를 소비하지 않기 때문입니다.
    • 사용률이 낮을 때 (20~60%) 는 시간대별/요일별 패턴에 따른 전력 변동성이 컸으나, 사용률이 80% 로 높아지면 부하가 포화되어 변동성이 감소했습니다.
  • 1MW 추론 데이터센터 (온라인 서비스 중심):
    • 최대 전력 소비는 설계 용량의 80% 에 도달했습니다.
    • 지연 시간 제약으로 인해 요청률이 증가할 때 처리되지 않는 요청 (Incomplete requests) 이 발생했습니다.
    • 훈련 중심 시설보다 피크 - 평균 비율 (PAR) 이 낮아 그리드 안정성 측면에서는 덜 위험할 수 있으나, 서비스 품질 저하를 피하기 위해 낮은 평균 사용률로 운영될 가능성이 높습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인프라 계획 지원: 이 연구는 AI 워크로드의 미세한 전력 특성을 전체 시설의 부하 프로파일로 변환하는 방법을 제시하여, 발전소 계획, 송배전 설비 증설, 데이터센터 입지 선정 등 인프라 계획에 필수적인 데이터 기반을 제공합니다.
• 실제성 확보: 기존 연구들이 proprietary data 에 의존하거나 단순화된 모델을 사용했던 것과 달리, 실제 H100 하드웨어에서 측정된 데이터를 기반으로 하여 현실적인 시간 변동성 (Temporal fluctuations) 을 포착했습니다.
• 정책 및 운영 시사점:
  • 데이터센터의 설계 용량 대비 실제 전력 소비가 낮을 수 있으므로, 상류 인프라 (변압기, 배전 등) 를 과잉 설계하지 않고 최적화할 수 있는 기회를 제공합니다.
  • 높은 사용률은 그리드 안정성에는 유리할 수 있으나 (변동성 감소), 추론 서비스의 경우 지연 시간 증가로 이어져 서비스 품질을 저하시킬 수 있음을 경고합니다.
• 향후 과제: 다양한 하드웨어 및 모델 아키텍처에 대한 데이터 확장, 냉각 및 전력 손실 등 보조 부하 (Auxiliary loads) 모델링 통합, 지능형 작업 스케줄링 전략 연구 등이 필요하다고 결론지었습니다.

이 논문은 생성형 AI 시대에 데이터센터의 에너지 효율성과 그리드 안정성을 동시에 고려한 데이터 기반 인프라 계획의 새로운 표준을 제시한다는 점에서 중요한 의미를 가집니다.