기술 요약: 100MW 이상 AI 클러스터의 프로비저닝부터 런타임 최적화까지

문제 정의

일반 인공지능 (AGI) 을 향한 경쟁에서 주요 병목 현상은 AI 가속기의 가용성에서 데이터센터의 전력 공급으로 이동했습니다. 이전 연구들은 유틸리티 비용 절감, 녹색 에너지 활용 최적화, 또는 전력 과할당 (oversubscription) 활용에 초점을 맞추었으나, 이러한 연구들은 데이터센터 전력 계획이 고정된 전력 예산 내에서 총 컴퓨팅 용량을 극대화하는 것을 최우선으로 해야 한다는 중요한 현실을 종종 간과합니다. 또한, 기존 연구들은 대부분 전력 관리의 최종 운영 단계만 다루며, 하드웨어 가용 6~12 개월 전의 초기 계획부터 배포 검증 및 동적 런타임 튜닝에 이르는 엔드투엔드 프로세스를 간과했습니다.

본 논문은 150MW, 83,000 개의 GB200 GPU 로 구성된 하이퍼스케일 AI 클러스터의 전력 관리 과제를 해결하기 위해 프로비저닝 (Provisioning), 배포 검증 (Deployment Validation), 운영 런타임 최적화 (Operational Runtime Optimization) 의 세 단계로 구성된 통합 접근법을 제시합니다.

방법론

저자들은 RDMA 백엔드 네트워크를 통해 연결된 83,000 개의 GB200 GPU 를 호스팅하는 150MW 데이터센터를 활용하여 전력 관리를 위한 세 단계 프레임워크를 제안합니다.

1 단계: 계획 및 프로비저닝

이 단계의 목표는 고정된 전력 예산 ($P_{total}$) 내에서 총 처리량 ($T(p)$) 을 극대화할 수 있는 최적의 클러스터 구성을 결정하는 것입니다.

• 최적화 모델: 저자들은 문제를 $T(p) = N(p) \cdot f(p)$를 최대화하는 것으로 공식화했습니다. 여기서 $N(p)$는 예산에 맞는 GPU 수이며, $f(p)$는 전력 제한 $p$에서의 GPU 당 성능입니다.
• 전력 제한 선정: 1200W 의 열 설계 전력 (TDP) 을 사용하는 대신, 팀은 성능/와트 곡선을 분석했습니다. 그 결과 전력 제한을 낮추면 GPU 밀도를 높일 수 있음을 발견했습니다. 실증 데이터에 따르면 HBM 대역폭은 1000W 미만에서 급격히 감소하지만, 1000W 와 1200W 사이에서는 일정하게 유지됩니다. 따라서 그들은 총 GPU 수 증가와 GPU 당 성능 손실 사이의 균형을 맞추기 위해 960W(TDP 의 80%) 를 최적 운영 지점으로 선정했습니다.
• 통합 프로비저닝: 이 방법론은 메인 스위치보드, 스위치보드, 리액터 전원 패널 (Reactor Power Panels) 등 전체 전력 공급 계층을 고려하며, GPU 외의 전력 소비 (냉각, 네트워킹, CPU) 도 포함합니다.

2 단계: 배포 검증

하드웨어가 배포되면 팀은 가정을 검증하고 실제 현장의 원격 측정 데이터를 기반으로 전력 설정을 정교화합니다.

• 측정 보정: 저자들은 전원 공급 장치 (PSU) 판독치가 실제 전력 소비를 체계적으로 과대평가한다는 점을 확인했습니다. 이를 보정하기 위해 PSU 데이터를 고정밀 오실로스코프 및 리액터 전원 패널 (RPP) DCIM 센서와 비교했습니다. 그 결과, 1 분 내 PSU 샘플의 70 백분위수 (P70) 를 사용하는 것이 최대 PSU 값의 편향을 최소화하면서 랙 전체 전력의 가장 정확한 추정을 제공한다는 것을 확인했습니다.
• 여유분 (Headroom) 분석: 이 연구는 이기종 하드웨어 믹스 (GPU 랙, 네트워크 랙, 냉각) 와 물리적 배치 제약으로 인해 데이터센터 전반에 상당한 정적 전력 불균형이 있음을 밝혔습니다. 이러한 불균형은 가장 제약이 심한 메인 스위치보드 (MSBs) 에서 약 5~10% 의 전력을 '방치 (stranded)' 상태로 만듭니다.
• 조정: 검증 데이터를 바탕으로 팀은 계획된 960W 에서 운영 전력 제한을 1020W로 높여, P70 전력 소비가 랙 예산과 일치하도록 했습니다.

3 단계: 능동적 런타임 최적화

이 단계는 훈련 작업을 방해하지 않으면서 방치된 전력을 포착하고 과도한 순간 부하 (transient spikes) 를 처리하기 위한 동적 전력 관리에 중점을 둡니다.

• 전력 변동 (Power Swings): 동기식 훈련 알고리즘은 동기화된 전력 진동을 유발합니다. 이를 완화하기 위해 저자들은 소프트웨어 기반 전력 평활기를 사용하여 '갭 채우기 (gap filling)' 기법을 구현했습니다. 이 커널은 통신 간격 동안 텐서 코어에 인공 부하를 생성하여 3% 미만의 성능 오버헤드로 최대 800W 까지 안정된 전력 소모를 유지합니다.
• Dimmer 알고리즘: 전력 제한을 동적으로 관리하기 위해 'Dimmer'를 개발했습니다. 기존 전력 제한이 급격한 감소나 작업 추방을 강요하는 것과 달리, Dimmer 는 전력 장치가 한계에 도달할 때 (예: 97%) 작업 내의 모든 GPU 에 대해 전력 제한을 점진적으로 낮춥니다.
  • 스케줄러 인식: Dimmer 는 작업 스케줄러와 통합되어 대규모 핵심 사전 훈련 작업을 우선시합니다. 이는 전체 작업을 마비시킬 수 있는 '지체자 (stragglers)'를 만들지 않도록 전력 감소를 고르게 분배합니다.
  • 안전 장치: 시스템은 회로 차단기 트립 특성과 일치하도록 7 초 평균 창을 사용하여 과도한 순간 부하와 지속적인 초과를 구분합니다. 컨트롤러와의 통신이 끊어지면 호스트가 안전한 전역 제한으로 복귀하도록 하는 안전 장치도 마련되어 있습니다.

주요 기여 및 발견 사항

1. 엔드투엔드 전력 관리: 이는 배포 전 계획부터 런타임 최적화까지 하이퍼스케일 AI 클러스터의 완전한 전력 관리 수명 주기를 설명한 최초의 논문입니다.
2. 최적 전력 제한: 이 연구는 GPU 를 최대 TDP 이하 (초기 960W, 이후 검증된 1020W) 에서 운영할 때 총 클러스터 처리량이 극대화됨을 입증했습니다. 전력을 1200W 에서 1000W 로 낮추면 16.7% 의 전력을 절약하면서도 성능은 5% 만 감소하여 훨씬 더 높은 GPU 밀도를 가능하게 합니다.
3. 측정 정확도: 본 논문은 PSU 원격 측정 데이터가 전력 사용을 과대평가한다는 점을 확인했습니다. P70 집계 방법을 채택하면 이러한 편향을 보정하여 더 정밀한 전력 예산 편성이 가능해집니다.
4. 정적 불균형: 하드웨어 이질성과 물리적 제약으로 인해 시설 전반에 전력 여유분이 고르지 않게 분포됩니다. 가장 제약이 심한 MSBs 는 안전한 운영 범위를 결정하며, 동적으로 관리하지 않으면 최대 10% 의 전력이 방치됩니다.
5. 동적 최적화: 'Dimmer' 시스템과 전력 평활화 기술은 방치된 전력의 마지막 퍼센트를 성공적으로 포착합니다. 급격한 스로틀링을 피하고 부하 감소를 분산함으로써 시스템은 작업 안정성을 유지하면서 활용도를 극대화합니다.

결과

본 논문은 각 단계별 방법론을 통해 달성된 처리량 개선을 정량화하여, 최종 최적화 상태를 GPU 당 1200W 기준과 비교했습니다:

• 프로비저닝 단계: 성능/와트 최적화 (960W 제한) 는 더 높은 GPU 밀도를 가능하게 하여 1200W 기준 대비 클러스터 처리량을 10% 증가시켰습니다.
• 배포 검증: 실제 현장 원격 측정 데이터를 기반으로 전력 제한을 1020W 로 정교화하여 추가적으로 약 2% 의 처리량 증가를 달성했습니다.
• 런타임 최적화 (Dimmer): 방치된 전력과 전력 변동의 동적 관리는 추가적으로 약 2% 의 개선을 가져왔습니다.
• 총 증가분: 이러한 전략들의 누적 효과는 초기 1200W 구성 대비 클러스터 처리량을 약 14% 총괄적으로 개선시켰습니다.

또한, 본 논문은 H100 세대와 비교할 때 960W 의 GB200 은 동일한 전력 예산 내에서 GPU 당 성능은 2.4 배, 총 클러스터 처리량은 1.9 배를 제공한다고 언급합니다.

중요성 및 주장

저자들은 이 작업을 비용 중심의 전력 관리에서 AGI 개발에 필수적인 용량 중심 전략으로 나아가는 산업의 기초 가이드로 위치시킵니다. 그들은 150MW AI 클러스터의 전력 관리 세 단계를 모두 다루는 최초의 생산 규모 보고서라고 주장합니다.

본 논문은 전력 공급이 이제 가속기 가용성을 능가하여 AGI 의 주요 제한 요인이 되었다고 강조합니다. 전력 프로비저닝, 측정 보정, 동적 런타임 튜닝에 대한 통찰력을 공유함으로써 저자들은 다른 실무자들이 경험을 공유하고 AI 인프라의 효율성을 집단적으로 발전시키기를 목표로 합니다. 그들은 새로운 이론적 알고리즘을 제안하는 것이 아니라, 미래 실무자가 효율적이고 확장 가능한 AI 데이터센터를 설계할 수 있도록 안내할 수 있는 실용적이고 생산 검증된 경험과 발견 사항을 공유하는 것이 목표임을 명시적으로 밝힙니다.