🤖 machine learning

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

WattGPU는 하드웨어 프로파일링을 요구하지 않고 오직 공개된 메타데이터만을 사용하여, 본 적 없는 GPU와 LLM에 대한 전력 소비 및 추론 지연 시간을 정확하게 예측함으로써 기존의 물리적 베이스라인을 크게 능가하는 새로운 프레임워크를 도입합니다.

원저자: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 자동차 렌트를 하려고 하는데, 자신의 짐과 경로에 가장 연비가 좋은 차가 무엇인지 모르는 상황을 상상해 보세요. 보통 이를 알아내려면, 시장에 나온 모든 자동차를 자신의 짐을 실은 채로 직접 운전해 보고, 가스를 측정하고, 시간을 재야 합니다. 그러려면 엄청난 시간이 걸리고 비용도 막대하게 들 것입니다.

이 논문은 컴퓨터 칩(GPU)과 AI 모델(LLM)을 위한 "수정구슬"인 WattGPU를 소개합니다. 모든 자동차를 직접 운전해보는 대신, WattGPU는 특정 AI 모델이 특정 컴퓨터 칩에서 얼마나 많은 에너지를 사용할지, 그리고 얼마나 빨리 실행될지를 오직 그들의 사양서(spec sheets)만 보고 정확하게 예측합니다.

작동 원리를 쉬운 비유를 통해 설명하면 다음과 같습니다.

문제점: "추측 게임"

대기업과 중소기업 모두 점점 더 많은 AI 챗봇을 사용하고 있습니다. 이러한 챗봇을 구동하려면 강력한 컴퓨터 칩(GPU)이 필요합니다.

문제점: 모든 칩이 다 똑같은 것은 아닙니다. 작은 AI 모델을 거대한 고성능 칩에서 실행하는 것은, 마치 세미 트럭에 자전거 타이어를 끼우는 것과 같습니다. 이는 엄청난 양의 연료(전기)를 낭비하게 됩니다.
기존 방식: 최적의 조합을 찾기 위해 운영자들은 모든 AI 모델과 컴퓨터 칩의 조합을 물리적으로 테스트해야 했습니다. 이는 비용이 많이 들고 느리며, 모든 하드웨어를 실제로 소유해야 한다는 단점이 있습니다.
공백: 기존 도구들은 추측은 할 수 있었지만, 본 적 없는 새로운 칩이나 새로운 AI 모델을 마주했을 때는 실패했습니다.

해결책: WattGPU (사양서의 예언자)

저자들은 오직 공개된 정보만을 필요로 하는 두 가지 스마트 예측 모델(매우 발전된 계산기 같은 것)을 구축했습니다.

AI의 "이력서": 크기는 얼마인가? 레이어는 몇 개인가? (Hugging Face의 메타데이터).
칩의 "사양서": 속도는 얼마나 빠른가? 메모리는 얼마나 있는가? 최대 전력 제한은 얼마인가? (제조사 사양).

마법 같은 기술:
이 시스템은 서로 다른 칩과 AI 모델의 "성격"을 학습합니다. 일단 학습이 완료되면, 한 번도 본 적 없는 새로운 브랜드의 칩과 한 번도 만난 적 없는 새로운 AI 모델을 보더라도 다음과 같은 내용을 정확하게 추측할 수 있습니다.

전력 소모량 (Power Draw): 전기를 몇 와트(W)나 끌어다 쓸 것인가?
지연 시간 (Latency/ITL): 텍스트 한 단어(토큰)를 생성하는 데 시간이 얼마나 걸릴 것인가?

비유: 레스토랑 주방

AI 모델을 레시피라고 하고, GPU를 주방이라고 생각해 보세요.

어떤 레시피는 간단합니다 (토스트 만들기). 어떤 레시피는 복잡합니다 (10코스 정찬 요리).
어떤 주방은 작은 가스레인지를 가지고 있고, 어떤 주방은 산업용 오븐을 갖추고 있습니다.

기존 방식: 레시피를 모든 주방에서 직접 요리해 보며 가스를 얼마나 쓰는지, 시간이 얼마나 걸리는지 확인해야 합니다.
WattGPU 방식: 레시피의 재료 목록과 주방의 화구 크기를 살펴봅니다. 그러면 시스템이 이렇게 예측합니다. "이 특정 레시피를 저 특정 주방에서 요리한다면, 예상보다 가스를 13% 적게 사용할 것이며, 요리 하나당 5초가 걸릴 것입니다."

무엇을 증명했는가?

연구진은 42개의 서로 다른 AI 모델과 8개의 서로 다른 서버급 컴퓨터 칩으로 구성된 방대한 데이터셋을 통해 WattGPU를 테스트했습니다. 이들은 "Leave-One-Out"이라는 엄격한 테스트 방식을 사용했는데, 이는 마치 다음에 풀 문제를 미리 공부하는 것이 금지된 상태에서 시험을 치르는 것과 같습니다.

결과:
- 전력 예측: 매우 정확했습니다. 오프라인 작업(배치 처리)의 경우 오차가 3.4% 미만이었고, 서버 작업(실시간 채팅)의 경우 오차가 13.5% 미만이었습니다.
- 속도 예측: 실시간 채팅의 경우 오차가 8.5% 미만이었습니다.
- 순위 선정: 정확한 수치가 완벽하지 않더라도, 어떤 칩이 다른 칩보다 더 나은지를 알려주는 능력은 탁월했습니다.

왜 중요한가 (아하! 모먼트)

이 논문은 Llama 3.1 8B라는 구체적인 사례를 통해 놀라운 발견을 강조합니다.

단순히 칩의 "연비 등급"(TDP)만 본다면, 작고 저전력인 칩(L4)이 최선의 선택이라고 생각할 수 있습니다.
하지만 WattGPU는 이 작은 칩이 속도 요구 사항을 충족하기에는 너무 느릴 것이라고 예측했습니다.
반대로, 당연히 좋아 보이는 고전력 칩(H100)은 빠르긴 하지만, 중간 크기의 칩(A30)보다 에너지를 43%나 더 낭비한다는 것을 밝혀냈습니다. A30은 속도 면에서 거의 대등했음에도 불구하고 말이죠.
교훈: WattGPU는 "골디락스(Goldilocks)" 칩, 즉 충분히 빠르면서도 에너지를 낭비하지 않는 딱 적당한 칩을 찾아냈습니다. 이 도구가 없었다면 사람들은 잘못된 칩을 선택하여 엄청난 양의 전기와 돈을 낭비했을 것입니다.

한계점 (할 수 없는 것)

논문은 WattGPU가 아직 할 수 없는 부분에 대해서도 솔직하게 밝히고 있습니다.

이 모델은 표준적인 "밀집형(dense)" AI 모델에서 가장 잘 작동합니다. 아직 복잡한 "전문가 혼합(Mixture of Experts)" 모델(여러 전문가가 협력하는 방식)이나, 심하게 압축된(양자화된) 모델은 다루지 못합니다.
대량의 데이터를 한꺼번에 처리하는 "오프라인" 배치 처리 속도에 대해서는 실시간 채팅 속도에 비해 조금 더 어려움을 겪습니다. 이는 소프트웨어가 대규모 배치를 처리할 때 다르게 동작하기 때문입니다.

결론

WattGPU는 물리적 테스트 과정을 건너뛰게 해주는 도구입니다. 오직 공개된 사양만을 사용하여 운영자가 자신의 AI에 가장 적합한 컴퓨터 칩을 선택할 수 있도록 도와주며, 이를 통해 모든 가능성을 테스트하기 위한 실험실 장비를 구축할 필요 없이 비용과 전기를 절약할 수 있게 해줍니다. 이는 AI 배포의 "추측 게임"을 정교한 계산된 예측으로 바꾸어 놓았습니다.

기술 요약: WattGPU

문제 정의
대규모 언어 모델(LLM) 추론 워크로드, 특히 중소기업 배포 환경에서의 급격한 확산은 상당하고도 증가하는 에너지 발자국을 생성했습니다. 이러한 배포를 최적화하려면 특정 LLM을 가장 에너지 효율적인 GPU와 매칭해야 합니다. 그러나 운영자들은 현재 모든 잠재적인 LLM-GPU 조합을 물리적 하드웨어에서 전수 프로파일링하지 않고서는 이러한 매칭을 수행할 수 있는 도구가 부족합니다. 이러한 프로파일링 과정은 다양한 하드웨어에 대한 물리적 접근, 전문 지식 및 상당한 자원을 필요로 하므로 비용이 매우 많이 듭니다. 기존의 예측 모델은 프로파일링 데이터에 의존하거나 학습 과정에서 보지 못한 하드웨어로 일반화하는 데 실패하며, 이는 공개된 메타데이터만을 사용하여 미지의 구성에 대한 전력 소모량과 지연 시간을 추정하는 능력의 공백을 남깁니다.

방법론
이를 해결하기 위해 저자들은 평균 GPU 전력 소모량( $\bar{P}$ )과 **토큰 간 지연 시간(ITL)**을 위한 두 가지 예측 모델을 특징으로 하는 프레임워크인 WattGPU를 소개합니다. 핵심 혁신은 이 모델들이 학습 후에는 하드웨어 접근이나 프로파일링이 전혀 필요 없다는 점입니다. 이 모델들은 오직 공개적으로 사용 가능한 LLM 메타데이터(예: Hugging Face의 파라미터 수, 레이어, 어텐션 헤드)와 GPU 제조사 사양(예: TDP, 메모리 대역폭, 클록 속도)에만 의존합니다.

특징 공학(Feature Engineering): 저자들은 하드웨어 역학을 포착하기 위해 부스팅 비율(주파수 스케일링), 대역폭 지연 시간(가중치를 읽는 데 걸리는 시간), 연산 지연 시간(토큰 계산을 위한 이론적 하한선)을 포함하는 특징들을 도출했습니다.
모델 아키텍처: 저자들은 다양한 알고리즘을 평가하였으며, XGBoost(그래디언트 부스팅 회귀 트리)를 최적의 모델로 선택했습니다.
- 전력 예측의 경우, 타겟 변수는 미지의 GPU에 대한 일반화를 용이하게 하기 위해 GPU의 열 설계 전력(TDP)에 의해 정규화됩니다.
- 하이퍼파라미터는 그리드 서치를 통해 튜닝되었으며, 전력 예측(max_depth=6, n_estimators=100)과 지연 시간 예측(max_depth=5, n_estimators=200)에 대해 특정 구성을 적용했습니다.
평가 전략: 모델은 42개의 오픈 소스 LLM(0.1B~27B 파라미터)과 8개의 서버급 NVIDIA GPU(V100부터 H200까지 범위)로 구성된 데이터셋을 통해 평가되었습니다. 평가는 다음과 같은 엄격한 교차 검증 전략을 활용했습니다:
1. 5-겹 교차 검증(5-fold CV): 알려진 하드웨어/모델에 대해 미지의 (GPU, LLM) 조합에 대한 일반화 성능 측정.
2. Leave-One-GPU-Out (LOGO): 완전히 새로운 GPU에 대한 일반화 성능 측정.
3. Leave-One-LLM-Out (LOLO): 완전히 새로운 LLM에 대한 일반화 성능 측정.
  시나리오는 오프라인(최대 처리량)과 서버(지연 시간 제약이 있는 포아송 분포 요청)를 포함합니다.

주요 결과
WattGPU 모델은 분석적 베이스라인(전력의 경우 Load-Scaled TDP, 지연 시간의 경우 Roofline)에 비해 특히 일반화 시나리오에서 유의미한 개선을 보여줍니다.

평균 전력 소모량 ( $\bar{P}$ ):
- 미지의 GPU (LOGO): 오프라인 시나리오에서 **≤3.4%**의 중앙 절대 백분율 오차(MdAPE)를, 서버 시나리오에서는 **≤13.5%**의 MdAPE를 달축성했습니다.
- 순위 결정: 서버 시나리오에서 강력한 GPU 순위 상관관계(Kendall $\tau \ge 0.76$ )를 유지했습니다.
- 베이스라인 비교: 완전히 새로운 GPU에 대해서는 약 2배, 미지의 LLM-GPU 조합이 포함된 서버 시나리오에서는 강력한 베이스라인 대비 MdAPE를 약 4배 감소시켰습니다.
토큰 간 지연 시간 (ITL):
- 서버 시나리오: 미지의 GPU(LOGO)에 대해 **≤8.5%**의 MdAPE를 달성했습니다.
- 오프라인 시나리오: 성능 구현이 더 까다로웠으며, 미지의 GPU에 대해 **24.9%**의 MdAPE를 기록했으나, 여로 모델은 LOGO 상황에서 Roofline 베이스라인(24.9% vs 80.2%)보다 절대 오차 측면에서 우수한 성능을 보였습니다.
- 순위 결정: 모델은 높은 순위 품질(Kendall $\tau \ge 0.76$ )을 달성했습니다.

의의 및 주장
본 논문은 미지의 GPU에 대해 특별히 평가된 LLM 추론 전력 및 지연 시간 예측 모델을 제시한다고 주장합니다. 이 연구의 주요 의의는 물리적 벤치마킹 없이도 에너지 인지적 배포 결정을 가능하게 한다는 점에 있습니다.

실질적 영향: 저자들은 표준 휴리스틱(예: TDP 또는 TFLOPS/Watt)이 오해를 불러일으킬 수 있음을 입증합니다. 예를 들어, 저부하 Llama 3.1 8B 배포 시 TFLOPS/Watt를 기준으로 H100을 A30보다 효율적이라고 선택할 수 있지만, WattGPU는 H100이 동일한 지연 시간 SLA를 충족하면서도 43% 더 많은 전력을 소모할 것이라고 예측합니다.
지속 가능성: 특정 LLM 및 워크로드 시나리오에 대해 가장 효율적인 GPU를 선택할 수 있게 함으로써, 이 도구는 운영 비용과 탄소 배출량을 줄이는 데 직접적으로 기여하며, EU AI 법안과 같은 신흥 규제 및 지속 가능성 목표에 부합합니다.
한계 및 향ate 연구: 저자들은 오프라인 시나리오에서의 ITL 예측(MdAPE 24.9%)이 여전히 어렵다는 점을 인정하는데, 이는 정적 특징이 동적 배치 동작(예: vLLM의 연속 배치)을 완전히 포착할 수 없기 때문입니다. 향후 연구는 워크로드 인식 특징을 통합하고 MoE(Mixture-of-Experts) 및 양자화 모델로 확장하는 것을 목표로 합니다. 현재 평가는 단일 GPU 구성의 밀집(dense) 모델로 제한되어 있습니다.