🤖 machine learning

The Model Parking Tax: Quantifying the Hidden Energy Cost of Always-On GPU Model Deployment

본 논문은 AI 모델을 GPU 메모리에 상주시키는 에너지 비용이 VRAM 사용량이 아닌 CUDA 컨텍스트의 DVFS 전환으로 인한 이산적 전력 증가에 주로 기인함을 실증적으로 입증하여, 모델 배포의 에너지 최적화 전략은 모델 크기가 아닌 요청 도착률과 콜드스타트 지연 시간에 의존함을 밝힌다.

원저자: Sai Sathvik Vadari

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sai Sathvik Vadari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 '모델 주차세 (The Model Parking Tax)'라는 논문을 쉬운 언어와 일상적인 비유로 설명한 내용입니다.

핵심 아이디어: AI 에 부과되는 '주차세'

화려한 식당을 운영한다고 상상해 보세요. 당신은 이런 규칙을 가지고 있습니다. "VIP 손님을 위해 테이블을 차려놓으면, 그 손님이 앉지 않더라도 그 테이블은 영원히 차려진 상태로 유지한다."

왜일까요? 새로운 손님이 도착했을 때 식기, 냅킨, 메뉴판을 차리는 시간을 낭비하고 싶지 않기 때문입니다. 그들은 즉시 앉아서 식사를 시작하기를 원합니다.

AI 세계에서도 기업들은 GPU(그래픽 처리 장치)라고 불리는 강력한 컴퓨터 칩으로 똑같은 일을 합니다. AI 모델 (예: 챗봇) 을 GPU 에 로드하면, 아무도 질문을 하지 않을 때도 24 시간 내내 그곳에 머물며 실행되도록 둡니다. 이는 처음부터 모델을 로드하는 데 걸리는 '콜드 스타트 (cold start)' 지연 시간을 피하기 위함입니다.

문제점: 이 논문은 이러한 AI 모델들을 GPU 에 '주차'해 두는 것이 전기를 엄청나게 낭비한다고 주장하며, 그 이유는 아무도 예상하지 못했던 데 있습니다.

숨겨진 비용: 차의 '크기'가 아닙니다

대부분의 사람들은 700 억 개의 파라미터를 가진 거대 AI 모델을 GPU 에 유지하는 것이 70 억 개 파라미터 모델보다 훨씬 더 많은 전기를 소모한다고 가정합니다. 거대한 모델이 GPU 의 메모리 (VRAM) 를 더 많이 차지하기 때문입니다.

논문의 주요 발견: 이는 거짓입니다.

저자들은 H100, A100, L40S 라는 세 가지 다른 종류의 하이엔드 GPU 를 통해 이를 측정했습니다. 그들은 모델을 '주차'하는 데 드는 전기 비용은 차가 차고에 얼마나 많은 공간을 차지하느냐가 아니라, 엔진을 켜는 것에 거의 전적으로 의해 결정된다는 사실을 발견했습니다.

비유: 공회전하는 자동차

GPU 를 자동차 엔진으로 생각하세요:

완전 정지: 차는 꺼져 있습니다. 엔진은 식어 있습니다. 거의 연료를 소모하지 않습니다.
'컨텍스트' (엔진 시동): 열쇠를 돌려 차를 시동 (CUDA 컨텍스트 생성) 하는 순간, 엔진은 즉시 주행할 준비를 하도록 높은 속도로 회전합니다.
- 놀라운 사실: 일단 엔진이 회전하기 시작하면, 트렁크에 작은 자전거를 넣든 거대한 트럭을 싣든 상관없습니다. 엔진은 여전히 같은 높은 속도로 회전하며 같은 양의 연료를 태웁니다.

논문은 이를 **'모델 주차세 (Model Parking Tax)'**라고 부릅니다.

세금: 어떤 모델을 로드하는 순간 지불하게 되는 고정된 전기량 (칩에 따라 26 와트에서 66 와트 사이) 입니다.
놀라움: 더 큰 모델을 수용하기 위해 메모리를 추가해도 거의 추가 비용이 0에 가깝습니다. 1GB 모델을 주차하든 64GB 모델을 주차하든 전기 요금은 동일합니다.

어떻게 이를 발견했는가

연구자들은 단순히 추측한 것이 아니라 두 가지 일을 수행했습니다:

현장 감시: 그들은 데이터 센터의 실제 GPU 14 대를 18 일 동안 관찰하며 수십만 건의 측정을 기록했습니다. 그들은 모델이 로드될 때 전력 소비가 급증하는 것을 보았지만, 모델 크기를 변경해도 전력 소비는 변하지 않는다는 사실을 확인했습니다.
통제된 실험: 그들은 세 가지 다른 유형의 GPU 를 가져와 메모리를 빈 상태에서 가득 차게까지 체계적으로 채웠습니다. 마치 물통에 물을 부어 넣는 것처럼요. 그들은 각 단계마다 전력을 측정했습니다.
- 결과: 전력 그래프는 평평했습니다. 물통에 더 많은 '물 (메모리)'을 붓더라도 '엔진'이 더 열심히 일하지는 않았습니다.

'손익분기점'의 순간

그렇다면 연료를 아끼기 위해 엔진을 끄는 것이 좋을까요? 논문은 그렇다고 말합니다. 다만, 충분히 기다려야만 가능합니다.

그들은 '손익분기점'을 계산했습니다. 이는 엔진을 켜 둔 채 공회전시키는 것보다 엔진을 끄고 나중에 다시 시동하는 것이 더 저렴해지기까지 기다려야 하는 시간입니다.

수학: 대부분의 현대식 설정에서, 1 분에서 5 분 이내에 요청이 들어오지 않는다면, 모델을 끄고 누군가 요청할 때 다시 로드하는 것이 실제로 더 저렴합니다.
주의할 점: 작은 모델이 가장 큰 문제입니다. 이들은 몇 초 만에 로드되므로 사용 직후 즉시 꺼져야 합니다. 반면 큰 모델은 로드하는 데 시간이 더 걸리므로 조금 더 켜두는 것이 나을 수 있습니다. 하지만 논문은 '세금'이 둘 다 동일하다고 지적하며, 작은 모델이 켜져 있을 때 가장 낭비적이라고 강조합니다.

해결책: 더 똑똑한 스케줄러

저자들은 간단한 '스마트 주차미터 (스케줄러)'를 개발했습니다. 모델을 영원히 켜두는 대신, 이 시스템은 이렇게 확인합니다: "마지막 요청 이후로 5 분 이상 지났는가?"

예: 끄세요.
아니오: 켜두세요.

이 시스템을 테스트했을 때, 표준적인 '상시 켜기 (always-on)' 방식에 비해 8% 에서 23% 의 전기를 절약할 수 있었으며, 사용자에게는 거의 감지할 수 없는 지연 시간만 발생했습니다.

결론

신화: "큰 AI 모델을 로드하는 데 시간이 너무 오래 걸리므로 GPU 에 24 시간 내내 켜두어야 한다."
현실: 모델을 켜두는 비용은 GPU 엔진이 회전하면서 발생하는 고정된 '주차료'입니다. 모델의 크기는 중요하지 않습니다.
해결책: 우리는 이 모델들을 훨씬 더 자주 꺼야 합니다. 몇 분 동안 사용되지 않은 모델은 끄세요. 이는 성능을 해치지 않으면서 막대한 양의 에너지를 (산업 전반에 걸쳐 연간 수백 기가와트시) 절약할 수 있습니다.

요약하자면: 트렁크가 크다고 해서 엔진을 계속 가동할 필요는 없습니다. 운전하지 않는다면 차를 끄세요.

기술 요약: 모델 주차세

문제 제기

AI 추론의 기존 운영 모델은 모델을 GPU 에 배포하고 '콜드 스타트'와 관련된 지연 시간을 피하기 위해 VRAM 에 무기한 로드해 두는 방식을 취합니다. 이러한 '유지-온' 전략의 지연 시간 이점은 잘 문서화되어 있지만, 준비 상태 유지를 위한 지속적인 에너지 비용은 정량화되지 않은 상수로 간주되어 왔습니다. 업계 보고서에 따르면 GPU 유휴 전력은 열 설계 전력 (TDP) 의 약 20% 로 추정되지만, 특정 양의 VRAM 을 할당하는 데 따른 한계 에너지 비용은 경험적으로 분해된 바 없습니다.

이 연구가 다루는 핵심 질문은 모델 가중치를 GPU VRAM 에 저장하는 것이 측정 가능한 한계 유휴 에너지 비용을 발생시키는지, 그리고 이 비용이 서로 다른 GPU 아키텍처와 메모리 기술에 따라 변하는지 여부입니다. 기존 문헌은 CUDA 컨텍스트가 유휴 상태일 때에도 GPU 를 더 높은 클럭 주파수로 강제한다고 시사하지만, 단순히 컨텍스트를 유지하는 비용 이상으로 모델의 크기(VRAM 점유율) 가 전력 소비를 추가로 증가시키는지 여부는 명확하지 않습니다.

방법론

저자들은 세 가지 서로 다른 GPU 아키텍처인 NVIDIA H100(HBM3), A100(HBM2e), L40S(GDDR6) 에 걸쳐 대규모 생산 텔레메트리와 통제된 용량 - 반응 실험을 결합한 2 단계 접근법을 사용합니다.

1 단계: 생산 텔레메트리

범위: 두 개의 Kubernetes 노드에 걸쳐 있는 14 개의 NVIDIA H100 GPU 로부터 수집된 18 일간의 데이터.
데이터 양: VRAM 할당량이 3MB 에서 79GB 로 다양하며, 0% 사용률 (유휴 상태) 인 335,267 개의 샘플.
계측: NVIDIA 데이터센터 GPU 관리자 (DCGM) Exporter 를 통해 30 초 간격으로 메트릭 수집.

2 단계: 통제된 실험

설계: 각 아키텍처 (H100, A100, L40S) 의 GPU 하나씩을 대상으로 한 피험자 내 용량 - 반응 연구.
프로토콜:
1. '순수 유휴' 전력 (CUDA 컨텍스트 없음) 기록.
2. 영구 CUDA 컨텍스트 생성.
3. torch.empty 텐서를 사용하여 VRAM 을 0 에서 40~72GB 까지 점진적으로 할당.
4. 각 할당 수준별로 20 분간 nvidia-smi 를 통해 전력 기록.
검증: 실제 모델 가중치와 CUDA 커널이 빈 텐서와 비교하여 유휴 전력 프로파일을 변경하지 않도록 하기 위해 실제 HuggingFace 모델 (Qwen2.5-7B) 을 사용하여 실험을 검증함.
통계적 엄밀성: 연구는 동등성을 입증하기 위해 양측 단일 검정 (TOST) 을 활용하여, 한계 전력 계수 ( $\beta$ ) 가 실질적으로 0 인지 (±0.1 W/GB 로 제한됨) 테스트함.

주요 발견

1. '주차세'는 기울기가 아닌 계단 함수입니다

이 연구는 두 가지 명확한 구성 요소로 이루어진 '모델 주차세'를 식별합니다:

CUDA 컨텍스트 오버헤드 ( $\Delta P_{DVFS}$ ): CUDA 컨텍스트를 생성하면 이산적인 동적 전압 및 주파수 스케일링 (DVFS) 전환이 트리거됩니다. 스트리밍 멀티프로세서 (SM) 클럭은 사용률과 관계없이 저전력 유휴 상태 (210~~345 MHz) 에서 최대 부스트 주파수 (1410~~2520 MHz) 로 점프합니다.
- H100: +49.9W 오버헤드.
- A100: +26.3W 오버헤드.
- L40S: +66.4W 오버헤드.
  이 단계는 모든 테스트된 아키텍처에서 총 유휴 전력 비용의 98% 이상을 차지합니다.
한계 VRAM 효과 ( $\beta$ ): CUDA 컨텍스트가 활성화된 상태에서 할당된 VRAM 을 0GB 에서 최대 테스트 용량 (최대 72GB) 까지 변화시켜도 전력 변화는 1W 미만입니다.
- 회귀 기울기 $\beta$ 는 H100 과 L40S 에서 통계적으로 0 과 구별되지 않는 것으로 나타났습니다.
- A100 에서는 통계적으로 유의한 음의 기울기가 관찰되었으나, 저자들은 이를 메모리 물리 효과보다는 열적 드리프트 (시간에 따른 온도 감소) 로 귀인하며, 그 크기가 미미함 (<총 0.1W) 을 지적했습니다.
- 결론: $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$ . 비용은 메모리의 점유가 아닌 컨텍스트의 존재에 의해 결정됩니다.

2. 아키텍처 간 일관성

유휴 전력이 조각상 상수라는 발견은 세 가지 근본적으로 다른 메모리 기술 (HBM3, HBM2e, GDDR6) 과 마이크로아키텍처 (Hopper, Ampere, Ada Lovelace) 에서도 유효합니다. 이 일관성은 유휴 상태에서 메모리 전력이 데이터 내용과 관계없이 모든 행을 스캔하는 백그라운드 및 리프레시 회로에 의해 지배된다는 이론적 예측을 지지하며, 이로 인해 전력은 점유율과 무관해집니다.

3. 콜드 스타트 손익분기점 모델

저자들은 모델을 내보낼지 아니면 온 상태로 유지할지 결정하기 위한 손익분기점 모델 ( $T^*$ ) 을 유도합니다:
$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$
여기서 $P_{park}$ 는 주차세 (컨텍스트 오버헤드), $P_{load}$ 는 로드 중 전력, $t_{load}$ 는 로드 시간입니다.

결과: 손익분기점 간격은 짧아, 아키텍처와 로드 방법에 따라 일반적으로 1~5 분입니다.
시사점: 몇 초 만에 로드되는 작은 모델의 경우, 중간 정도의 요청 빈도에서도 온 상태로 유지하는 에너지 비용이 콜드 스타트 비용보다 종종 더 큽니다. 손익분기점은 모델 크기가 아닌 로드 지연 시간과 전력에 따라 결정됩니다.

중요성과 주장

이 논문은 VRAM 할당에 따른 유휴 GPU 전력을 아키텍처 간에 측정했다는 최초의 사례를 주장합니다. 주요 기여점은 다음과 같습니다:

유휴 비용의 분해: 유휴 전력을 CUDA 컨텍스트에 의해 트리거되는 거대하고 고정된 DVFS 비용과 무시할 수 있으며 실질적으로 0 인 한계 VRAM 비용으로 경험적으로 분리합니다.
현재 관행에 대한 도전: 더 큰 모델이 비례적으로 더 높은 유휴 에너지 비용을 발생시킨다는 업계 가정을 도전합니다. 논문은 비용이 메모리 발자국이 아닌 컨텍스트에 의해 주도되므로 1GB 모델과 64GB 모델이 '동일한 주차세'를 지불한다고 주장합니다.
운영 지침: 저자들은 '크기 인식 스케줄링'(작은 모델의 콜드 스타트) 과 '손익분기점 인식 내보내기'가 항상 온 (always-on) 배포보다 에너지 효율이 더 높다고 제안합니다.
산업 영향 추정: 2023 년 출하 데이터와 65% 활용률을 기반으로 저자들은 CUDA 컨텍스트 오버헤드만으로도 전 세계적으로 연간 92~1,745 GWh(기저 추정치 462 GWh/년, 약 180kT CO2) 를 차지한다고 추정합니다.

논문은 GPU 벤더가 컨텍스트 존재와 클럭 주파수를 분리하는 유휴 상태를 조사해야 하며, 서버리스 플랫폼은 에너지 절감을 위해 모델 발자국 감소보다 CUDA 컨텍스트 제거를 우선시해야 한다고 결론짓습니다. 유도된 손익분기점 모델을 사용한 개념 증명 스케줄러는 24 시간 시뮬레이션에서 항상 온 기준 대비 8~23% 의 에너지 절감을 입증했습니다.