This Is Taking Too Long -- Investigating Time as a Proxy for Energy Consumption of LLMs

논문 개요

이 연구는 API 기반 대형 언어 모델 (LLM) 의 에너지 소비량을 추정하기 위해 추론 시간 (Inference Time) 을 유효한 대리 지표 (Proxy) 로 사용할 수 있는지 검증하는 것을 목표로 합니다. API 제공업체가 하드웨어 사양과 에너지 소비 데이터를 공개하지 않는 '블랙박스' 환경에서, 사용 가능한 시간 데이터를 기반으로 에너지 비용을 추정하고 이를 로컬 환경의 실제 측정치와 비교하여 검증합니다.

1. 문제 제기 (Problem Statement)

• 에너지 소비의 불투명성: LLM 의 급격한 성장으로 인한 에너지 소비와 환경적 영향이 우려되지만, API 를 통해 접근하는 폐쇄형 (Proprietary) 모델의 경우 제공업체가 에너지 소비 데이터를 공개하지 않아 실제 비용이 불투명합니다.
• 측정의 어려움: 모델 가중치 (Weights) 나 추론 구성 (Inference Configuration) 에 대한 직접적인 접근이 불가능하여, 연구자들이 API 기반 LLM 의 에너지 발자국을 투명하게 측정하거나 효율성을 평가하기가 매우 어렵습니다.
• 대안적 접근의 필요성: 직접적인 전력 측정이 불가능한 상황에서, 작업 완료 시간 (Task Completion Time) 은 직접 측정 가능한 유일한 지표이며, 이를 통해 에너지 소비를 간접적으로 추정할 수 있는 가능성이 존재합니다.

2. 방법론 (Methodology)

연구진은 Mistral 계열 모델 (Mistral-7B, Mistral-NeMo) 을 대상으로 로컬 환경과 API 환경을 비교하는 벤치마크를 설계했습니다.

• 실험 프로토콜:
  • 데이터: llama3-70b 로 생성된 4 가지 유형 (기술, 창의, 교육, 비즈니스) 의 합성 프롬프트를 사용하며, 시퀀스 길이는 2,048 토큰 (짧음) 과 8,192 토큰 (긴) 으로 구성.
  • 반복성: 각 설정마다 10 회 독립적으로 실행하여 평균 및 표준편차를 산출. API 실행은 하루 종일 다양한 부하 시간에 걸쳐 수행하여 편차를 포착.
  • 로컬 실행: 8 개의 배치 (Batch) 로 병렬 처리하여 GPU 활용도를 극대화하고 유휴 시간을 최소화.
• 하드웨어 구성:
  • 로컬 GPU: NVIDIA A100 (40GB/80GB/PCIe), H100 (PCIe), H200 등 6 가지 GPU 를 사용하여 아키텍처 (Ampere, Hopper) 및 폼 팩터 (SXM, PCIe) 에 따른 성능 차이를 분석.
  • API 모델: Mistral API 의 무료 및 유료 버전을 사용.
• 에너지 추정 방식:
  • 로컬 측정: CarbonTracker 를 사용하여 GPU 전력 (SMI 인터페이스) 을 샘플링하고 실제 에너지 소비 (E_loc) 를 기록.
  • 시간 기반 추정: 로컬 환경에서 측정한 평균 전력 (P_loc = E_loc / T_loc) 을 기반으로, API 의 평균 실행 시간 (T_api) 을 곱하여 API 에너지 (E_api = P_loc * T_api) 를 추정.
  • 정규화: 모델 간 토큰 수 차이를 보정하기 위해 토큰당 에너지 및 토큰당 추론 시간으로 결과를 정규화.

3. 주요 기여 (Key Contributions)

1. 시간 기반 에너지 추정 프레임워크: API 기반 LLM 의 에너지 소비를 추정하기 위해 로컬 측정치를 기반으로 한 시간 - 에너지 상관관계를 정립했습니다.
2. 하드웨어 구성 역추적 (GPU Inference): API 실행 시간을 로컬 GPU 군 (Cluster) 과 비교함으로써, 외부 서버에서 사용 중인 GPU 유형 (예: H100 계열) 을 추론할 수 있음을 입증했습니다.
3. 실증적 검증: 기존 연구들이 제안한 시간 기반 추정법의 한계 (실측치 부재) 를 극복하고, 동일한 모델을 로컬과 API 에서 비교하여 추정치의 신뢰성을 검증했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • API 실행은 로컬의 어떤 GPU 설정보다도 빠르며 (Mistral-7B 기준 약 54% 단축), 이는 서버 측의 시스템 프롬프트 최적화나 대규모 병렬 처리 때문으로 추정됩니다.
  • 로컬 환경에서는 최신 GPU (H100, H200) 가 구형 (A100) 보다 성능이 우수함을 확인했습니다.
• 시간과 에너지의 상관관계:
  • 클러스터링: 로컬 실행 시간은 GPU 세대 (A-Cluster: A100, H-Cluster: H100/H200) 에 따라 명확히 그룹화되었습니다.
  • API 매칭: Mistral-NeMo 의 API 실행 시간은 로컬 H-Cluster(H100/H200) 와 매우 유사했습니다. Mistral-7B 는 H-Cluster 보다 약간 느렸으나, 전체적으로 H100-PCIe 구성이 가장 근접한 대표 모델로 판단되었습니다.
• 에너지 소비 추정:
  • TDP vs 실제 측정: GPU 의 열 설계 전력 (TDP) 으로 계산한 에너지는 실제 CarbonTracker 측정치보다 낮게 나타났습니다 (PCIe 모델의 경우 약 42% 까지 차이 발생). 이는 보조 장치 및 전력 변환 손실을 TDP 가 반영하지 못하기 때문입니다.
  • API 에너지: H100-PCIe 설정을 기준으로 API 에너지를 추정했을 때, Mistral-7B 는 약 62100 Wh, Mistral-NeMo 는 약 123204 Wh 의 총 에너지를 소비하는 것으로 계산되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 사용자 및 연구자 지원: API 제공업체가 정보를 공개하지 않더라도, 추론 시간 (시간/토큰) 을 측정함으로써 모델이 실행되는 하드웨어의 유형을 추론하고, 이를 통해 대략적인 에너지 소비 비용을 산출할 수 있는 실용적인 도구를 제공합니다.
• 지속 가능성: LLM 의 환경적 영향을 평가하고, 에너지 효율적인 모델 선택을 장려하여 AI 의 지속 가능성 (Sustainability) 논의에 기여합니다.
• 한계 및 향후 과제: 현재 연구는 단일 GPU 및 특정 배치 크기를 가정하며, 실제 데이터센터의 텐서/파이프라인 병렬화 등 복잡한 최적화 기법이 시간 - 에너지 트레이드오프에 미치는 영향을 완전히 반영하지는 못했습니다. 향후 이러한 요인들을 포함한 더 세분화된 연구가 필요합니다.

핵심 결론: "API 기반 LLM 의 추론 시간은 해당 모델이 실행되는 하드웨어 (GPU) 의 유형을 추론하고, 이를 통해 에너지 소비량을 합리적으로 추정할 수 있는 강력한 대리 지표가 될 수 있다."