기술 요약: 토큰에서 와트시로: 현대적 GPU에서의 LLM 추론을 위한 분석적 에너지 추정

1. 문제 정의

대규모 언어 모델(LLM) 추론의 운영 에너지 소비는 배포된 AI 시스템의 환경적 발자국을 구성하는 핵심 요소이다. 그린 AI 연구가 훈련 비용을 광범위하게 다루어 온 반면, 지속적이고 수요에 따라 스케일링되는 자기회귀적(autoregressive) 토큰 생성에 의해 발생하는 추론 에너지는 중요한 지속 가능성 문제로 남아 있다.

현재의 AI 에너지 소비 추정 방식은 다음과 같은 이분법적 한계에 직면해 있다:

• 측정 기반 연구는 하드웨어 텔레메트리, 전력 계측기 또는 인프라 특정 모니터링에 의존한다. 이러한 결과는 유용하지만, 특정 하드웨어, 서빙 시스템 및 런타임 구성에 종속되어 있어, 이러한 계측 장비를 사용할 수 없는 비교 연구, 초기 단계의 시스템 설계, 또는 지속 가능성 보고에서의 적용 가능성을 제한한다.
• 트랜스포머 스케일링 법칙 및 마이크로아키텍처 벤치마크에 기반한 분석 모델은 FLOP 수를 제공하지만, 메모리 트래픽과 하드웨어 특정 계수를 고려한 요청 단위 또는 토큰 단위의 에너지 추정치를 제공하는 데는 실패하는 경우가 많다.

이로 인해, 런타임 계측 없이도 트랜스포머 연산 모델링, 메모리 트래픽 귀속, 그리고 하드웨어 특정 에너지 계수를 결합하여 GPU 추론 에너지를 추정할 수 있는 투명하고 재현 가능한 추정기에 대한 공백이 발생한다.

2. 방법론

저자들은 NVIDIA H100급 가속기 상에서의 LLM 추론을 위한 가속기 측 GPU 에너지 소비를 추정하기 위해, 반-분석적(semi-analytical)이며 경험적으로 보정된 방법론을 제안한다. 이 프레임워크는 프롬프트 프리필(prefill) 단계와 자기회귀적 디코드(decode) 단계를 명시적으로 분리하는데, 이는 두 단계가 서로 다른 연산 및 메모리 액세스 패턴을 보이기 때문이다.

2.1. 에너지 분해

요청에 대한 총 GPU 에너지($E_{GPU}$)는 텐서 코어 연산 에너지($E_{compute}$)와 고대역폭 메모리(HBM) 이동 에너지($E_{memory}$)의 합으로 모델링된다:
$$E_{GPU} = E_{compute} + E_{memory}$$

• 연산 항 (Compute Term): 텐서 코어 부동 소수점 연산(FLOPs) 수에 비례한다.
  $$E_{compute} = \alpha_{TC} C_{TC}$$
  여기서 $\alpha_{TC}$는 하드웨어 특정 FLOP당 에너지이며, $C_{TC}$는 총 FLOP 수이다.
• 메모리 항 (Memory Term): HBM을 통해 전송되는 비트 수에 비례한다.
  $$E_{memory} = e_{HBM} Q_{HBM} \eta(N)$$
  여기서 $e_{HBM}$은 비트당 에너지, $Q_{HBM}$은 총 트래픽(비트 단위), $\eta(N)$은 보정된 메모리 비효율성 계수이다.

2.2. 트래픽 모델링

메모리 트래픽($Q_{HBM}$)은 세 가지 주요 구성 요소로 분해된다:

1. 파라미터 액세스: 모델 가중치를 로드하는 데 필요한 트래픽.
2. KV-캐시 쓰기: 생성 과정 중 새로운 키-값 쌍을 저장하는 트래픽.
3. 어텐션 관련 읽기: 누적된 컨텍스트를 KV 캐시로부터 읽어오는 트래픽.

모델은 밀집(dense) 트랜스포머 연산(파라미터 및 토큰에 따라 선형적으로 스케일링됨)과 어텐션 보정(KV-캐시 읽기 요구사항으로 인해 시퀀스 길이에 따라 초선형적으로 스케일링됨)을 구분한다.

2.3. 보정 및 계수

본 방법론은 GPU 텐서 코어 연산 및 HBM 액세스(특히 H100급 GPU의 FP16/BF16 대상)에 대한 마이크로아키텍처 측정값으로부터 도출된 고정된 하드웨어 계수를 사용한다:

• $\alpha_{TC} = 0.52$ pJ/FLOP
• $e_{HBM} = 11.68$ pJ/bit

비이상적인 하드웨어 동작(예: 파라미터 재사용, 캐시 레지던시, 메모리 비효율성)을 반영하기 위해, 저자들은 기존 문헌에 보고된 에너지 측정값에 맞춰 피팅된 보정된 스케일링 인자($\gamma(N)$, $s_{attn}(N)$, $\eta(N)$)를 채택한다.

2.4. 단순화된 추정기

상세한 아키텍처 메타데이터(예: 레이어 수, 은닉 차원)를 사용할 수 없는 시나리오를 위해, 단순화된 파라미터 전용 추정기가 정의된다. 이는 출력 토큰 에너지가 파라미터 수($N$)에 선형적으로 비례한다고 근사하며, 입력 토큰에 대해서는 프롬프트 길이에 따른 승수를 사용한다.

3. 주요 기여

• 분석적 프레임워크: 직접적인 런타임 측정 없이 요청 단위 및 정규화된 토큰 단위 GPU 추론 에너지를 추정하기 위한 구조화된 방법론을 제공한다.
• 단계 분리: 프롬프트 프리필과 자기회귀적 디코드 단계를 명시적으로 분해하여, 입력 토큰 대 출력 토큰 비용에 대한 세밀한 분석을 가능하게 한다.
• 구성 요소 분해: 총 에너지를 연산, 파라미터 액세스, KV-캐시 쓰기, 어텐션 읽기 구성 요소로 분해하여 각 요소의 스케일링 동작을 밝힌다.
• 경험적 보정: 하드웨어 특정 에너지 계수를 경험적으로 보정된 메모리 트래픽 인자와 통합하여, 이론적 FLOP 수와 실제 에너지 소비 사이의 간극을 메운다.
• 실행 가능한 통찰: 모델 크기 감소, 짧은 생성, KV-캐시 양자화, 프롬프트 압축, 개선된 배칭을 포함한 에너지 절감 메커니즘 식별을 지원한다.

4. 결과 및 평가

추정기는 다양한 트랜스포머 기반 LLM(3B 미만에서 120B 이상의 파라미터 범위)을 대상으로 평가되었으며, 측정 기반 연구와 비교되었다.

• 시퀀스 길이에 따른 스케일링: 연산 에너지와 KV-캐시 쓰기 트래픽은 생성된 토큰 수($T_{out}$)에 따라 선형적으로 스케일링된다. 그러나 어텐션 관련 메모리 트래픽은 초선형(quadratic) 성장을 보이며, 시퀀스 길이가 증가함에 따라 지배적인 에너지 기여 요소가 된다.
• 모델 크기에 따른 스케일링: 총 요청 에너지는 로그-로그 스케일에서 모델 크기($N$)에 대략 선형적으로 스케일링된다. 하지만 메모리 에너지는 파라미터 수와 일관되게 스케일링되지 않는 아키텍처적 변동(예: 은닉 차원 및 레이어 수)으로 인해 모델 간 비단조적(non-monotonic)인 동작을 보인다.
• 에너지 분해: 짧거나 중간 정도의 시퀀스 길이에서는 연산 에너지가 지배적이다. 시퀀스 길이가 길어짐에 따라 어텐션 관련 메모리 구성 요소가 급격히 증가하여, 전체 에너지 트렌드에서 상향 곡선을 유발한다.
• 정확도: 500-토큰 입력/500-토큰 출력 워크로드에 대한 측정 기반 결과와 비교했을 때, 분석적 추정치는 4.73%에서 27.23% 이내의 오차 범위 내에서 일치하였다. 가장 낮은 오차(4.73%)는 70B 파라미터 모델에서 관찰되었다.
• 토큰 단위 추정: 본 연구는 단순화된 토큰 단위 에너지 추정치(예: 70B 모델의 경우 출력 토큰당 ~218 mJ)를 제공하여, 에너지의 파라미터 수에 대한 선형 의존성을 입증한다.

5. 의의 및 주장

본 논문은 이 방법론을 물리적 전력 측정의 대체재가 아니라, 투명하고 재현 가능하며 가정이 명시적인 근사치로 포지셔닝한다.

• 범위: 추정치는 엄격하게 가속기 측 운영 에너지(GPU 연산 및 HBM 이동)에 국한된다. 이는 CPU 실행, 호스트 메모리, 네트워킹, 스토리지, 냉각 및 전력 사용 효율(PUE)과 같은 시스템 레벨의 오버헤드를 명시적으로 제외한다.
• 유용성: 본 프레임워크는 다음을 위해 설계되었다:
  • 모델 비교: 이질적인 모델 인벤토리 간의 에너지 효율성 비교.
  • 그린 코딩 분석: 아키텍처적 선택 및 개입의 영향을 평가.
  • 설계 시점 평가: 데이터 센터 레벨의 계측 장비를 완전히 사용할 수 없는 경우의 의사 결정 지원.
• 한계: 저자들은 본 모델이 텐서 병렬 통신, 커널 퓨전, 배칭 정책 및 특정 추론 엔진 구현과 같은 특정 효과를 추상화한다는 점을 인정한다. 따라서 해당 인자들은 다른 GPU 세대나 서빙 구성에 맞춰 재보정되어야 한다.

결론적으로, 본 논문은 LLM 추론의 에너지 스케일링을 이해하기 위한 기초적인 도구를 제공하며, 짧은 시퀀스에서는 연산이 지배적이지만 긴 컨텍스트 생성에서는 메모리 트래픽(특히 어텐션 읽기)이 임계적인 병목 현상이 된다는 점을 강조한다.