기술 요약: EnergyLens

문제 정의

대규모 언어 모델 (LLM) 이 밀집형, 전문가 혼합 (MoE), 상태 공간 아키텍처를 포함하도록 진화하고, 텍스트, 이미지, 비디오 등 다양한 멀티모달 워크로드를 위해 NVIDIA, Intel, AMD 와 같은 이종 가속기에 배포됨에 따라, 추론 에너지를 최적화하는 것이 지연 시간과 처리량 최적화만큼 중요해졌습니다. 그러나 기존 에너지 예측 접근법은 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 지연 시간 대리 변수: 많은 분석 모델이 지연 시간을 에너지의 대리 변수로 취급합니다. 저자들은 지연 시간과 에너지 최적점이 테스트된 구성의 20% 이상에서 분리됨을 보여주었으며, 지연 시간 기반 전략을 사용할 경우 최대 79.8% 의 에너지 페널티가 발생한다고 밝혔습니다.
2. 블랙박스 대리 모델: 데이터 기반 머신러닝 모델 (예: 랜덤 포레스트, 신경망) 은 합리적인 정확도를 달성하지만 "데이터를 많이 요구"하여 일반화하기 위해 수백 개의 프로파일링 샘플이 필요합니다. 이러한 모델들은 해석 가능성이 부족하여 특정 구성이 왜 효율적인지에 대한 물리적 통찰력을 제공하지 않으며, 보지 못한 배치 크기나 하드웨어로 신뢰성 있게 외삽하지 못합니다.
3. 일반화 부재: 기존 분석 모델들은 종종 텐서 병렬화 (TP) 와 파이프라인 병렬화 (PP) 의 고유한 물리적 효과를 분리하지 못하거나, 다양한 모달리티에 따른 배치 크기와 시퀀스 길이에 따른 에너지의 비선형적 스케일링을 고려하지 못합니다.

방법론: EnergyLens 프레임워크

저자들은 GPU 에너지 소비에 대한 간결한 폐쇄형 수학적 표현식을 발견하기 위해 기호 회귀를 사용하는 EnergyLens 프레임워크를 제안합니다. 블랙박스 모델과 달리, EnergyLens 는 항들이 직접 측정 가능한 시스템 속성에 대응하는 공식을 유도합니다.

1. 통합 에너지 모델

EnergyLens 의 핵심은 에너지를 ($E$) 세 가지 물리적으로 근거 있는 구성 요소로 분해하는 12 개 매개변수의 폐쇄형 방정식입니다:
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• 단계 분해: 이 모델은 입력 토큰을 처리하는 계산 병목 prefill 단계와 출력 토큰을 생성하는 메모리 병목 decode 단계를 명시적으로 분리합니다.
• 병렬화 분리: 이 모델은 텐서 병렬화 ($d_{TP}$) 와 파이프라인 병렬화 ($d_{PP}$) 를 구분합니다. TP 는 효율적인 텐서 코어 활용을 통해 GPU 당 계산을 줄이지만 동기화 오버헤드를 도입하는 반면, PP 는 파이프라인 버블을 도입하고 유휴 단계 동안 장치를 전원에 연결해 두는 것으로 인식합니다.
• 비선형적 스케일링: 이 공식은 배치 크기가 증가함에 따라 커널 런칭 및 KV 캐시 초기화와 같은 고정 오버헤드의 부분 선형적 상각을 포착하며, 텍스트, 이미지, 비디오와 같은 다양한 모달리티에 대한 특정 스케일링 법칙 (예: 비디오/이미지 워크로드에 대한 로그 압축) 을 포착합니다.

일반적인 형태 (논문 내 식 4) 는 다음과 같습니다:
$$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. 학습 및 피팅

• 데이터 수집: 프로파일링 프레임워크는 NVIDIA, Intel, AMD GPU 전반에 걸쳐 병렬화 전략, 양자화 방식, 배치 크기, 시퀀스 길이를 체계적으로 스윕합니다.
• 기호 회귀: 이 프레임워크는 프로파일링 데이터에 가장 잘 맞는 구조를 찾기 위해 수학적 표현식의 공간을 탐색합니다.
• 매개변수 추정: 공식 구조가 고정되면, 12 개의 스칼라 매개변수 ($\phi$) 는 소규모 대표 데이터셋에서 L-BFGS-B 최적화를 사용하여 피팅됩니다.
• 샘플 효율성: 이 모델은 높은 정확도를 달성하기 위해 50 개의 프로파일링 측정값만 필요하며, 이는 약 500 개의 샘플이 필요한 앙상블 ML 방법에 비해 10 배 감소한 수치입니다.

주요 기여

1. 통합 폐쇄형 모델: TP 와 PP 기여도를 분리하고 prefill 과 decode 에너지를 구분하며, 매개변수가 명시적인 물리적 의미를 갖는 단일 에너지 모델 개발.
2. 기호 회귀 발견: 공식 템플릿을 변경하지 않고도 다양한 아키텍처 (Dense, MoE, SSM), 모달리티 (텍스트, 이미지, 비디오), 하드웨어 벤더에 걸쳐 일반화되는 비선형 공식 구조를 기호 회귀가 밝혀낼 수 있음을 입증.
3. 체계적 프로파일링 프레임워크: 분석 모델링에 필요한 구조화된 데이터를 생성하기 위해 병렬화, 양자화, 워크로드 매개변수의 결합 공간을 탐색하는 프레임워크 구현.
4. 직접 에너지 모델링: 지연 시간을 대리 변수로 사용하는 대신 에너지를 직접 모델링함으로써, 지연 시간 기반 최적화가 체계적으로 간과하는 더 에너지 효율적인 병렬화 구성을 식별합니다.

실험 결과

저자들은 NVIDIA A100, AMD MI100, Intel Max 1550 GPU 에서 밀집형 트랜스포머, MoE, 상태 공간 모델을 포함한 940 가지 시나리오에 걸쳐 EnergyLens 를 평가했습니다.

• 구성 선택 정확도: EnergyLens 는 88.2% 의 Top-1 구성 선택 정확도 (단일 최상위 에너지 구성 식별) 를 달성하여, 60.9% 를 기록한 가장 근접한 분석 기반선인 MAVERIQ 를 크게 앞섰습니다.
• 쌍별 순위: EnergyLens 는 95.8% 의 쌍별 순위 정확도 (두 구성 중 어느 것이 더 효율적인지 올바르게 예측) 를 달성하여 MAVERIQ 의 91.5% 를 능가했습니다.
• 샘플 효율성: EnergyLens 는 랜덤 포레스트, 그래디언트 부스팅과 같은 앙상블 ML 방법의 예측 정확도와 일치하면서도 프로파일링 샘플을 10 배 적게 요구합니다 ($n=50$에서 13.0% MAPE 대 랜덤 포레스트의 $n=50$에서 49.0% MAPE).
• 일반화:
  • 크로스 하드웨어: 이 모델은 스칼라 계수만 재피팅하여 GPU 벤더 (NVIDIA, Intel, AMD) 간에 이전됩니다.
  • 크로스 모달리티: 텍스트, 이미지+텍스트, 비디오+텍스트 워크로드에서 견고하게 작동합니다.
  • 외삽: EnergyLens 는 훈련 데이터보다 3 배에서 10 배 큰 보지 못한 배치 크기로 신뢰성 있게 외삽하며, 7 개 데이터셋 중 5 개에서 ≥93% 의 쌍별 정확도를 보입니다. 반면 선형 배치 기반선은 크게 실패합니다.
• 견고성: 정확한 구성별 전력 측정이 필요한 지연 시간 기반 대리 변수와 달리, EnergyLens 는 에너지를 본질적으로 모델링하며 전력 원격 측정 데이터가 없더라도 높은 정확도를 유지합니다.

중요성과 주장

이 논문은 EnergyLens 가 에너지 최적 LLM 배포를 위한 실용적이고 해석 가능한 도구를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 해석 가능성: 블랙박스 대리 모델과 달리, EnergyLens 는 운영자가 에너지 소비의 물리적 동인 (예: TP 대 PP 스케일링의 상대적 비용 검증) 을 이해하기 위해 항들을 검사할 수 있는 "감사 가능한" 예측을 제공합니다.
• 실행 가능성: 이 모델은 포괄적인 측정 없이도 배포를 위한 파레토 최적 구성을 식별할 수 있게 합니다.
• 비용 효율성: 프로파일링 예산을 수백 개의 샘플에서 약 50 개로 줄임으로써, 생산 환경에서 에너지 인식 구성 튜닝을 실현 가능하게 만듭니다.
• 물리적 근거: 지연 시간과 에너지 최적점이 분리되며, 파이프라인 병렬화가 지연 시간을 줄이지 않더라도 에너지를 줄일 수 있다는 발견은 지연 시간이 에너지 효율성을 위한 충분한 대리 변수라는 지배적인 가정에 도전합니다.

저자들은 현재 템플릿이 가법 항을 사용하지만, 향후 연구는 MoE 및 긴 컨텍스트 워크로드를 위한 승법적 상호작용과 온라인 재구성을 위한 동적 스케줄러와의 통합을 탐구할 수 있다고 결론지었습니다. 프레임워크와 데이터셋은 오픈 소스로 공개될 예정입니다.