Optimising for Energy Efficiency and Performance in Machine Learning

기술 요약: 머신러닝의 에너지 효율성 및 성능 최적화

문제 정의
머신러닝(ML) 모델의 계산 복잡성이 기하급적으로 증가함에 따라 에너지 소비와 환경적 영향이 크게 늘어났습니다. EU AI 법안과 같은 최근 규제들이 에너지 사용량 공표를 의무화하고 있음에도 불구하고, 최근의 ML 연구는 주로 모델 성능에만 집중하며 에너지 지표는 소홀히 하는 경우가 많습니다. 기존 문헌은 종종 파라미터 수나 부동 소수점 연산(FLOP) 수를 에너지 소비의 대리 지표로 활용하지만, 이러한 지표들은 실제 에너지 사용량과 상관관계가 낮은 경우가 많습니다. 또한, ML의 환경적 영향에 관한 기존 연구는 추론 비용을 무시하는 경 경우가 많은데, 추론은 종-종 전체 ML 계산 비용의 대부분(예: AWS의 경우 최대 90%)을 차지하기 때문입니다. 탄소 발자국을 추정하기 위한 현재의 도구들은 높은 코드 결합도를 요구하며 효율성 개선을 위한 실행 가능한 피드백을 제공하지 못하는 경우가 많고, 하이퍼파라미터 튜너들은 일반적으로 환경적 영향이나 추론 비용을 고려하지 않습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 에너지 효율성과 성능을 동시에 최적화하도록 설계된 파이썬 프레임워크인 ECOpt(Energy Consumption Optimiser)를 개발했습니다.

• 최적화 정식화: 이 문제는 다목적 최적화 작업으로 프레임화됩니다. 시스템은 성능 지표($f_p$, 예: 정확도)와 에너지 효율 지표($f_e$) 사이의 파레토 프런티어(Pareto frontier)를 찾기 위해 하이퍼파라미터 공간 $S$를 탐색합니다.
• 에너지 측정: ECOpt는 소프트웨어 기반 에너지 미터, 특히 장치 드라이버(예: GPU용 NVIDIA nvidia-smi 및 CPU용 RAPL)로부터 전력 사용 데이터를 수집하는 CodeCarbon을 활용합니다. 이 프레임워크는 가속기뿐만 아니라 모든 활성 구성 요소(CPU, GPU, RAM)의 전력 소모량을 정량화하여 "샘플당 줄(Joule)"(또는 텍스트 생성의 경우 토큰당 줄)로 효율성을 측정하는 데 집중합니다.
• 최적화 알고리즘: 프레임워크는 기대 초볼륨 개선(Expected Hypervolume Improvement) 획득 함수(구체적으로 병렬 노이지 EHVI 또는 $q$NEHVI)를 사용하는 **다목적 베이지안 최 optimization(Multi-Objective Bayesian Optimisation, MOBO)**을 채택합니다. 이 방식은 샘플 효율성이 높아, 무작위 탐색이나 그리드 탐색보다 적은 평가 횟수로 트레이드오프 곡선(파레토 프런티어)을 발견할 수 있습니다.
• 워크플로우: 프로세스는 데이터셋을 훈련 세트와 평가 세트로 나누는 과정을 포함합니다. 각 반복(iteration)마다 ECOpt는 샘플링된 하이퍼파라미터로 모델을 구축 및 훈련하고, 평가 세트에서 추론을 수행하며, 지표를 측정하고, 다음 탐색 단계를 안내하기 위해 대리 모델(Gaussian Processes)을 업데이트합니다.

주요 기여

1. 트레이드오프의 정식화: 저자들은 ML에서의 성능-에너지 트레이드오프 탐색을 다목적 최적화 문제로 공식화했습니다.
2. 자동화된 절차: MOBO를 기반으로 한 완전 자동화된 절차를 기술하여, 이 트레이드오프를 특징짓는 경험적 파레토 프런티어를 발견합니다.
3. 오픈 소스 프레임워크: 재현성을 위한 실험 스크립트를 포함하여 재사용 가능한 파이썬 패키지로 ECOpt를 공개합니다.
4. 실증적 결과: 다음과 같은 광범위한 실험적 평가를 통해 입증하였습니다:
   • 파라미터 수와 FLOPs는 에너지 소비의 신뢰할 수 있는 대리 지표가 아닙니다.
   • 텍el 생성용 트랜스포머 모델은 다양한 하드웨어 구성에서도 비교적 일관된 에너지 효율성을 보입니다.
   • 트랜스포머를 위한 에너지 스케일링 법칙이 존재하며, 파라미터 수가 증가함에 따라 에너지 효율은 로그-선형적으로 감소합니다.
   • 에너지 효율을 최적화하면 최적화에 소비된 에너지를 빠르게 회수함으로써 순 긍정적인 환경적 영향을 얻을 수 있습니다.

실험 결과
저자들은 다양한 하드웨어(VM, 노트북, 데스크톱, 서버 및 HPC 노드)와 모델 유형(CNN, Transformers)에 걸쳐 실험을 수행했습니다.

• 지표 유효성: 신경망 레이어를 확장하고 CNN 스트라이드(stride)를 조정하는 실험에서, 저자들은 파라미터 수는 일정하게 유지되는 반면 에너지 소비와 FLOPs는 크게 변하는 것을 관찰했습니다. 이는 파라미터 수가 에너지 효율의 부적절한 대리 지표임을 확인시켜 줍니다. 마찬가지로, CNN에서 FLOPs는 실제 에너지 사용량과 약한 상관관관계를 보였습니다.
• 하드웨어 일관성: 다섯 대의 기기에서 트랜스포머 모델(GPT-2, Qwen3, Gemma 3, Llama 3.1)을 테스트한 결과, 모델 크기에 따라 절대적인 에너지 효율은 달라졌지만, 특정 모델의 효율성은 서로 다른 하드웨어 간에 비교적 일관되게 유지되었습니다(모델 간 표준 편차는 0.4608인 반면, 기기 간 표준 편차는 0.2372). 이는 모델 에너지 지표를 발표하는 것이 가치 있음을 시사합니다.
• GPU 활용도: 서버에서 Gemma 3의 배치 크기를 최적화하는 실험에서, ECOpt는 VRAM 최대 용량보다 낮은 831의 최적 배치 크기를 찾아냈습니다(2.67 tokens/J 산출). 이 구성은 기본 배치 크기 1에 비해 에너지 효율을 38배 증가시켰습니다. 저자들은 이 최적화에 소비된 에너지가 단 4,802개의 토큰을 생성하는 것만으로도 회수될 것이라고 계산했습니다.
• 신경 구조 탐색 (NAS): CIFAR-10에 대한 CNN NAS 작업에 ECOpt를 적용했을 때, 프레임워크는 7개의 파레토 최적 구조를 식별했습니다. 가장 우수한 모델은 76.09%의 정확도와 20.12 samples/J를 달 기록했습니다. 이는 무작위 탐색 베이스라인(정확도 71.17%)과 수동 튜닝 베이스라인(정확도 70.07%) 모두보다 정확도와 시간 효율성 측면에서 뛰어난 성과를 보였습니다. 특히, 저자들은 자신들의 모델이 정확도 자체로는 최고 수준(SOTA)은 아니지만, 에너지 효율을 고려했을 때 기존 SOTA 모델들보다 우수한 '에너지당 정확도' 프로필을 제공한다고 밝혔습니다.

의의 및 주장
논문은 하이퍼파라미터를 에너지 효율과 성능 모두를 위해 최적화함으로써, 추론 품질을 희생하지 않고도 ML의 에너지 비용을 줄일 수 있다고 주장합니다. 저자들은 파라미터 수와 FLOPs에 대한 현재의 의존도가 모델의 실제 환경적 비용을 가리고 있다고 논합니다. 해석 가능한 파레토 프런티어를 통해 트레이드오프를 정량화하는 도구를 제공함으로써, ECOpt는 배포 비용 및 환경적 영향에 대한 정보에 입각한 의사결정을 가능하게 합니다.

저자들은 CIFAR-10에서 SOTA를 능가한 결과가 모델 구조의 근본적인 돌파구라기보다는 해당 분야의 에너지 지표 발표 부족 때문이라는 점을 겸허히 언급했습니다. 그들은 경쟁과 인식을 높이기 위해 에너지 지표를 모델 발표에 더 널리 채택할 것을 권고합니다. 또한, 에너지 효율을 최적화하는 것은 지연 시간(latency)을 최적화하는 것과 다르다는 점을 강조합니다. 지연 시간 최적화는 하드웨어 활용을 극대화하기 위해 넓은 네트워크를 선호하는 경우가 많지만, 에너지 효율 최적화는 특히 하드웨어가 완전히 포화되지 않았을 때 전력 소모를 최소화하기 위해 너비와 깊이 사이의 균형을 맞추는 것을 필요로 할 수 있습니다.