🤖 AI

Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization

이 논문은 제약 조건이 있는 베이지안 최적화(Constrained Bayesian Optimization)가 예측 성능을 지정된 임계값 이상으로 유지하면서 머신러닝 모델 학습의 에너지 소비를 효과적으로 최소화할 수 있음을 입증한다.

원저자: Pallavi Mitra, Felix Biessmann

게시일 2026-08-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pallavi Mitra, Felix Biessmann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨팅 세계에서, 인공지능의 눈부신 부상과 함께 조용하지만 긴박한 문제가 등장했습니다. 기계가 얼굴을 인식하고, 언어를 번역하며, 트렌드를 예측하는 법을 배우면서, 이들은 학습을 위해 막대한 양의 전력을 필요로 합니다. 이 에너지 비용은 더 이상 단순히 공과금 고지서상의 한 항목이 아닙니다. 그것은 지속 가능성을 가로막는 커지는 장벽입니다. 수십 년 동안 연구자들은 거의 전적으로 이러한 모델들을 더 정확하게 만드는 데에만 집중해 왔으며, 그 과정에서 얼마나 많은 전력을 소비하는지는 종종 무시해 왔습니다. 그러나 모델이 더 커지고 복로 복잡해짐에 따라, 이를 학습시키는 데 필요한 에너지는 약 3.5개월마다 두 배씩 증가하고 있습니다. 이러한 추세는 새로운 지능 도구의 개발을 지속 불가능하게 만들 위협이 됩니다. 따라서 과제는 단순히 더 똑똑한 기계를 만드는 것이 아니라, 우리 전력망의 한계를 존중하는 방식으로 기계를 만드는 것입니다. 이를 해결하기 위해 과학자들은 베이지안 최적화(Bayesian optimization)라고 불리는 방법, 즉 모든 가능성을 일일이 시도할 필요 없이 작업에 대한 최적의 설정을 찾는 스마트한 탐색 전략에 주목하고 있습니다. 이는 마치 등산객이 모든 언덕을 다 오르지 않고도 지도를 사용하여 골짜기의 가장 낮은 지점을 찾는 것과 같습니다.

베를린 응용과학대학교의 한 연구팀은 이 탐색 전략을 새로운 목표, 즉 머신러닝 모델 학습에 사용되는 에너지를 최소화하는 데 적용했습니다. 이들은 단순히 가장 정확한 예측을 만들어내는 설정을 찾는 대신, 다른 질문을 던졌습니다. 그들은 모델이 여전히 유용할 만큼 충분히 잘 작동한다는 전제하에, 가장 적은 시간과 에너지를 사용하는 설정을 찾고자 했습니다. 그들의 접근 방식에서 모델의 정확도는 극대화해야 할 대상이 아니라 반드시 준수해야 하는 엄격한 규칙으로 취급되었습니다. 만약 모델의 성능이 특정 허용 수준 미만으로 떨어지면, 탐색 과정에서 해당 설정들을 즉시 폐기했습니다. 제약 조건이 있는 베이지안 최적화(constrained Bayesian optimization)라고 알려진 이 방법은 연구자들이 데이터 정제 방식, 모델의 복잡도, 학습 시간과 같은 방대한 선택지의 풍경을 탐색하면서도, 요구되는 성능이라는 지면에 한 발을 단단히 붙이고 있을 수 있게 해주었습니다.

연구진은 이 접근 방식을 주택 가격 예측 및 뉴스 기사 분류와 같은 다양한 표준 작업에 테스트했습니다. 그들은 컴퓨터가 정확도에 대해 단순히 "실패하지 않도록 노력하라"는 지시만 받는 전통적인 방식과 자신들의 새로운 방법을 비교했습니다. 전통적인 방식에서는 컴퓨터가 에너지는 매우 적게 사용하지만, 너무 부정확하여 쓸모없는 모델을 만드는 설정을 찾는 경우가 많습니다. 이를 해결하기 위해 전통적인 방식은 보통 정확도가 너무 낮을 때마다 점수에 무거운 벌칙(penalty)을 부여하여, 컴퓨터가 나쁜 설정을 선택하지 않도록 유도합니다. 그러나 연구진은 이러한 벌칙 방식이 서투르며 진정한 균형을 찾는 데 종종 실패한다는 것을 발견했습니다. 반면, 그들의 제약 조건 기반 방식은 요구되는 정확도 기준을 일관되게 충족하면서도 현저히 적은 시간과 에너지를 사용하는 설정을 성공적으로 찾아냈습니다.

결과는 성능을 부차적인 목표가 아닌 엄격한 제약 조건으로 취급함으로써, 시스템이 다른 방법들이 놓쳤던 '스위트 스팟(sweet spot)'을 찾을 수 있음을 보여주었습니다. 실험에서 제약 조건 기반 접근 방식은 전통적인 벌칙 기반 방식보다 목표 정확도에 더 빠르게 도달했으며, 총 실행 시간도 더 적게 소요되었습니다. 이는 이 알고리즘들에게 있어 학습에 소비되는 시간이 곧 소비되는 에너지와 직결되기 때문에 매우 중요합니다. 이 연구는 성능의 질을 희생하지 않으면서도 에너지를 절약하기 위해 머신러닝 설정을 자동화하는 것이 가능하다는 것을 입증합니다. 다만 연구진은 자신들의 방법이 무엇이 "충분히 좋은" 성능인지에 대한 명확하고 사전에 정의된 기준에 의존한다는 점을 언급했습니다. 최선의 성능이 무엇인지 알 수 없거나 설정과 에너지 사이의 관계가 극도로 복잡한 경우에는 추가적인 개선이 필요할 수 있습니다. 그럼에도 불구하고, 이 연구 결과는 우리가 강력한 모델을 훈련하면서도 에너지 자원을 낭비하지 않고도 가능하다는 것을 증명하며, 더 지속 가능한 인공지능의 미래를 위한 실질적인 경로를 제시합니다.

기술 요약: 제약 조건이 있는 베이지안 최적화를 이용한 ML 알고리즘의 자동화된 계산 에너지 최소화

문제 정의
본 논문은 모델 크기의 증가와 하이퍼파라미터 최적화(HPO)의 계산 집약성으로 인해 가속화되고 있는 머신러인닝(ML) 모델 학습 관련 에너지 소비 문제를 다룹니다. 기존의 HPO 연구는 주로 예측 성능을 극대화하기 위해 검증 손실(validation loss)을 최소화하는 데 집중하는 반면, 본 연구는 에너지 효율성이 중요한 제약 조건이 되었다고 주장합니다. 저자들은 기존의 ML 제품군들이 적절한 에너지 측정 도구를 갖추지 못한 경우가 많으며, 최적의 하이퍼파라미터를 선택하는 과정 자체가 주요한 에너지 소비원이라는 점에 주목합니다. 핵심 문제는 예측 성능(분류의 경우 정확도, 회귀의 경우 평균 제곱 오차)에 대한 사전 정의된 임계값을 엄격히 준수하면서, 계산 에너지 소비(실행 시간으로 대리 측정)를 최소화하도록 하이퍼파라미터 선택을 자동화하는 것입니다.

방법론
저자들은 이 다목적 문제를 해결하기 위해 **제약 조건이 있는 베이지안 최적화(Constrained Bayesian Optimization, CBO)**를 사용하는 프레임워크를 제안합니다. 방법론은 다음과 같이 구성됩니다:

목적 함수 및 제약 조건 공식화:
- 목적 함수: ML 모델을 학습시키는 데 소요되는 시간 $\tau(x)$ 를 최소화합니다.
- 제약 조건: 모델이 기준 성능 $c_0$ 를 충족하도록 보장합니다. 분류의 경우 정확도 $c_c(x) \geq c_0$ , 회귀의 경우 평균 제곱 오차 $c_r(x) \leq c_0$ 를 만족해야 합니다.
대리 모델링(Surrogate Modeling):
- 저자들은 목적 함수와 제약 함수를 독립적으로 모델링하기 위해 Matérn 5/2 커널을 사용하는 가우시안 프로세스(Gaussian Processes, GPs)를 채택합니다.
- GP 사전 분포가 유효하도록(원시 시간 및 오차 지표는 엄격히 양수이므로) 기준값에 대한 로그 변환을 적용합니다. 구체적으로, 목적 함수는 $f(x) = \log \tau(x) - \log \tau_b$ 로 모델링되며, 제약 함수는 기준 임계값에 대한 성능 지표의 로그 비율로 모델링됩니다.
획득 함수(Acquisition Strategy):
- 두 가지 구성 요소의 곱으로 정의된 **결합 획득 함수(joint acquisition function)**를 사용합니다:
  1. 기대 개선(Expected Improvement, EI): 목적 함수(실행 시간 최소화)를 최적화합니다.
  2. 실행 가능 확률(Probability of Feasibility, PoF): 후보 지점이 성능 제약 조건을 충족할 가능성을 추정합니다.
- 이 결합 접근 방식은 알고리즘이 다음 샘플링 지점에 대한 의사 결정 과정 중에 실행 가능 영역을 목적 함수와 동시에 학습하여, 실행 가능성을 고려하도록 합니다.
베이스라인 비교:
- 제안된 CBO는 이차 패널티 함수(quadratic penalty function)를 포함하는 제약 없는 BO(Unconstrained BO) 방식과 비교됩니다. 이 베이스라인에서는 제약 위반 사항이 목적 함수에 패널티 항으로 추가됩니다: $f'(x) = f(x) + \frac{1}{2}\rho \max(0, c(x))^2$ .

실험 설정 및 결과
프레임워크는 표준 회귀 모델(Lasso, Elastic Net, KNN, Decision Tree, AdaBoost)과 분류 모델(Ridge, Logistic Regression, KNN, Random Forest)에 대해 평가되었습니다. 실험에는 두 개의 대규모 데이터셋인 California Housing(회귀)과 20-Newsgroups(분류)가 사용되었습니다.

성능: 결과에 따르면, 패널티를 사용하는 제약 없는 BO는 종종 최소 목적 함수 값을 찾아내기는 하지만, 빈번하게 성능 제약 조건을 위반하며, 이로 인해 효과적인 솔루션을 저해하는 큰 패널티 항이 추가되는 문제가 발생합니다.
효율성: CBO는 사전 정의된 성능 임계값을 일관되게 충족하면서 누적 실행 시간(에너지 대리 지표)을 최소화하는 하이퍼파라미터 구성을 성공적으로 식별했습니다.
시각적 증거: 그림 1과 2는 CBO가 요구되는 MSE 또는 정확도를 유지하면서 제약 없는 BO보다 낮은 누적 실행 시간을 달-성함을 보여줍니다.

주요 기여 및 의의
본 논문은 다음과 같은 기여와 의의를 주장합니다:

HPO 초점의 전환: HPO의 패러다임을 예측 성능을 유일한 최적화 대상이 아닌 하드 제약 조건으로 취급하고, 에너지 소비(실행 시간)를 최소화해야 할 주요 목적으로 제안합니다.
효과적인 CBO 프레임워크: 결합 획득 함수(EI $\times$ PoF)를 사용하는 것이 패널티를 사용하는 제약 없는 BO보다 더 효과적임을 입증합니다. 이는 패널티 튜닝의 함정을 피하고 최종적으로 선택된 하이퍼파라미터가 에너지 효율적이면서도 우수한 성능을 갖도록 보장합니다.
확장성 및 지속 가능성: 본 연구는 대규모 데이터셋과 고용량 모델을 다루는 현대적 ML 애플리케이션에 대한 CBO의 잠재력을 강조하며, 유틸리티를 저해하지 않으면서 모델 학습의 계산 비용을 줄임으로써 더욱 지속 가능하고 확장 가능한 ML 엔지니어링의 미래를 확보하기 위한 도구를 제공합니다.

저자가 인정한 한계점
저자들은 두 가지 주요 한계점을 정직하게 언급하였습니다:

사전 정의된 임계값: 이 접근 방식은 합리적으로 사전 정의된 성능 임계값(예: 서비스 수준 계약)이 존재한다고 가정합니다. 기본 하이퍼파라미터가 이미 최적이 아니거나 명확한 기준이 없는 시나리오에서는 제약 조건 정의가 어려울 수 있습니다.
독립적인 대리 모델링: 현재 프레임워크는 에너지와 성능 대리 모델을 독립적으로 모델링합니다. 저자들은 하이퍼파라미터가 두 지표 모두에 동시에 영향을 미친다는 점(예: 규제 강도 또는 데이터 전처리)을 인정하며, 향-후 연구에서 이러한 의존성을 포착할 수 있는 획득 함수를 탐구하고자 합니다.

유사한 논문